工程信息論

第1章緒論
1.1信息的概念和主要特征
1.1.1概述
1.1.2信息的基本概念和特征
1.1.3信息論的基本內(nèi)容
1.2通信系統(tǒng)的模型
1.2.1通信系統(tǒng)模型
1.2.2提高通信系統(tǒng)技術(shù)指標(biāo)的措施
1.3仙農(nóng)信息論所研究的問(wèn)題
1.3.1仙農(nóng)信息論所研究的問(wèn)題
1.3.2仙農(nóng)信息論的特點(diǎn)
1.4仙農(nóng)信息論形成與發(fā)展
1.4.1技術(shù)背景
1.4.2理論背景
1.4.3仙農(nóng)的主要工作
1.4.4仙農(nóng)信息論發(fā)展
1.4.5信息論的應(yīng)用
1.5仙農(nóng)生平簡(jiǎn)介與研究風(fēng)格
1.5.1仙農(nóng)生平簡(jiǎn)介
1.5.2仙農(nóng)的學(xué)術(shù)風(fēng)格
第2章離散信息的度量
2.1自信息和條件自信息
2.1.1自信息
2.1.2聯(lián)合自信息
2.1.3條件自信息
2.2信息和條件互信息
2.2.1信息
2.2.2信息的性質(zhì)
2.2.3條件互信息
2.3離散集合的平均自信息(熵)
2.3.1信息熵
2.3.2條件熵
2.3.3聯(lián)合熵
2.3.4信息熵與熱熵的關(guān)系
2.4熵的基本性質(zhì)
2.4.1凸函數(shù)
2.4.2信息散度“
2.4.3熵的基本性質(zhì)
2.4.4各類(lèi)熵的關(guān)系
2.4.5熵函數(shù)的惟一性
2.5離散集的平均互信息
2.5.1集合與事件之間的互信息.
2.5.2平均互信息
2.5.3平均互信息與熵的關(guān)系
2.5.4平均互信息的性質(zhì)
2.5.5平均條件互信息
本章小結(jié)
習(xí)題
第3章離散信源
3.1信源的分類(lèi)與數(shù)學(xué)模型
3.1.1信源的分類(lèi)
3.1.2信源的數(shù)學(xué)模型
3.2離散無(wú)記.億信源
3.2.1單符號(hào)離散無(wú)記憶信源
3.2.2多維離散無(wú)記憶信源
3.3離散無(wú)記憶信源的擴(kuò)展源
3.3.1N次擴(kuò)展源
3.3.2N次擴(kuò)展信源的熵
3.4無(wú)限離散信源
3.4.1無(wú)限離散信源的均值和熵
3.5概率分布的信息生成函數(shù)
3.6離散平穩(wěn)信源
3.6.1概述
3.6.2平穩(wěn)有記憶N次擴(kuò)展源的熵
3.7馬爾可夫信源
3.7.1有限狀態(tài)馬氏鏈
3.7.2狀態(tài)轉(zhuǎn)移概率
.3.7.3齊次馬氏鏈
3.7.4KOlmOgOrOv—Chapman方程
3.7.5馬氏鏈狀態(tài)分類(lèi)
3.7.6馬氏鏈的平穩(wěn)分布
3.7.7馬爾可夫信源
3.7.8馬爾可夫信源熵的計(jì)算
3.8信源的剩余度
3.8.1信源的相關(guān)性
3.8.2信源剩余度(冗長(zhǎng)度)
本章小結(jié)
附錄定理3.4.2的證明
習(xí)題
第4章離散信道及其容量
4.1信道模型及其分類(lèi)
4.1.1信道模型
4.1.2信道的分類(lèi)
4.2離散無(wú)記憶信道
4.2.1一般信道的數(shù)學(xué)模型
4.2.2離散無(wú)記憶信道
4.2.3平穩(wěn)(或恒參)信道
4.2.4單符號(hào)離散信道
4.2.5離散無(wú)記憶擴(kuò)展信道
4.3擴(kuò)展信道輸入與輸出平均互信息
4.4級(jí)聯(lián)信道
4.5離散無(wú)記憶信道容量
4.5.1信道容量的定義
4.5.2離散無(wú)噪信道的容量
4.5.3信道容量的計(jì)算
4.5.4離散對(duì)稱(chēng)信道的容量
4.5.5離散無(wú)記憶N次擴(kuò)展信道的容量
4.5.6離散并聯(lián)信道的容量
4.5.7和信道的容量
4.5.8關(guān)于信道容量的注釋
4.6信道容量的迭代計(jì)算
本章小結(jié)
附錄定理4.5.1的證明
習(xí)題
第5章無(wú)失真信源編碼
5.1概述’
5.1.1無(wú)失真信源編碼的分類(lèi)
5.1.2信源編碼器模型
’5.1.3簡(jiǎn)單信源編碼器舉例
5.2分組碼
5.2.1分組碼的性質(zhì)
5.2.2碼樹(shù)
5.3定長(zhǎng)碼
5.3.1無(wú)失真編碼條件
5.3.2信源序列分組定理
5.3.3漸進(jìn)均分特性
5.3.4定長(zhǎng)碼信源編碼定理
5.4變長(zhǎng)碼
5.4.1異前置碼的性質(zhì)
5.4.2變長(zhǎng)碼信源編碼定理
5.5最優(yōu)碼
5.5.1二元哈夫曼(HuHman)編碼
5.5.2多元哈夫曼編碼
5.5.3馬氏源的編碼
5.6算術(shù)編碼
5.6.1積累概率
5.6.2算術(shù)編碼的性能
5.6.3算術(shù)編碼和譯碼算法
5.6.4一般馬氏源的算術(shù)編碼
5.6.5算術(shù)編碼算法實(shí)現(xiàn)中的技術(shù)問(wèn)題
5.7L-Z編碼
5.7.1L-Z算法簡(jiǎn)介
5.7.2一種簡(jiǎn)化的LZW算法
5.8文本樹(shù)加權(quán)編碼
5.8.1二元序列概率的估計(jì)
5.8.2樹(shù)信源和文本樹(shù)
5.8.3文本樹(shù)力口權(quán)編碼的實(shí)現(xiàn)
5.8.4文本樹(shù)加權(quán)編碼的性能評(píng)估
本章小結(jié)
本章參考文獻(xiàn)
習(xí)題
第6章有噪信道編碼
6.1概述
6.1.1信息傳輸速率
6.1.2單符號(hào)判決規(guī)則
6.1.3譯碼錯(cuò)誤概率
6.2常用判決準(zhǔn)則
6.2.1最大后驗(yàn)概率準(zhǔn)則
6.2.2最大似然準(zhǔn)則
6.3費(fèi)諾(Fano)不等式
6.3.1信道疑義度
6.3.2費(fèi)諾不等式
6.3.3序列費(fèi)諾不等式
6.4序列的最佳譯碼準(zhǔn)則
6.4.1漢明距離
6.4.2序列最大似然譯碼
6.5有噪信道編碼定理
6.5.1聯(lián)合典型序列
6.5.2有噪信道編碼定理
6.5.3無(wú)失真信源信道編碼定理
本章小結(jié)
第7章連續(xù)信息與連續(xù)信源
7.1連續(xù)隨機(jī)變量的互信息
7.1.1連續(xù)隨機(jī)變量的離散化
7.1.2連續(xù)隨機(jī)變量的互信息
7.1.3連續(xù)集合平均互信息的性質(zhì)
7.2連續(xù)隨機(jī)變量集合的熵
7.2.1連續(xù)隨機(jī)變量集合的熵
7.2.2差熵的性質(zhì)
7.2.3信息散度
7.2.4差熵與平均互信息的關(guān)系
7.2.5線(xiàn)性變換下平均互信息的不變性
7.3離散時(shí)間高斯信源的熵
7.3.1一維高斯隨機(jī)變量集合的熵
7.3.2多維獨(dú)立高斯隨機(jī)變量集合的熵
7.3.3多維相關(guān)高斯隨機(jī)變量集合的熵
7.3.4復(fù)高斯信源的熵
7.4連續(xù)最大熵定理
7.4.1限功率最大熵定理
7.4.2限峰值最大熵定理
7.5連續(xù)時(shí)間波形的正交展開(kāi)
7.6連續(xù)時(shí)間信源的熵
7.6.1限帶高斯白噪聲信源的熵
7.6.2限帶高斯信源的熵
7.6.3熵功率
7.7最大熵原理與最大熵譜估計(jì)
7.7.1最大熵原理
7.7.2最大熵譜估計(jì)
7.8離散集合與連續(xù)集合之間的互信息
7.8.1離散事件x與連續(xù)事件》之間的互信息
7.8.2離散集合X與連續(xù)集合y的平均互信息
本章小結(jié)
本章參考文獻(xiàn)
附錄復(fù)矢量到實(shí)矢量的變換及其性質(zhì)
習(xí)題
第8章波形信道
8.1離散時(shí)間連續(xù)信道
8.1.1加性噪聲信道
8.1.2加性高斯噪聲信道
8.1.3容量代價(jià)函數(shù)
8.1.4離散時(shí)間信道的容量
8.1.5一般加性噪聲信道容量界
8.1.6并聯(lián)加性高斯噪聲信道
8.2數(shù)字基帶波形的正交展開(kāi)
8.3AWGN信道的容量
8.3.1加性高斯噪聲信道
8.3.2波形信道的互信息與容量
8.3.3AWGN信道的容量
8.3.4高斯噪聲信道編碼定理
8.3.5功率利用率和頻譜利用率的關(guān)系
8.4有色高斯噪聲信道
8.5數(shù)字調(diào)制系統(tǒng)的信道容量
8.5.1PAM調(diào)制系統(tǒng)的信道容量
8.5.2二維數(shù)字調(diào)制的信道容量
8.5.3BPSK調(diào)制的信道容量
8.6復(fù)高斯信道容量
8.7接近信道容量界的編碼
8.7.1Turbo碼
8.7.2LDPC碼
本章小結(jié)
本章參考文獻(xiàn)
習(xí)題
第9章信息率失真函數(shù)
9.1概述
9.1.1系統(tǒng)模型
9.1.2失真測(cè)度
9.2信息率失真函數(shù)
9.2.1信息率失真函數(shù)
9.2.2R(D)的性質(zhì)
9.3限失真編碼定理
9.3.1編碼速率的壓縮
9.3.2限失真信源編碼定理
9.3.3限失真信源信道編碼定理
9.4離散信源信息率失真函數(shù)的計(jì)算
9.4.1R(D)參量表示法求解
9.4.2方程的解法
9.4.3參量s的意義
9.5連續(xù)信源信息率失真函數(shù)
9.5.1信息率失真函數(shù)與性質(zhì)
9.5.2R(D)函數(shù)的計(jì)算
9.5.3差值失真測(cè)度
9.6高斯信源的R(D)函數(shù)
9.6.1離散時(shí)間無(wú)記憶高斯信源
9.6.2獨(dú)立并聯(lián)高斯信源
9.6.3有記憶高斯信源
9.6.4時(shí)間連續(xù)高斯信源
9.6.5限帶高斯信源
9.?一般連續(xù)信源R(D)函數(shù)
9.8有損數(shù)據(jù)壓縮
9.8.1量化
9.8.2最佳速率分配
9.8.3預(yù)狽0編碼
9.8.4子帶編碼
9.8.5變換編碼
本章小結(jié)
附錄1關(guān)于Pe的計(jì)算
附錄2定理9.7.1的證明
本章參考文獻(xiàn)
習(xí)題
第10章有約束信道及其編碼
10.1標(biāo)號(hào)圖及性質(zhì)
10.1.1標(biāo)號(hào)圖的基本概念
10.1.2標(biāo)號(hào)圖的變換
10.2有約束信道的容量
10.2.1有約束信道容量的定義
10.2.2等時(shí)長(zhǎng)符號(hào)有約束信道的容量
10.2.3不等時(shí)長(zhǎng)無(wú)約束信道的容量
10.2.4不等時(shí)長(zhǎng)有約束信道的容量
10.2.5馬氏源的最大熵
10.3有約束序列的性質(zhì)
10.3.1信道的約束
10.3.2游程長(zhǎng)度受限序列(RLL)
10.3.3部分響應(yīng)最大似然(PRML)序列
10.3.4直流平衡序列
10.3.5其他頻域受限序列
10.4有約束信道編碼定理
10.4.1有約束信道編碼定理
10.4.2編碼器的描述
10.4.3近似特征矢量
10.4.4——致?tīng)顟B(tài)分裂
10.4.5有限狀態(tài)編碼定理
10.5有約束系統(tǒng)的編碼
10.5.1編碼器性能指標(biāo)
10.5.2塊編碼器..
10.5.3確定性編碼器
10.5.4有限類(lèi)型編碼器
10.5.5直流平衡序列編碼系統(tǒng)
10.5.6滑動(dòng)塊譯碼器
10.6有約束序列編碼實(shí)例
10.6.1(d.k)塊碼編碼系統(tǒng)
10.6.2實(shí)用的直流平衡序列
10.6.3無(wú)直流游程受限序列
10.6.4有約束序列在家用電子產(chǎn)品中的應(yīng)用
本章小結(jié)
附錄定理10.2.2的證明
本章參考文獻(xiàn)
第11章空時(shí)信道的容量與空時(shí)碼
11.1空時(shí)無(wú)線(xiàn)系統(tǒng)
11.2衰落多徑信道的統(tǒng)計(jì)模型
11.2.1多徑信道描述參數(shù)
11.2.2頻率非選擇性信道
11.2.3頻率選擇性信道
11.2.4衰落信號(hào)分量的統(tǒng)計(jì)模型
11.3確定性MIMO信道的容量
11.3.1MIMO信道模型
11.3.2發(fā)射機(jī)未知CSI的容量
11.3.3發(fā)射機(jī)已知CSI的容量
11.3.4SIMO系統(tǒng)的容量
11.3.5MISO系統(tǒng)的容量
11.4衰落MIMO信道的容量
11.4.1容量的定義
11.4.2容量的計(jì)算
11.4.3影D向信道容量的因素
11.5空時(shí)接收機(jī)
11.5.1CSI對(duì)發(fā)射機(jī)和接收機(jī)均已知情況
11.5.2信道狀態(tài)僅對(duì)接收機(jī)已知的情況
11.6空時(shí)信道的編碼
11.6.1空時(shí)編碼器
11.6.2空時(shí)塊碼
11.6.3空時(shí)格碼
11.6.4空間復(fù)用編碼
11.6.5可達(dá)容量的比較
本章小結(jié)
本章參考文獻(xiàn)
習(xí)題
參考文獻(xiàn)