信息論基礎（含習題與解答）

前言
第1章緒論1
1.1信息概念和特性1
1.2熵的概念2
1.3信息論研究的基本問題和主要內(nèi)容3
1.3.1信息論研究的基本問題3
1.3.2信息論研究內(nèi)容4
1.4香農(nóng)簡介5
1.5本書結(jié)構(gòu)7
1.6本章小結(jié)7
第2章數(shù)學基礎8
2.1概率論基礎8
2.1.1概率空間8
2.1.2隨機變量與分布函數(shù)11
2.1.3多維隨機變量及其分布13
2.1.4數(shù)字特征18
2.1.5大數(shù)定律及中心極限定理21
2.2馬爾可夫鏈24
2.2.1有限狀態(tài)馬氏鏈24
2.2.2狀態(tài)轉(zhuǎn)移概率24
2.2.3齊次馬氏鏈25
2.2.4馬氏鏈的平穩(wěn)分布27
2.3凸函數(shù)和常用不等式28
2.3.1凸函數(shù)28
2.3.2常用不等式30
2.4本章小結(jié)32
習題33
第3章信息度量和熵36
3.1自信息、條件自信息和聯(lián)合自信息36
3.1.1自信息36
3.1.2條件自信息38
3.1.3聯(lián)合自信息39
3.2互信息和信息散度39
3.2.1互信息定義39
3.2.2互信息的性質(zhì)40
3.2.3條件互信息41
3.2.4信息散度41
3.3離散集合的平均信息量(熵)43
3.3.1信息熵43
3.3.2條件熵44
3.3.3聯(lián)合熵44
3.3.4熵的基本性質(zhì)45
3.3.5各類熵的關(guān)系49
3.3.6熵函數(shù)的唯一性51
3.3.7通信系統(tǒng)中熵的意義51
3.4平均互信息53
3.4.1平均互信息定義53
3.4.2平均互信息與熵的關(guān)系54
3.4.3平均互信息的性質(zhì)56
3.4.4多隨機變量的互信息61
3.5本章小結(jié)69
習題70
第4章信源和熵74
4.1信源的分類與數(shù)學模型74
4.1.1信源的分類74
4.1.2信源的數(shù)學模型74
4.2離散信源75
4.2.1離散無記憶信源和熵75
4.2.2離散平穩(wěn)信源和熵76
4.2.3馬爾可夫信源79
4.2.4信源的冗余度84
4.3連續(xù)信源86
4.3.1連續(xù)信源的熵與平均互信息86
4.3.2連續(xù)隨機變量信息散度90
4.3.3幾種特殊分布連續(xù)信源熵90
4.3.4最大熵定理94
4.3.5熵功率96
4.3.6隨機矢量通過線性系統(tǒng)后信息的變化96
4.3.7符號持續(xù)時間不同信源的熵99
4.4本章小結(jié)102
習題104
第5章信道與信道容量107
5.1信道的特性及其分類107
5.1.1信道模型107
5.1.2信道分類107
5.2離散信道及其容量108
5.2.1離散信道數(shù)學模型108
5.2.2離散信道容量111
5.2.3多符號離散信道的容量124
5.3連續(xù)/波形信道及其容量126
5.3.1加性噪聲信道和容量127
5.3.2加性高斯信道和容量129
5.3.3加性非高斯信道的容量130
5.3.4多維無記憶加性高斯信道133
5.3.5限頻限功率高斯信道的容量136
5.3.6香農(nóng)信道編碼定理139
5.4本章小結(jié)140
習題142
第6章無失真信源編碼145
6.1信源編碼簡介145
6.2離散信源定長編碼147
6.2.1典型序列與信源序列的漸近均分特性148
6.2.2定長編碼定理150
6.2.3定長碼參數(shù)151
6.3離散信源變長編碼152
6.3.1變長碼的唯一可譯性和即時性153
6.3.2Kraft不等式154
6.3.3變長編碼定理156
6.3.4變長碼參數(shù)157
6.4平穩(wěn)信源和Markov信源的編碼158
6.4.1平穩(wěn)信源的編碼158
6.4.2馬爾可夫信源的編碼159
6.5變長編碼方法161
6.5.1香農(nóng)編碼161
6.5.2Fano編碼162
6.5.3Huffman編碼162
6.5.4實用的信源編碼方法166
6.6本章小結(jié)169
習題170
第7章限失真信源編碼174
7.1系統(tǒng)模型和失真測度175
7.1.1系統(tǒng)模型175
7.1.2失真測度175
7.1.3失真函數(shù)舉例說明176
7.2信息率失真函數(shù)177
7.2.1定義177
7.2.2信息率失真函數(shù)的性質(zhì)177
7.2.3簡單信源的信息率失真函數(shù)180
7.3離散信源R(D)計算188
7.3.1離散信源信息率失真函數(shù)的參量表示188
7.3.2離散信源R(D)求解矢量/矩陣表示190
7.3.3參量s的意義191
7.3.4離散信源R(D)的迭代計算194
7.4連續(xù)信源的信息率失真函數(shù)196
7.4.1連續(xù)信源的平均失真函數(shù)196
7.4.2d(x，y)只與x？y有關(guān)情況下率失真函數(shù)的求解198
7.4.3高斯信源的率失真函數(shù)199
7.4.4限帶高斯信源的率失真函數(shù)201
7.4.5一般信源率失真函數(shù)的上限和下限202
7.5限失真信源編碼定理202
7.6本章小結(jié)205
習題207
第8章MIMO信道模型及容量210
8.1引言210
8.2無線信道特性210
8.2.1路徑損耗211
8.2.2信道衰落213
8.2.3信道擴展215
8.2.4信道相關(guān)性217
8.3MIMO信道模型222
8.3.1常見信道模型222
8.3.2基本信道模型224
8.3.3擴展信道模型226
8.4MIMO信道容量228
8.4.1確定性MIMO信道228
8.4.2隨機性MIMO信道232
8.5本章小結(jié)236
習題238
第9章數(shù)字噴泉碼240
9.1信道模型241
9.1.1刪除信道241
9.1.2無線信道242
9.2數(shù)字噴泉碼的數(shù)學描述242
9.2.1數(shù)字噴泉碼的定義242
9.2.2數(shù)字噴泉碼的Tanner圖243
9.2.3數(shù)字噴泉碼的度分布函數(shù)244
9.3典型的數(shù)字噴泉碼245
9.3.1LT碼245
9.3.2Raptor碼246
9.4數(shù)字噴泉碼的譯碼算法247
9.4.1刪除信道中的譯碼算法247
9.4.2無線信道中的譯碼算法248
9.5數(shù)字噴泉碼的密度演化分析方法250
9.5.1刪除信道中的密度演化250
9.5.2無線信道中的密度演化253
9.6本章小結(jié)256
參考文獻258