信息論――經典與現代

目錄
第1章 緒論 1
1．1 從通信談起 1
1．2 模擬通信與數字通信 2
1．3 信息論的誕生――香農1948年發(fā)表的論文 3
1．4 什么是信息 4
1．5 信息論的研究內容 5
習題 7
第2章 離散信源和離散熵 8
2．1 信源的數學模型及分類 8
2．2 離散熵 9
2．3 離散熵的性質 12
2．4 二維信源的聯合熵和條件熵 13
2．5 平均互信息 15
2．5．1 兩個隨機變量的平均互信息 15
2．5．2 多個隨機變量的平均互信息 17
2．6 離散平穩(wěn)信源的熵率 18
2．7 馬爾可夫信源 21
2．7．1 馬爾可夫鏈 21
2．7．2 馬爾可夫信源 23
2．8 本章小結 25
習題 25
第3章 離散無失真信源編碼 28
3．1 信源編碼的基本概念 28
3．1．1 信源編碼的兩種策略 28
3．1．2 信源編碼的分類 29
3．2 漸近等分割性定理 30
3．3 等長信源編碼 33
3．4 變長信源編碼 35
3．5 離散信源編碼方法 39
3．5．1 Huffman編碼 39
3．5．2 Fano編碼 42
3．5．3 香農編碼 43
3．5．4 算術編碼 44
3．6 本章小結 46
習題 46
第4章 離散信道和信道容量 48
4．1 信道的數學模型 48
4．1．1 信道的分類 48
4．1．2 信道的數學模型 49
4．2 平均互信息的凸性 50
4．3 信道容量 52
4．3．1 一般離散信道的信道容量 55
4．3．2 對稱信道的信道容量 60
4．4 多符號信道和并聯信道 62
4．5 串聯信道和數據處理定理 64
4．6 本章小結 65
習題 66
第5章 有噪信道編碼 69
5．1 單符號離散信道的譯碼規(guī)則 69
5．2 如何降低譯碼錯誤概率 73
5．3 譯碼錯誤概率和信息傳輸率的折中 76
5．4 信道編碼 80
5．5 聯合漸近等分割性定理和香農第二定理 82
5．6 信源信道分離編碼 88
5．7 本章小結 89
習題 90
第6章 波形信源和波形信道 92
6．1 隨機過程基礎 92
6．1．1 信號的分類 92
6．1．2 隨機過程 93
6．1．3 隨機波形信源 96
6．2 連續(xù)型隨機變量的微分熵 96
6．2．1 連續(xù)型隨機變量 96
6．2．2 微分熵 99
6．2．3 微分熵的性質 102
6．2．4 最大熵分布 103
6．3 連續(xù)信道和波形信道 104
6．3．1 連續(xù)信道和波形信道的分類 104
6．3．2 連續(xù)加性信道的轉移概率密度函數 104
6．3．3 連續(xù)信道和波形信道的信道容量 106
6．4 高斯信道 106
6．4．1 高斯信道與離散信道 107
6．4．2 高斯信道的信道容量 109
6．4．3 限帶AWGN信道的信道容量 111
6．5 香農公式 112
6．5．1 增加信道容量的兩種方法 112
6．5．2 Eb/N0和香農限 112
6．6 本章小結 114
習題 115
第7章 率失真理論 116
7．1 量化失真 117
7．2 失真度與率失真函數 117
7．3 率失真函數的定義域 121
7．4 率失真函數的性質 125
7．5 率失真函數的計算 126
7．5．1 離散信源率失真函數的計算 126
7．5．2 連續(xù)信源率失真函數的計算 132
7．6 保真度準則下的信源編碼定理 136
7．7 本章小結 136
習題 137
第8章 線性分組碼 139
8．1 線性分組碼的一般理論 140
8．1．1 基本概念 140
8．1．2 G矩陣和H矩陣 141
8．1．3 伴隨式 144
8．1．4 檢錯和糾錯 144
8．1．5 標準陣譯碼和伴隨式譯碼 147
8．1．6 線性分組碼的幾何解釋和檢錯、糾錯能力 149
8．2 漢明碼（Hamming Code） 150
8．3 本章小結 152
習題 153
第9章 循環(huán)碼 155
9．1 基本概念 155
9．2 循環(huán)碼的多項式表示法 155
9．3 循環(huán)碼的G矩陣和H矩陣 159
9．4 系統(tǒng)循環(huán)碼 160
9．5 循環(huán)碼的編碼 161
9．6 循環(huán)碼的譯碼 162
9．6．1 梅吉特譯碼 163
9．6．2 捕錯譯碼 165
9．6．3 大數邏輯譯碼 166
9．7 本章小結 167
習題 167
第10章 卷積碼 168
10．1 一般概念 168
10．2 卷積碼的多項式表示 173
10．3 卷積碼的狀態(tài)圖表示 174
10．4 卷積碼的網格圖表示 175
10．5 維特比譯碼 176
10．6 本章小結 178
習題 179
第11章 多用戶信息論 180
11．1 相關信源編碼 180
11．2 具有邊信息的信源編碼 183
11．3 多址接入信道 183
11．4 廣播信道 186
11．5 中繼信道 187
11．6 本章小結 188
習題 189
第12章 現代網絡信息論 190
12．1 網絡編碼基本思想 191
12．2 網絡編碼的概念 193
12．3 線性網絡編碼 195
12．3．1 確定網絡編碼 195
12．3．2 隨機網絡編碼 199
12．4 本章小結 200
習題 201
第13章 網絡容量域 202
13．1 網絡流 202
13．2 網絡容量域 203
13．3 均勻分數網絡 205
13．4 路由容量域 206
13．4．1 多重單播路由網絡容量域 207
13．4．2 一重組播路由網絡容量域 210
13．4．3 二重混合路由網絡容量域 218
13．5 編碼容量域 221
13．5．1 編碼容量域的理論解 221
13．5．2 編碼容量域的割集限 223
13．6 本章小結 226
習題 226
附錄A 有限域 227
A．1 集合 227
A．1．1 集合的定義 227
A．1．2 集合的運算 228
A．1．3 映射 230
A．1．4 代數系統(tǒng) 231
A．2 群 231
A．2．1 群的定義 231
A．2．2 陪集和拉格朗日定理 233
A．3 環(huán) 233
A．3．1 環(huán)的定義 233
A．3．2 整環(huán) 235
A．3．3 多項式環(huán) 236
A．4 域 237
A．4．1 域的定義 237
A．4．2 擴域 240
A．4．3 GF(2) 244
A．5 小結 246
附錄B 向量空間 247
附錄C 矩形博弈 249
附錄D 信息不等式 253
D．1 從集合論視角看待信息量 253
D．2 熵空間和原子空間 257
D．3 信息不等式 261
D．4 元形式香農信息度量 263
D．5 和 266
D．6 267
習題答案 269
參考文獻 295