信息論與編碼技術

第1章  緒論    1
1.1  基本概念    1
1.1.1  信息的一般概念    1
1.1.2  香農信息定義    4
1.1.3  信息論與編碼技術發(fā)展簡史    7
1.2  數字通信系統(tǒng)模型    8
1.3  信息論與編碼理論研究的主要內容和意義    10
1.3.1  信息論研究的主要內容    10
1.3.2  香農信息論對信道編碼的指導意義    10
1.3.3  香農信息論對信源編碼的指導意義    11
思考題與習題    11
第2章  信源及其熵    13
2.1  信源的數學模型和分類    13
2.1.1  信源的數學模型    13
2.1.2  信源的分類    14
2.2  離散信源的信息熵及其性質    18
2.2.1  自信息    19
2.2.2  信息熵    20
2.2.3  熵的基本性質    22
2.3  離散無記憶信源的擴展信源    26
2.4  離散平穩(wěn)信源    28
2.4.1  平穩(wěn)信源的概念    28
2.4.2  二維平穩(wěn)信源    29
2.4.3  一般離散平穩(wěn)信源    33
2.5  連續(xù)信源的信息熵    34
2.5.1  單符號連續(xù)信源的熵    35
2.5.2  波形信源的熵    37
2.5.3  最大熵定理    38
2.6  信源的冗余度    39
2.6.1  信源效率    40
2.6.2  信源冗余度    40
2.7  離散無失真信源編碼定理    42
2.7.1  信源編碼器    42
2.7.2  香農第一定理    45
思考題與習題    46
第3章  信道及其容量    49
3.1  信道的數學模型與分類    49
3.1.1  信道的分類    50
3.1.2  信道的數學模型    51
3.1.3  單符號離散信道    53
3.2  信道疑義度與平均互信息    55
3.2.1  信道疑義度    55
3.2.2  平均互信息    56
3.2.3  平均互信息的性質    60
3.3  離散無記憶的擴展信道    63
3.4  離散信道的信道容量    65
3.4.1  信道容量的定義    65
3.4.2  簡單離散信道的信道容量    66
3.4.3  對稱離散信道的信道容量    69
3.4.4  離散無記憶N次擴展信道的信道容量    71
3.5  連續(xù)信道的信道容量    72
3.5.1  連續(xù)單符號加性高斯噪聲信道的信道容量    72
3.5.2  多維無記憶加性連續(xù)信道的信道容量    74
3.5.3  限頻限時限功率的加性高斯白噪聲信道的信道容量    78
3.6  信源與信道的匹配    81
3.7  信道編碼定理    82
思考題與習題    83
第4章  信息率失真函數    87
4.1  失真測度    88
4.1.1  系統(tǒng)模型    88
4.1.2  失真度和平均失真度    88
4.2  信息率失真函數及其性質    90
4.2.1  信息率失真函數的定義    90
4.2.2  信息率失真函數的性質    91
4.3  離散無記憶信源的信息率失真函數    94
4.3.1  等概率、對稱失真信源的R(D)計算    94
4.3.2  離散無記憶信源的信息率失真函數的參量表述    97
4.4  連續(xù)無記憶信源的信息率失真函數    102
4.4.1  連續(xù)無記憶信源的信息率失真函數的定義    102
4.4.2  高斯信源的信息率失真函數    103
4.4.3  連續(xù)無記憶信源的信息率失真函數的參量表述    105
4.4.4  差值失真度量下連續(xù)無記憶信源的信息率失真函數    106
4.5  保真度準則下的信源編碼定理    110
思考題與習題    111
第5章  信源編碼    114
5.1  編碼器和相關概念    114
5.1.1  碼的分類    115
5.1.2  碼樹    118
5.1.3  Kraft不等式    120
5.2  變長編碼    121
5.2.1  香農碼    123
5.2.2  費諾碼    124
5.2.3  霍夫曼碼    126
5.3  限失真信源編碼    132
5.4  實用信源編碼方法    132
5.4.1  游程編碼    132
5.4.2  算術編碼    136
5.4.3  預測編碼    142
5.4.4  變換編碼    144
思考題與習題    152
第6章  信道編碼    157
6.1  信道編碼的概念    157
6.1.1  信道編碼的分類    157
6.1.2  與糾錯編碼有關的基本概念    159
6.1.3  檢錯與糾錯原理    164
6.1.4  檢錯與糾錯方式和能力    166
6.2  線性分組碼    168
6.2.1  線性分組碼的基本概念    168
6.2.2  生成矩陣和一致校驗矩陣    171
6.2.3  線性分組碼的譯碼    177
6.2.4  線性分組碼的糾錯能力    180
6.2.5  漢明碼    183
6.3  循環(huán)碼    185
6.3.1  循環(huán)碼的多項式描述    185
6.3.2  循環(huán)碼的生成矩陣    187
6.3.3  系統(tǒng)循環(huán)碼    190
6.3.4  多項式運算電路    191
6.3.5  循環(huán)碼的編碼電路    192
6.3.6  循環(huán)碼的譯碼電路    195
6.3.7  常用的循環(huán)碼    198
6.4  卷積碼    203
6.4.1  卷積碼的編碼    203
6.4.2  卷積碼的譯碼    211
思考題與習題    216
參考文獻     220