信息理論基礎（修訂版）

第1章　緒論
　1.1　信息
　1.2　通信系統(tǒng)模型
　1.3　信息論的形成和發(fā)展
第2章　信息的統(tǒng)計應量
　2.1　自信息量和條件自信息量
　2.1.1　自信息量
　2.1.2　條件自信息量
　2.2　互信息量和條件互信息量
　2.2.1　互信息量
　2.2.2　互信息量的性質(zhì)
　2.2.3　條件互信息量
　2.3　離散集的平均自信息量
　2.3.1　平均自信息量（熵）
　2.3.2　熵函數(shù)的數(shù)學特性
　2.3.3　條件熵
　2.3.4　聯(lián)合熵
　2.3.5　各種熵的性質(zhì)
　2.3.6　加權(quán)熵
　2.4　離散集的平均互信息量
　2.4.1　平均條件互信息量
　2.4.2　平均互信息量
　2.4.3　平均互信息量的性質(zhì)
　2.5　連續(xù)隨機變量的互信息和相對熵
　2.5.1　連續(xù)隨機變量的互信息
　2.5.2　連續(xù)隨機變量的熵
　習題
第3章　離散信源
　3.1　信源的數(shù)學模型及其分類
　3.1.1　信源的數(shù)學模型
　3.1.2　信源的分類
　3.2　離散無記憶信源
　3.3　離散無記憶信源的擴展信源
　3.3.1　最簡單的離散信源
　3.3.2　N次擴展信源
　3.3.3　N次擴展信源的熵
　3.4　離散平穩(wěn)信源
　3.4.1　平穩(wěn)信源
　3.4.2　平穩(wěn)信源的熵
　3.4.3　極限熵
　3.5　馬爾可夫信源
　3.5.1　有限狀態(tài)馬爾可夫鏈
　3.5.2　馬爾可夫信源
　3.6　信源的相關性和剩余度
　習題
第4章　離散信道及其容量
　4.1　信道的數(shù)學模型及其分類
　4.2　離散無記憶信道
　4.2.1　離散信道的數(shù)學模型
　4.2.2　單符號離散信道
　4.2.3　信道疑義度
　4.2.4　平均互信息
　4.2.5　各種熵.信道疑義度及平均互信息量之間的相互關系
　4.3　離散無記憶擴展信道
　4.3.1　N次擴展信道
　4.3.2　定理
　4.4　信道的組合
　4.5　信道容量
　4.5.1　信道容量的定義
　4.5.2　離散無噪信道
　4.5.3　離散對稱信道
　4.5.4　一般離散信道
　4.5.5　離散無記憶N次擴展信道
　4.5.6　獨立并聯(lián)信道
　4.5.7　信源和信道匹配
　習題
第5章　無失真信源編碼
　5.1　編碼器
　5.2　分組碼
　5.3　定長碼
　5.4　變長碼
　5.4.1　碼的分類和主要編碼方法
　5.4.2　克拉夫特不等式和麥克米倫不等式
　5.4.3　唯一可譯碼判別準則
　5.4.4　變長編碼定理
　5.4.5　變長碼的編碼方法
　習題
第6章　有噪信道編碼
　6.1　噪聲信道的編碼問題
　6.1.1　錯誤概率和譯碼規(guī)則
　6.1.2　譯碼規(guī)則
　6.2　錯誤概率與編碼方法
　6.2.1　簡單重復編碼
　6.2.2　消息符號個數(shù)
　6.2.3?。?.2）線性碼
　6.2.4　漢明距離
　6.3　有噪信道編碼定理
　6.4　錯誤概率的上界
　習題
第7章　限失真信源編碼
　7.1　失真測度
　7.1.1　失真函數(shù)
　7.1.2　平均失真
　7.2　信息率失真函數(shù)
　7.2.1　D*允許信道（試驗信道）
　7.2.2　信息率失真函數(shù)的定義
　7.2.3　信息率失真函數(shù)R（D）的性質(zhì)
　7.3　限失真情源編碼定理和逆定理
　7.3.1　限失真信源編碼定理
　7.3.2　限失真信源編碼逆定理
　7.4　信息率失真函數(shù)的計算
　7.4.1　R（D）參量表示法求解
　7.4.2　應用參量表示式計算R（D）的例題
　7.4.3　R（D）的迭代計算方法
　習題
第8章　連續(xù)信源和波形信道
　8.1　連續(xù)信源的特征
　8.1.1　連續(xù)信源
　8.1.2　連續(xù)信源的熵
　8.1.3　連續(xù)信源的最大熵
　8.1.4　聯(lián)合熵.條件熵和平均交互信息量
　8.1.5　連續(xù)信源的熵速率和熵功率
　8.2　連續(xù)信道的信道容量
　8.2.1　時間離散信道的容量
　8.2.2　時間連續(xù)信道的容量
　8.3　連續(xù)信道的信道編碼定理
　8.4　連續(xù)信源的信息率失真函數(shù)
　習題
第9章　糾錯編碼
　9.1　糾錯碼的基本概念
　9.2　糾錯碼分類
　9.3　線性分組碼
　9.3.1　校驗矩陣與生成矩陣
　9.3.2　線性分組碼的糾.檢錯能力
　9.3.3　校驗矩陣與最小距離的關系
　9.3.4　線性分組碼的伴隨式
　9.3.5　線性分組碼的譯碼
　9.3.6　漢明碼
　9.4　幾種重要的糾錯碼
　9.4.1　循環(huán)碼
　9.4.2　卷積碼
　習題
第10章　信息論方法在信號處理中的應用
　10.1　最大熵譜估計
　10.1.1　最大熵譜估計的機理及伯格遞推算法
　10.1.2　最大熵譜估計
　10.2　最小誤差熵估計與卡爾曼濾波
　10.2.1　最小均方誤差準則與最小誤差熵準則
　10.2.2　最小誤差熵準則推導卡爾曼濾波方程
參考文獻