信息論基礎(chǔ)

第1章 隨機變量的信息度量
§1.1　自信息
§1.2　熵、聯(lián)合熵、條件熵
§1.3　相對熵和互信息
§1.4　信息量的一些基本性質(zhì)
§1.5　廣義熵
習(xí)題一
第2章 隨機過程的信息度量和漸近等分性
§2.1　信源和隨機過程的基本概念
§2.2　隨機過程的信息度量
§2.3　漸近等分性質(zhì)
§2.4　漸近等分性在數(shù)據(jù)壓縮中的應(yīng)用——信源編碼定理
§2.5　Shannon—McMillan—Breiman定理
習(xí)題二
第3章 數(shù)據(jù)壓縮和信源編碼
§3.1　等長碼
§3.2　變長編碼
§3.3　哈夫曼（Huffman）碼
§3.4　算術(shù)碼
§3.4.1　香農(nóng)一費諾碼
§3.4.2　自適應(yīng)算術(shù)碼
§3.5　通用信源編碼
§3.5.1　Lz算法
§3.5.2　LZW（LempeL-Ziv-Welch）算法
§3.5.3　Kieffer-YaIlg算法（基于語法的普適信源壓縮算法）
習(xí)題三
第4章 數(shù)據(jù)可靠傳輸和信道編碼
§4.1　離散無記憶信道和信道容量
§4.2　信道容量的計算
§4.2.1　拉格朗日乘子法
　 §4.2.2　信道容量的迭代算法
　§4.3　信道編碼理論
　§4.3.1　一些定義和概念
　 §4.3.2　聯(lián)合典型序列
　§4.3.3　信道編碼定理
　§4.4　帶反饋的信道模型
　§4.5　聯(lián)合信源——信道編碼定理
　§4.6　線性分組碼
　習(xí)題四
第5章 限失真信源編碼和率失真函數(shù)
§5.1　限失真信源編碼模型和率失真函數(shù)
§5.1.1 限失真信源編碼模型和率失真函數(shù)定義
§5.1.2　率失真函數(shù)的性質(zhì)
§5.1.3　平穩(wěn)信源的率失真函數(shù)
§5.2　率失真函數(shù)的計算
§5.2.1　一個簡單的例子
§5.2.2　拉格朗日乘子法
§5.2.3　迭代算法
§5.3　限失真信源編碼定理
習(xí)題五
第6章 連續(xù)信源和信道編碼理論
§6.1　可微熵
§6.2　相對熵和互信息
§6.3　連續(xù)信源的率失真函數(shù)
§6.3.1　率失真函數(shù)和失真率函數(shù)
§6.3.2　高斯信源的率失真函數(shù)
§6.3.3　一般連續(xù)信源的率失真函數(shù)
§6.4　高斯信道
§6.4.1　有加性噪聲的信道模型和信道容量
§6.4.2　復(fù)合高斯信道和平穩(wěn)高斯信道
習(xí)題六
第7章 網(wǎng)絡(luò)信息理論
§7.1　網(wǎng)絡(luò)通信模型
　§7.2　多變量聯(lián)合典型序列
　§7.3　多址信道
　　§7.3.1　二址信道模型和編碼定理
　　§7.3.2　多址信道容量區(qū)域的計算
　　§7.3.3　高斯多址信道
　§7.4　相關(guān)信源編碼
　　§7.4.1　Slepian-Wolf模型
　§7.5　相關(guān)信源和多址信疲乏復(fù)合編碼問題
　§7.6　網(wǎng)絡(luò)編碼
　　§7.6.1　幾個例子
　　§7.6.2　最大流最小截定理
　　§7.6.3　線性網(wǎng)絡(luò)編碼
　習(xí)題七
后記：信息論的推廣和應(yīng)用
參考文獻