信息論基礎(chǔ)

第1章 隨機(jī)變量的信息度量
§1.1　自信息
§1.2　熵、聯(lián)合熵、條件熵
§1.3　相對(duì)熵和互信息
§1.4　信息量的一些基本性質(zhì)
§1.5　廣義熵
習(xí)題一
第2章 隨機(jī)過(guò)程的信息度量和漸近等分性
§2.1　信源和隨機(jī)過(guò)程的基本概念
§2.2　隨機(jī)過(guò)程的信息度量
§2.3　漸近等分性質(zhì)
§2.4　漸近等分性在數(shù)據(jù)壓縮中的應(yīng)用——信源編碼定理
§2.5　Shannon—McMillan—Breiman定理
習(xí)題二
第3章 數(shù)據(jù)壓縮和信源編碼
§3.1　等長(zhǎng)碼
§3.2　變長(zhǎng)編碼
§3.3　哈夫曼（Huffman）碼
§3.4　算術(shù)碼
§3.4.1　香農(nóng)一費(fèi)諾碼
§3.4.2　自適應(yīng)算術(shù)碼
§3.5　通用信源編碼
§3.5.1　Lz算法
§3.5.2　LZW（LempeL-Ziv-Welch）算法
§3.5.3　Kieffer-YaIlg算法（基于語(yǔ)法的普適信源壓縮算法）
習(xí)題三
第4章 數(shù)據(jù)可靠傳輸和信道編碼
§4.1　離散無(wú)記憶信道和信道容量
§4.2　信道容量的計(jì)算
§4.2.1　拉格朗日乘子法
　 §4.2.2　信道容量的迭代算法
　§4.3　信道編碼理論
　§4.3.1　一些定義和概念
　 §4.3.2　聯(lián)合典型序列
　§4.3.3　信道編碼定理
　§4.4　帶反饋的信道模型
　§4.5　聯(lián)合信源——信道編碼定理
　§4.6　線性分組碼
　習(xí)題四
第5章 限失真信源編碼和率失真函數(shù)
§5.1　限失真信源編碼模型和率失真函數(shù)
§5.1.1 限失真信源編碼模型和率失真函數(shù)定義
§5.1.2　率失真函數(shù)的性質(zhì)
§5.1.3　平穩(wěn)信源的率失真函數(shù)
§5.2　率失真函數(shù)的計(jì)算
§5.2.1　一個(gè)簡(jiǎn)單的例子
§5.2.2　拉格朗日乘子法
§5.2.3　迭代算法
§5.3　限失真信源編碼定理
習(xí)題五
第6章 連續(xù)信源和信道編碼理論
§6.1　可微熵
§6.2　相對(duì)熵和互信息
§6.3　連續(xù)信源的率失真函數(shù)
§6.3.1　率失真函數(shù)和失真率函數(shù)
§6.3.2　高斯信源的率失真函數(shù)
§6.3.3　一般連續(xù)信源的率失真函數(shù)
§6.4　高斯信道
§6.4.1　有加性噪聲的信道模型和信道容量
§6.4.2　復(fù)合高斯信道和平穩(wěn)高斯信道
習(xí)題六
第7章 網(wǎng)絡(luò)信息理論
§7.1　網(wǎng)絡(luò)通信模型
　§7.2　多變量聯(lián)合典型序列
　§7.3　多址信道
　　§7.3.1　二址信道模型和編碼定理
　　§7.3.2　多址信道容量區(qū)域的計(jì)算
　　§7.3.3　高斯多址信道
　§7.4　相關(guān)信源編碼
　　§7.4.1　Slepian-Wolf模型
　§7.5　相關(guān)信源和多址信疲乏復(fù)合編碼問(wèn)題
　§7.6　網(wǎng)絡(luò)編碼
　　§7.6.1　幾個(gè)例子
　　§7.6.2　最大流最小截定理
　　§7.6.3　線性網(wǎng)絡(luò)編碼
　習(xí)題七
后記：信息論的推廣和應(yīng)用
參考文獻(xiàn)