信息論與編碼

第1章　緒論
第2章　熵和互信息
2．1　隨機(jī)變量的熵和互信息
2．1．1事件的自信息和互信息
2．1．2條件事件的互信息與聯(lián)合事件的互信息
2．1．3隨機(jī)變量的平均自信息——熵
2．1．4熵的性質(zhì)
2．1．5凸函數(shù)
2．1.6隨機(jī)變量間的平均互信息
2．1．7概率分布的散度（相對(duì)熵）
2．1．8關(guān)于疑義度的Fano不等式
2．1．9馬爾可夫鏈和數(shù)據(jù)處理定理
2．1．10Shamon信息度量與集合論之間的聯(lián)系
2．1．11信息論與博弈之間的關(guān)系
2．2　連續(xù)隨機(jī)變量的互信息和微分熵
2．2．1連續(xù)隨機(jī)變量的互信息
2．2.2連續(xù)隨機(jī)變量的熵——微分熵
2．2．3微分熵的極大化
2．3　平穩(wěn)離散信源的熵
2．3．1平穩(wěn)離散信源的一般概念
2．3．2平穩(wěn)信源的熵
2．3．3馬爾可夫信源
2．4平穩(wěn)隨機(jī)過程的信息量與熵
習(xí)題
第3章　離散無記憶信源（DMs）的無損編碼
3．1　離散無記憶信源的等長(zhǎng)編碼
3．1．1等長(zhǎng)編碼
3．1．2Shannon編碼定理和典型列解釋
3．1．3漸近等分性質(zhì)（AEP）與Shamon定理的證明
3．2　離散無記憶源（DMs）的不等長(zhǎng)編碼
3．2．1不等長(zhǎng)編碼的惟一可譯性和譯碼延時(shí)
3．2．2Kraf不等式
3．2．3不等長(zhǎng)編碼定理
3．3　幾種不等長(zhǎng)編碼算法
3．3．1最佳不等長(zhǎng)編碼（Huffman編碼）
3．3．2Shannon編碼法
3．3．3Fano編碼
3．3．4ShannOn-Fano-EIias編碼
3．3．5算術(shù)編碼
3．3．6通用信源編碼算法
3．3．7壓縮編碼與離散隨機(jī)數(shù)發(fā)生
3．4　平穩(wěn)信源和馬爾可夫信源的編碼定理
3．4．1平穩(wěn)信源的編碼
3．4．2馬爾可夫信源的編碼
習(xí)題
第4章　信道、信道容量及信道編碼定理
4．1　信道、信道模型和分類
4．2　離散無記憶信道（DMC）及其容量
4．2．1信道容量定義及例子
4．2．2離散無記憶信道（DMC）的容量定理
4．2．3對(duì)稱離散無記憶信道容量的計(jì)算
4.　2．4轉(zhuǎn)移概率矩陣可逆信道的容量計(jì)算
4．2．5離散無記憶信道（DMC）容量的迭代計(jì)算
4．3　信道的組合
4．3．1積信道（平行組合信道）
4．3．2和信道
4．3．3級(jí)聯(lián)信道
4．4　離散無記憶信道（DMC）的編碼定理
4．4．1幾個(gè)有關(guān)定義
4．4．2二元對(duì)稱信道編碼定理的證明
4．4．3一般離散無記憶信道編碼定理的證明（典型列方法）
4．4．4信道編碼定理之逆
4．4．5具有理想反饋的離散無記憶信道的容量
4.　4．6信源、信道編碼分離定理和信源、信道聯(lián)合編碼
4．5　加性高斯噪聲（AwGN）信道
4．5.1高斯信道的容量
4．5．2高斯信道編碼定理
4．5．3高斯信道編碼定理之逆
4．5．4帶有獨(dú)立高斯噪聲的平行信道
4．5．5帶有相關(guān)高斯噪聲的平行信道
4.　5．6MIMO高斯信道的容量
4．6　模擬信道的信道容量
4．6．1帶限、加性白高斯噪聲信道
4．6．2帶限、有色高斯噪聲信道
習(xí)題
第5章　率失真理論和保真度準(zhǔn)則下的信源編碼
5．1　率失真函數(shù)的定義
5．2　簡(jiǎn)單信源的率失真函數(shù)計(jì)算
5．2．1Hamming失真度量下的貝努利信源
5．2．2高斯信源
5．2．3高斯矢量信源
5．3　率失真函數(shù)的性質(zhì)
5．3．1R（D）的非零區(qū)域（Dmin,Dmax）
5．3．2R（D）的向下凸性
5．3．3R（D）為單調(diào)遞減的連續(xù)函數(shù)
5．3．4利用信源的對(duì)稱性來計(jì)算率失真函數(shù)
5．4　率失真函數(shù)解的充要條件和參數(shù)方程
5．5　率失真函數(shù)的交替迭代計(jì)算
5．6　保真度準(zhǔn)則下離散無記憶信源編碼定理
5．6．1可達(dá)性證明
5．6．2逆定理證明
5．6．3信道編碼定理與限失真信源編碼定理之間的對(duì)偶
5．7　無記憶連續(xù)信源的率失真函數(shù)
5．7．1無記憶連續(xù)信源的率失真函數(shù)定義
5．7．2平方誤差失真度量下連續(xù)隨機(jī)變量的率失真函數(shù)的上、下限
5．8　平方誤差失真度量下有記憶高斯信源的率失真函數(shù)
5．8．1有記憶信源的率失真函數(shù)定義
5．8．2高斯信源的特征
5．8．3離散時(shí)間平穩(wěn)高斯信源的率失真函數(shù)
5．8．4連續(xù)時(shí)間平穩(wěn)高斯信源的率失真函數(shù)
習(xí)題
第6章　受限系統(tǒng)和受限系統(tǒng)編碼
6．1　受限系統(tǒng)概述
6．1．1受限信道
6．1．2序列的自相關(guān)函數(shù)和功率譜
6．2　受限系統(tǒng)的表示和容量計(jì)算
6．2．1受限系統(tǒng)的概念
6．2．2RLL（d，k）序列
6．2．3受限系統(tǒng)的有限狀態(tài)轉(zhuǎn)移圖表示
6．2．4受限系統(tǒng)的容量
6．2．5受限系統(tǒng)容量的計(jì)算
6．2．6最大熵游程受限序列的功率譜
6．3　受限系統(tǒng)編碼方法
6．3．1定長(zhǎng)分組編碼
6．3．2碼長(zhǎng)最短的定長(zhǎng)分組碼
6．3．3可變長(zhǎng)度固定速率編碼
6．3．4向前看（LA）編碼技術(shù)
6．4　基于ACH狀態(tài)分裂算法的有限狀態(tài)編碼器
6．4．1狀態(tài)分裂
6．4．2近似本征矢量
6.　4．3一致分裂
6．4．4ACH狀態(tài)分裂算法
第7章　線性分組糾錯(cuò)編碼
7．1分組糾錯(cuò)編碼的一般概念
7．1．1用于糾錯(cuò)和檢錯(cuò)的信道編碼
7．1．2二元對(duì)稱信道的差錯(cuò)概率和差錯(cuò)分布
7．1．3檢錯(cuò)和糾錯(cuò)
……
第8章　循環(huán)碼
第9章　卷積碼
第10章　Turbo編碼與迭代譯碼算法
第11章　多用戶信息論與多用戶編碼
參考文獻(xiàn)