統(tǒng)計學(xué)習(xí)理論的本質(zhì)

譯序
第二版前言
第一版前言
0 引論：學(xué)習(xí)問題研究的四個階段
0. 1 Rosenblatt的感知器 60年代
0. 1. 1 感知器模型
0. 1. 2 對學(xué)習(xí)過程分析的開始
0. 1. 3 對學(xué)習(xí)過程的應(yīng)用分析與理論分析
0. 2 學(xué)習(xí)理論基礎(chǔ)的創(chuàng)立 60-70年代
0. 2. 1 經(jīng)驗(yàn)風(fēng)險最小化原則的理論
0. 2. 2 解決不適定問題的理論
0. 2. 3 密度估計的非參數(shù)方法
0. 2. 4 算法復(fù)雜度的思想
0. 3 神經(jīng)網(wǎng)絡(luò) 80年代
0. 3. 1 神經(jīng)網(wǎng)絡(luò)的思想
0. 3. 2 理論分析目標(biāo)的簡化
0. 4 回到起點(diǎn) 90年代
第一章 學(xué)習(xí)問題的表示
1. 1 函數(shù)估計模型
1. 2 風(fēng)險最小化問題
1. 3 三種主要的學(xué)習(xí)問題
1. 3. 1 模式識別
1. 3. 2 回歸估計
1. 3. 3 密度估計 Fisher-Wald表示
1. 4 學(xué)習(xí)問題的一般表示
1. 5 經(jīng)驗(yàn)風(fēng)險最小化歸納原則
1. 6 學(xué)習(xí)理論的四個部分非正式推導(dǎo)和評述--1
1. 7 解決學(xué)習(xí)問題的傳統(tǒng)模式
1. 7. 1 密度估計問題 最大似然方法
1. 7. 2 模式識別 判別分析 問題
1. 7. 3 回歸估計模型
1. 7. 4 最大似然法的局限
1. 8 密度估計的非參數(shù)方法
1. 8. 1 Parzen窗
1. 8. 2 密度估計的問題是不適定的
1. 9 用有限數(shù)量信息解決問題的基本原則
1. 10 基于經(jīng)驗(yàn)數(shù)據(jù)的風(fēng)險最小化模型
1. 10. 1 模式識別
1. 10. 2 回歸估計
1. 10. 3 密度估計
1. 11 隨機(jī)逼近推理
第二章 學(xué)習(xí)過程的一致性
2. 1 傳統(tǒng)的一致性定義和非平凡一致性概念
2. 2 學(xué)習(xí)理論的關(guān)鍵定理
2. 3 一致雙邊收斂的充分必要條件
2. 3. 1 關(guān)于大數(shù)定律及其推廣
2. 3. 2 指示函數(shù)集的熵
2. 3. 3 實(shí)函數(shù)集的熵
2. 3. 4 一致雙邊收斂的條件
2. 4 一致單邊收斂的充分必要條件
2. 5 不可證偽性理論
2. 6 關(guān)于不可證偽性的定理
2. 6. 1 完全 Popper 不可證偽的情況
2. 6. 2 關(guān)于部分不可證偽的定理
2. 6. 3 關(guān)于潛在不可證偽的定理
2. 7 學(xué)習(xí)理論的三個里程碑非正式推導(dǎo)和評述--2
2. 8 概率論和統(tǒng)計學(xué)的基本問題
2. 9 估計概率測度的兩種方式
2. 10 概率測度的強(qiáng)方式估計與密度估計問題
2. 11 Glivenko-Cantelli定理及其推廣
2. 12 歸納的數(shù)學(xué)理論
第三章 學(xué)習(xí)過程收斂速度的界
3. 1 基本不等式
3. 2 對實(shí)函數(shù)集的推廣
3. 3 主要的與分布無關(guān)的界
3. 4 學(xué)習(xí)機(jī)器推廣能力的界
3. 5 生長函數(shù)的結(jié)構(gòu)
3. 6 函數(shù)集的VC維
3. 7 構(gòu)造性的與分布無關(guān)的界
3. 8 構(gòu)造嚴(yán)格的 依賴于分布的 界的問題非正式推導(dǎo)和評述--3
3. 9 Kolmogorov-Smirnov分布
3. 10 在常數(shù)上的競賽
3. 11 經(jīng)驗(yàn)過程的界
第四章 控制學(xué)習(xí)過程的推廣能力
4. 1 結(jié)構(gòu)風(fēng)險最小化歸納原則
4. 2 收斂速度的漸近分析
4. 3 學(xué)習(xí)理論中的函數(shù)逼近問題
4. 4 神經(jīng)網(wǎng)絡(luò)的子集結(jié)構(gòu)舉例
4. 5 局部函數(shù)估計的問題
4. 6 最小描述長度與SRM原則
4. 6. 1 MDL原則
4. 6. 2 對于MDL原則的界
4. 6. 3 SRM和MDL原則
4. 6. 4 MDL原則的一個弱點(diǎn)非正式推導(dǎo)和評述--4
4. 7 解決不適定問題的方法
4. 8 隨機(jī)不適定問題和密度估計問題
4. 9 回歸的多項(xiàng)式逼近問題
4. 10 容量控制的問題
4. 10. 1 選擇多項(xiàng)式的階數(shù)
4. 10. 2 選擇最優(yōu)的稀疏代數(shù)多項(xiàng)式
4. 10. 3 三角多項(xiàng)式集合上的結(jié)構(gòu)
4. 10. 4 特征選擇的問題
4. 11 容量控制的問題與貝葉斯推理
4. 11. 1 學(xué)習(xí)理論中的貝葉斯方法
4. 11. 2 貝葉斯方法與容量控制方法的討論
第五章 模式識別的方法
5. 1 為什么學(xué)習(xí)機(jī)器能夠推廣
5. 2 指示函數(shù)的sigmoid逼近
5. 3 神經(jīng)網(wǎng)絡(luò)
5. 3. 1 后向傳播方法
5. 3. 2 后向傳播算法
5. 3. 3 用于回歸估計問題的神經(jīng)網(wǎng)絡(luò)
5. 3. 4 關(guān)于后向傳播方法的討論
5. 4 最優(yōu)分類超平面
5. 4. 1 最優(yōu)超平面
5. 4. 2 △-間隔分類超平面
5. 5 構(gòu)造最優(yōu)超平面
5. 6 支持向量機(jī)
5. 6. 1 高維空間中的推廣
5. 6. 2 內(nèi)積的回旋
5. 6. 3 構(gòu)造SV機(jī)
5. 6. 4 SV機(jī)的例子
5. 7 SV機(jī)的實(shí)驗(yàn)
5. 7. 1 平面上的實(shí)驗(yàn)
5. 7. 2 手寫數(shù)字識別
5. 7. 3 一些重要的細(xì)節(jié)
5. 8 關(guān)于SV機(jī)的討論
5. 9 SVM與Logistic回歸
5. 9. 1 Logistic回歸
5. 9. 2 SVM的風(fēng)險函數(shù)
5. 9. 3 Logistic回歸的SVM逼近
5. 10 SVM的組合
5. 10. 1 AdaBoost方法
5. 10. 2 SVM的組合非正式推導(dǎo)和評述--5
5. 11 工程技巧與正式的推理
5. 12 統(tǒng)計模型的高明所在
5. 13 從數(shù)字識別實(shí)驗(yàn)中我們學(xué)到了什么
5. 13. 1 結(jié)構(gòu)類型與容量控制精度的影響
5. 13. 2 SRM原則和特征構(gòu)造問題
5. 13. 3 支持向量集合是否是數(shù)據(jù)的一個魯棒的特性
第六章
函數(shù)估計的方法
6. 1 不敏感損失函數(shù)
6. 2 用于回歸函數(shù)估計的SVM
6. 2. 1 采用回旋內(nèi)積的SV機(jī)
6. 2. 2 對非線性損失函數(shù)的解
6. 2. 3 線性優(yōu)化方法
6. 3 構(gòu)造估計實(shí)值函數(shù)的核
6. 3. 1 生成正交多項(xiàng)式展開的核
6. 3. 2 構(gòu)造多維核
6. 4 生成樣條的核
6. 4. 1 d階有限結(jié)點(diǎn)的樣條
6. 4. 2 生成有無窮多結(jié)點(diǎn)的樣條的核
6. 5 生成傅里葉展開的核
6. 6 用于函數(shù)逼近和回歸估計的支持向量ANOVA分解 SVAD
6. 7 求解線性算子方程的SVM
6. 8 用SVM進(jìn)行函數(shù)逼近
6. 9 用于回歸估計的SVM
6. 9. 1 數(shù)據(jù)平滑的問題
6. 9. 2 線性回歸函數(shù)估計
6. 9. 3 非線性回歸函數(shù)估計非正式推導(dǎo)和評述--6
6. 10 回歸估計問題中的損失函數(shù)
6. 11 魯棒估計的損失函數(shù)
6. 12 支持向量回歸機(jī)器
第七章 統(tǒng)計學(xué)習(xí)理論中的直接方法
7. 1 密度. 條件概率和條件密度的估計問題
7. 1. 1 密度估計的問題：直接表示
7. 1. 2 條件概率估計問題
7. 1. 3 條件密度估計問題
7. 2 求解近似確定的積分方程的問題
7. 3 Glivenko-Cantelli定理
7. 4 不適定問題
7. 5 解決不適定問題的三種方法
7. 6 不適定問題理論的主要論斷
7. 6. 1 確定性不適定問題
7. 6. 2 隨機(jī)不適定問題
7. 7 密度估計的非參數(shù)方法
7. 7. 1 密度估計問題解的一致性
7. 7. 2 Parzen估計
7. 8 密度估計問題的SVM解
7. 8. 1 SVM密度估計方法：總結(jié)
7. 8. 2 Parzen和SVM方法的比較
7. 9 條件概率估計
7. 9. 1 近似定義的算子
7. 9. 2 條件概率估計的SVM方法
7. 9. 3 SVM條件概率估計：總結(jié)
7. 10 條件密度和回歸的估計
7. 11 評注
7. 11. 1 評注1. 我們可以利用未知密度的一個好估計
7. 11. 2 評注2. 我們可以利用有標(biāo)號的 訓(xùn)練 數(shù)據(jù), 也可以利用無標(biāo)號的 測試 數(shù)據(jù)
7. 11. 3 評注3. 得到不適定問題的稀疏解的方法非正式推導(dǎo)和評述--7
7. 12 科學(xué)理論的三個要素
7. 12. 1 密度估計的問題
7. 12. 2 不適定問題的理論
7. 13 隨機(jī)不適定問題
第八章 鄰域風(fēng)險最小化原則與SVM
8. 1 鄰域風(fēng)險最小化原則
8. 1. 1 硬鄰域函數(shù)
8. 1. 2 軟鄰域函數(shù)
8. 2 用于模式識別問題的VRM方法
8. 3 鄰域核的例子
8. 3. 1 硬鄰域函數(shù)
8. 3. 2 軟鄰域函數(shù)
8. 4 非對稱鄰域
8. 5 對于估計實(shí)值函數(shù)的推廣
8. 6 密度和條件密度估計
8. 6. 1 估計密度函數(shù)
8. 6. 2 估計條件概率函數(shù)
8. 6. 3 估計條件密度函數(shù)
8. 6. 4 估計回歸函數(shù)非正式推導(dǎo)和評述--8
第九章 結(jié)論：什么是學(xué)習(xí)理論中重要的
9. 1 在問題的表示中什么是重要的
9. 2 在學(xué)習(xí)過程一致性理論中什么是重要的
9. 3 在界的理論中什么是重要的
9. 4 在控制學(xué)習(xí)機(jī)器推廣能力的理論中什么是重要的
9. 5 在構(gòu)造學(xué)習(xí)算法的理論中什么是重要的
9. 6 什么是最重要的
參考文獻(xiàn)及評述
對參考文獻(xiàn)的評述
參考文獻(xiàn)
索引