機器學(xué)習(xí)導(dǎo)論（原書第2版）

目　錄
Introduction to Machine Learning,Second Edition
出版者的話
中文版序
譯者序
前言
致謝
關(guān)于第2版
符號表
第1章　緒論1
1.1　什么是機器學(xué)習(xí)1
1.2　機器學(xué)習(xí)的應(yīng)用實例3
1.2.1　學(xué)習(xí)關(guān)聯(lián)性3
1.2.2　分類3
1.2.3　回歸6
1.2.4　非監(jiān)督學(xué)習(xí)7
1.2.5　增強學(xué)習(xí)8
1.3　注釋8
1.4　相關(guān)資源10
1.5　習(xí)題11
1.6　參考文獻12
第2章　監(jiān)督學(xué)習(xí)13
2.1　由實例學(xué)習(xí)類13
2.2　VC維15
2.3　概率逼近正確學(xué)習(xí)16
2.4　噪聲17
2.5　學(xué)習(xí)多類18
2.6　回歸19
2.7　模型選擇與泛化21
2.8　監(jiān)督機器學(xué)習(xí)算法的維23
2.9　注釋24
2.10　習(xí)題25
2.11　參考文獻25
第3章　貝葉斯決策定理27
3.1　引言27
3.2　分類28
3.3　損失與風(fēng)險29
3.4　判別式函數(shù)31
3.5　效用理論31
3.6　關(guān)聯(lián)規(guī)則32
3.7　注釋33
3.8　習(xí)題33
3.9　參考文獻34
第4章　參數(shù)方法35
4.1　引言35
4.2　最大似然估計35
4.2.1　伯努利密度36
4.2.2　多項密度36
4.2.3　高斯(正態(tài))密度37
4.3　評價估計：偏倚和方差37
4.4　貝葉斯估計38
4.5　參數(shù)分類40
4.6　回歸43
4.7　調(diào)整模型的復(fù)雜度：偏倚/方差兩難選擇45
4.8　模型選擇過程47
4.9　注釋50
4.10　習(xí)題50
4.11　參考文獻51
第5章　多元方法52
5.1　多元數(shù)據(jù)52
5.2　參數(shù)估計52
5.3　缺失值估計53
5.4　多元正態(tài)分布54
5.5　多元分類56
5.6　調(diào)整復(fù)雜度59
5.7　離散特征61
5.8　多元回歸62
5.9　注釋63
5.10　習(xí)題63
5.11　參考文獻64
第6章　維度歸約65
6.1　引言65
6.2　子集選擇65
6.3　主成分分析67
6.4　因子分析71
6.5　多維定標(biāo)75
6.6　線性判別分析77
6.7　等距特征映射80
6.8　局部線性嵌入81
6.9　注釋83
6.10　習(xí)題84
6.11　參考文獻85
第7章　聚類86
7.1　引言86
7.2　混合密度86
7.3　k-均值聚類87
7.4　期望最大化算法90
7.5　潛在變量混合模型93
7.6　聚類后的監(jiān)督學(xué)習(xí)94
7.7　層次聚類95
7.8　選擇簇個數(shù)96
7.9　注釋96
7.10　習(xí)題97
7.11　參考文獻97
第8章　非參數(shù)方法99
8.1　引言99
8.2　非參數(shù)密度估計99
8.2.1　直方圖估計100
8.2.2　核估計101
8.2.3　k最近鄰估計102
8.3　到多元數(shù)據(jù)的推廣103
8.4　非參數(shù)分類104
8.5　精簡的最近鄰105
8.6　非參數(shù)回歸：光滑模型106
8.6.1　移動均值光滑106
8.6.2　核光滑108
8.6.3　移動線光滑108
8.7　如何選擇光滑參數(shù)109
8.8　注釋110
8.9　習(xí)題111
8.10　參考文獻112
第9章　決策樹113
9.1　引言113
9.2　單變量樹114
9.2.1　分類樹114
9.2.2　回歸樹118
9.3　剪枝119
9.4　由決策樹提取規(guī)則120
9.5　由數(shù)據(jù)學(xué)習(xí)規(guī)則121
9.6　多變量樹124
9.7　注釋125
9.8　習(xí)題126
9.9　參考文獻127
第10章　線性判別式129
10.1　引言129
10.2　推廣線性模型130
10.3　線性判別式的幾何意義131
10.3.1　兩類問題131
10.3.2　多類問題132
10.4　逐對分離132
10.5　參數(shù)判別式的進一步討論133
10.6　梯度下降135
10.7　邏輯斯諦判別式135
10.7.1　兩類問題135
10.7.2　多類問題138
10.8　回歸判別式141
10.9　注釋142
10.10　習(xí)題143
10.11　參考文獻143
第11章　多層感知器144
11.1　引言144
11.1.1　理解人腦144
11.1.2　神經(jīng)網(wǎng)絡(luò)作為并行處理的典范145
11.2　感知器146
11.3　訓(xùn)練感知器148
11.4　學(xué)習(xí)布爾函數(shù)150
11.5　多層感知器151
11.6　作為普適近似的MLP153
11.7　后向傳播算法154
11.7.1　非線性回歸154
11.7.2　兩類判別式157
11.7.3　多類判別式158
11.7.4　多個隱藏層158
11.8　訓(xùn)練過程158
11.8.1　改善收斂性158
11.8.2　過分訓(xùn)練159
11.8.3　構(gòu)造網(wǎng)絡(luò)161
11.8.4　線索162
11.9　調(diào)整網(wǎng)絡(luò)規(guī)模163
11.10　學(xué)習(xí)的貝葉斯觀點164
11.11　維度歸約165
11.12　學(xué)習(xí)時間167
11.12.1　時間延遲神經(jīng)網(wǎng)絡(luò)167
11.12.2　遞歸網(wǎng)絡(luò)168
11.13　注釋169
11.14　習(xí)題170
11.15　參考文獻170
第12章　局部模型173
12.1　引言173
12.2　競爭學(xué)習(xí)173
12.2.1　在線k-均值173
12.2.2　自適應(yīng)共鳴理論176
12.2.3　自組織映射177
12.3　徑向基函數(shù)178
12.4　結(jié)合基于規(guī)則的知識182
12.5　規(guī)范化基函數(shù)182
12.6　競爭的基函數(shù)184
12.7　學(xué)習(xí)向量量化186
12.8　混合專家模型186
12.8.1　協(xié)同專家模型188
12.8.2　競爭專家模型188
12.9　層次混合專家模型189
12.10　注釋189
12.11　習(xí)題190
12.12　參考文獻190
第13章　核機器192
13.1　引言192
13.2　最佳分離超平面193
13.3　不可分情況：軟邊緣超平面195
13.4　v-SVM197
13.5　核技巧198
13.6　向量核199
13.7　定義核200
13.8　多核學(xué)習(xí)201
13.9　多類核機器202
13.10　用于回歸的核機器203
13.11　一類核機器206
13.12　核維度歸約208
13.13　注釋209
13.14　習(xí)題209
13.15　參考文獻210
第14章　貝葉斯估計212
14.1　引言212
14.2　分布參數(shù)的估計213
14.2.1　離散變量213
14.2.2　連續(xù)變量215
14.3　函數(shù)參數(shù)的貝葉斯估計216
14.3.1　回歸216
14.3.2　基函數(shù)或核函數(shù)的使用218
14.3.3　貝葉斯分類219
14.4　高斯過程221
14.5　注釋223
14.6　習(xí)題224
14.7　參考文獻224
第15章　隱馬爾可夫模型225
15.1　引言225
15.2　離散馬爾可夫過程225
15.3　隱馬爾可夫模型227
15.4　HMM的三個基本問題229
15.5　估值問題229
15.6　尋找狀態(tài)序列231
15.7　學(xué)習(xí)模型參數(shù)233
15.8　連續(xù)觀測235
15.9　帶輸入的HMM236
15.10　HMM中的模型選擇236
15.11　注釋237
15.12　習(xí)題238
15.13　參考文獻239
第16章　圖方法240
16.1　引言240
16.2　條件獨立的典型情況241
16.3　圖模型實例245
16.3.1　樸素貝葉斯分類245
16.3.2　隱馬爾可夫模型246
16.3.3　線性回歸248
16.4　d-分離248
16.5　信念傳播249
16.5.1　鏈249
16.5.2　樹250
16.5.3　多樹251
16.5.4　結(jié)樹252
16.6　無向圖：馬爾可夫隨機場253
16.7　學(xué)習(xí)圖模型的結(jié)構(gòu)254
16.8　影響圖255
16.9　注釋255
16.10　習(xí)題256
16.11　參考文獻256
第17章　組合多學(xué)習(xí)器258
17.1　基本原理258
17.2　產(chǎn)生有差異的學(xué)習(xí)器258
17.3　模型組合方案260
17.4　投票法261
17.5　糾錯輸出碼263
17.6　裝袋265
17.7　提升265
17.8　重溫混合專家模型267
17.9　層疊泛化268
17.10　調(diào)整系綜268
17.11　級聯(lián)269
17.12　注釋270
17.13　習(xí)題271
17.14　參考文獻272
第18章　增強學(xué)習(xí)275
18.1　引言275
18.2　單狀態(tài)情況：K臂賭博機問題276
18.3　增強學(xué)習(xí)基礎(chǔ)277
18.4　基于模型的學(xué)習(xí)278
18.4.1　價值迭代279
18.4.2　策略迭代279
18.5　時間差分學(xué)習(xí)280
18.5.1　探索策略280
18.5.2　確定性獎勵和動作280
18.5.3　非確定性獎勵和動作282
18.5.4　資格跡283
18.6　推廣285
18.7　部分可觀測狀態(tài)286
18.7.1　場景286
18.7.2　例子：老虎問題287
18.8　注釋290
18.9　習(xí)題291
18.10　參考文獻292
第19章　機器學(xué)習(xí)實驗的設(shè)計與分析294
19.1　引言294
19.2　因素、響應(yīng)和實驗策略296
19.3　響應(yīng)面設(shè)計297
19.4　隨機化、重復(fù)和阻止298
19.5　機器學(xué)習(xí)實驗指南298
19.6　交叉驗證和再抽樣方法300
19.6.1　K-折交叉驗證300
19.6.2　5×2交叉驗證301
19.6.3　自助法302
19.7　度量分類器的性能302
19.8　區(qū)間估計304
19.9　假設(shè)檢驗307
19.10　評估分類算法的性能308
19.10.1　二項檢驗308
19.10.2　近似正態(tài)檢驗309
19.10.3　t檢驗309
19.11　比較兩個分類算法309
19.11.1　McNemar檢驗310
19.11.2　K-折交叉驗證配對t檢驗310
19.11.3　5×2交叉驗證配對t檢驗311
19.11.4　5×2交叉驗證配對F檢驗311
19.12　比較多個算法：方差分析312
19.13　在多個數(shù)據(jù)集上比較315
19.13.1　比較兩個算法315
19.13.2　比較多個算法317
19.14　注釋317
19.15　習(xí)題318
19.16　參考文獻319
附錄A　概率論320
索引328