機器學習：算法視角（原書第2版）

第2版前言
第1版前言
第1章　緒論1
1.1　如果數(shù)據(jù)有質量，地球將成為黑洞1
1.2　學習3
1.2.1　機器學習3
1.3　機器學習的類別4
1.4　監(jiān)督學習5
1.4.1　回歸5
1.4.2　分類6
1.5　機器學習過程7
1.6　關于編程的注意事項8
1.7　本書的學習路線 9
拓展閱讀10
第2章　預備知識11
2.1　專業(yè)術語11
2.1.1　權重空間11
2.1.2　維度災難12
2.2　知你所知：測試機器學習算法13
2.2.1　過擬合14
2.2.2　訓練集、測試集和驗證集14
2.2.3　混淆矩陣15
2.2.4　精度指標16
2.2.5　受試者工作特征曲線17
2.2.6　不平衡數(shù)據(jù)集17
2.2.7　度量精度18
2.3　數(shù)據(jù)與概率的轉換19
2.3.1　最小化風險20
2.3.2　樸素貝葉斯分類21
2.4　基本統(tǒng)計概念22
2.4.1　平均值22
2.4.2　方差與協(xié)方差22
2.4.3　高斯分布24
2.5　權衡偏差與方差24
拓展閱讀26
習題26
第3章　神經(jīng)元、神經(jīng)網(wǎng)絡和線性判別27
3.1　大腦和神經(jīng)元27
3.1.1　Hebb法則27
3.1.2　McCulloch和Pitts神經(jīng)元28
3.1.3　McCulloch和Pitts神經(jīng)元模型的局限性29
3.2　神經(jīng)網(wǎng)絡30
3.3　感知器31
3.3.1　學習速率η32
3.3.2　輸入偏置32
3.3.3　感知器學習算法33
3.3.4　感知器學習示例34
3.3.5　具體實現(xiàn)35
3.4　線性可分性39
3.4.1　感知器收斂定理40
3.4.2　XOR函數(shù)41
3.4.3　有用的領悟42
3.4.4　另一個示例：皮馬印第安人數(shù)據(jù)集43
3.4.5　數(shù)據(jù)預處理44
3.5　線性回歸45
3.5.1　示例46
拓展閱讀47
習題48
第4章　多層感知器49
4.1　前向50
4.1.1　偏置50
4.2　后向：誤差的反向傳播50
4.2.1　多層感知器算法53
4.2.2　初始化權重55
4.2.3　不同的輸出激活函數(shù)56
4.2.4　順序和批量訓練57
4.2.5　局部最小57
4.2.6　利用沖量58
4.2.7　小批量和隨機梯度下降58
4.2.8　其他改善方法59
4.3　實踐中的MLP59
4.3.1　訓練數(shù)據(jù)的量59
4.3.2　隱藏層的數(shù)目59
4.3.3　什么時候停止學習60
4.4　MLP應用示例61
4.4.1　回歸問題61
4.4.2　使用MLP分類63
4.4.3　分類示例：iris數(shù)據(jù)集64
4.4.4　時間序列預測66
4.4.5　數(shù)據(jù)壓縮：自動關聯(lián)網(wǎng)絡68
4.5　MLP使用指南69
4.6　反向傳播的推導70
4.6.1　網(wǎng)絡輸出70
4.6.2　網(wǎng)絡誤差70
4.6.3　激活函數(shù)的要求71
4.6.4　誤差的后向傳播72
4.6.5　輸出激活函數(shù)74
4.6.6　誤差函數(shù)的另一種形式75
拓展閱讀75
習題76
第5章　徑向基函數(shù)和樣條函數(shù)77
5.1　感受野77
5.2　徑向基函數(shù)網(wǎng)絡79
5.2.1　訓練RBF網(wǎng)絡80
5.3　插值和基函數(shù)82
5.3.1　基和基擴展83
5.3.2　三次樣條函數(shù)84
5.3.3　用樣條擬合數(shù)據(jù)84
5.3.4　平滑樣條85
5.3.5　更高維度86
5.3.6　邊界之外86
拓展閱讀87
習題87
第6章　維度約簡88
6.1　線性判別分析89
6.2　主成分分析91
6.2.1　PCA算法與多層感知器的關系94
6.2.2　核PCA94
6.3　因素分析96
6.4　獨立成分分析97
6.5　局部線性嵌入98
6.6　ISOMAP算法100
6.6.1　多維標度法101
拓展閱讀102
習題103
第7章　概率學習104
7.1　高斯混合模型104
7.1.1　期望最大化算法105
7.1.2　信息準則107
7.2　最近鄰法108
7.2.1　近鄰平滑109
7.2.2　有效的距離計算：KD-Tree110
7.2.3　距離度量112
拓展閱讀114
習題114
第8章　支持向量機115
8.1　最優(yōu)分割115
8.1.1　間隔和支持向量116
8.1.2　約束優(yōu)化問題117
8.1.3　非線性可分問題的松弛變量119
8.2　核120
8.2.1　選擇核121
8.2.2　示例：XOR122
8.3　支持向量機算法122
8.3.1　實現(xiàn)123
8.3.2　示例125
8.4　支持向量機的拓展126
8.4.1　多類分類126
8.4.2　支持向量機回歸127
8.4.3　其他優(yōu)勢128
拓展閱讀128
習題128
第9章　優(yōu)化和搜索130
9.1　下山法130
9.1.1　泰勒展開132
9.2　最小二乘優(yōu)化133
9.2.1　Levenberg-Marquardt算法133
9.3　共軛梯度法137
9.3.1　示例139
9.3.2　共軛梯度和MLP139
9.4　搜索：三種基本方法141
9.4.1　窮舉法141
9.4.2　貪婪搜索142
9.4.3　爬山法142
9.5　開發(fā)和探索143
9.6　模擬退火法143
9.6.1　算法比較144
拓展閱讀145
習題145
第10章　進化學習146
10.1　遺傳算法147
10.1.1　字符串表示147
10.1.2　評價適應度148
10.1.3　種群148
10.1.4　產(chǎn)生后代：選擇父母149
10.2　產(chǎn)生后代：遺傳算子150
10.2.1　交叉150
10.2.2　變異151
10.2.3　精英法、比賽法和小生境151
10.3　使用遺傳算法153
10.3.1　圖著色153
10.3.2　間斷平衡154
10.3.3　示例：背包問題155
10.3.4　示例：四峰問題155
10.3.5　遺傳算法的缺陷156
10.3.6　用遺傳算法訓練神經(jīng)網(wǎng)絡156
10.4　遺傳程序157
10.5　與采樣結合的進化學習158
拓展閱讀159
習題160
第11章　強化學習161
11.1　概述161
11.2　示例：迷路162
11.2.1　狀態(tài)和動作空間163
11.2.2　胡蘿卜和棍子：獎賞函數(shù)164
11.2.3　折扣165
11.2.4　動作選擇165
11.2.5　策略166
11.3　馬爾可夫決策過程166
11.3.1　馬爾可夫性166
11.3.2　馬爾可夫決策過程中的概率167
11.4　值167
11.5　回到迷路的示例：利用強化學習170
11.6　sarsa和Q-learning的不同171
11.7　強化學習的用處172
拓展閱讀172
習題173
第12章　樹的學習174
12.1　使用決策樹174
12.2　構建決策樹175
12.2.1　快速入門：信息論中的熵175
12.2.2　ID3176
12.2.3　基于Python的樹和圖的實現(xiàn)178
12.2.4　決策樹的實現(xiàn)178
12.2.5　處理連續(xù)變量180
12.2.6　計算復雜度180
12.3　分類和回歸樹181
12.3.1　基尼不純度181
12.3.2　樹回歸182
12.4　分類示例182
拓展閱讀184
習題184
第13章　委員會決策：集成學習186
13.1　boosting187
13.1.1　AdaBoost187
13.1.2　掘根190
13.2　bagging190
13.2.1　subagging191
13.3　隨機森林192
13.3.1　與boosting方法比較193
13.4　組合分類器的不同方法194
拓展閱讀195
習題196
第14章　無監(jiān)督學習197
14.1　k-means算法197
14.1.1　處理噪點200
14.1.2　k-means神經(jīng)網(wǎng)絡200
14.1.3　歸一化201
14.1.4　一個更好的權重更新規(guī)則202
14.1.5　示例：iris數(shù)據(jù)203
14.1.6　使用競爭學習來聚類203
14.2　向量量化204
14.3　自組織特征映射204
14.3.1　SOM算法206
14.3.2　近鄰連接207
14.3.3　自組織208
14.3.4　網(wǎng)絡維度和邊界條件208
14.3.5　SOM應用示例209
拓展閱讀211
習題211
第15章　馬爾可夫鏈蒙特卡羅方法213
15.1　采樣213
15.1.1　隨機數(shù)213
15.1.2　高斯隨機數(shù)214
15.2　蒙特卡羅216
15.3　建議分布216
15.4　馬爾可夫鏈蒙特卡羅219
15.4.1　馬爾可夫鏈219
15.4.2　Metropolis-Hastings算法220
15.4.3　模擬退火222
15.4.4　Gibbs采樣223
拓展閱讀224
習題225
第16章　圖模型226
16.1　貝葉斯網(wǎng)絡227
16.1.1　示例：考試恐懼227
16.1.2　近似推斷230
16.1.3　創(chuàng)建貝葉斯網(wǎng)絡232
16.2　馬爾可夫隨機場233
16.3　隱馬爾可夫模型234
16.3.1　前向算法236
16.3.2　Viterbi算法238
16.3.3　Baum-Welch或前向后向算法239
16.4　跟蹤方法242
16.4.1　卡爾曼濾波242
16.4.2　粒子濾波247
拓展閱讀249
習題250
第17章　對稱權重與深度置信網(wǎng)絡251
17.1　積極學習:Hopfield網(wǎng)絡252
17.1.1　聯(lián)想記憶252
17.1.2　實現(xiàn)聯(lián)想記憶252
17.1.3　能量函數(shù)255
17.1.4　Hopfield網(wǎng)絡的容量256
17.1.5　連續(xù)Hopfield網(wǎng)絡257
17.2　隨機神經(jīng)元：玻爾茲曼機257
17.2.1　受限玻爾茲曼機259
17.2.2　CD算法的推導262
17.2.3　監(jiān)督學習265
17.2.4　RBM作為定向置信網(wǎng)絡267
17.3　深度學習268
17.3.1　深度置信網(wǎng)絡270
拓展閱讀273
習題273
第18章　高斯過程274
18.1　高斯過程回歸275
18.1.1　添加噪聲276
18.1.2　高斯過程回歸的實現(xiàn)（一）278
18.1.3　學習參數(shù)279
18.1.4　高斯過程回歸的實現(xiàn)（二）280
18.1.5　選擇（一組）協(xié)方差函數(shù)282
18.2　高斯過程分類282
18.2.1　拉普拉斯近似283
18.2.2　計算后驗283
18.2.3　高斯過程分類的實現(xiàn)285
拓展閱讀286
習題287
附錄　Python入門288