精通機(jī)器學(xué)習(xí)算法

目錄
前言
第1 章 機(jī)器學(xué)習(xí)模型基礎(chǔ) 1
1.1 模型和數(shù)據(jù) 1
1.2 機(jī)器學(xué)習(xí)模型的特性 21
1.2.1 可學(xué)習(xí)性 21
1.2.2 模型能力 22
1.2.3 估計(jì)器的偏差 25
1.2.4 估計(jì)器的方差 28
1.3 本章小結(jié) 32
擴(kuò)展閱讀 32
第2 章 損失函數(shù)和正則化 33
2.1 損失函數(shù)和代價(jià)函數(shù)的定義 33
2.2 正則化 39
2.3 本章小結(jié) 46
擴(kuò)展閱讀 46
第3 章 半監(jiān)督學(xué)習(xí)導(dǎo)論 47
3.1 半監(jiān)督學(xué)習(xí)場(chǎng)景 47
3.1.1 因果場(chǎng)景 48
3.1.2 直推學(xué)習(xí) 49
3.1.3 歸納學(xué)習(xí) 50
3.1.4 半監(jiān)督假設(shè) 50
3.2 生成式高斯混合 54
3.2.1 生成式高斯混合理論 54
3.2.2 生成式高斯混合模型實(shí)例 56
3.2.3 生成式高斯混合小結(jié) 62
3.3 自訓(xùn)練算法 64
3.3.1 自訓(xùn)練理論 64
3.3.2 鳶尾屬植物數(shù)據(jù)集的自訓(xùn)練實(shí)例 66
3.3.3 自訓(xùn)練小結(jié) 69
3.4 協(xié)同訓(xùn)練算法 70
3.4.1 協(xié)同訓(xùn)練理論 70
3.4.2 葡萄酒數(shù)據(jù)集的協(xié)同訓(xùn)練實(shí)例 71
3.4.3 協(xié)同訓(xùn)練小結(jié) 76
3.5 本章小結(jié) 76
擴(kuò)展閱讀 · 76
第4 章 高級(jí)半監(jiān)督分類(lèi) · 78
4.1 對(duì)比悲觀似然估計(jì) 78
4.1.1 對(duì)比悲觀似然估計(jì)理論 79
4.1.2 對(duì)比悲觀似然估計(jì)實(shí)例 80
4.1.3 對(duì)比悲觀似然估計(jì)小結(jié) 84
4.2 半監(jiān)督支持向量機(jī)（S3VM） · 84
4.2.1 S3VM 理論 84
4.2.2 S3VM 實(shí)例 87
4.2.3 S3VM 小結(jié) 93
4.3 直推支持向量機(jī)（TSVM） · 93
4.3.1 TSVM 理論 94
4.3.2 TSVM 實(shí)例 94
4.3.3 TSVM 小結(jié) ·102
4.4 本章小結(jié) 103
擴(kuò)展閱讀 103
第5 章 基于圖的半監(jiān)督學(xué)習(xí) 105
5.1 標(biāo)簽傳播算法 105
5.1.1 標(biāo)簽傳播算法實(shí)例 ·108
5.1.2 scikit-learn 的標(biāo)簽傳播算法 112
5.2 標(biāo)簽擴(kuò)散算法 114
5.2.1 標(biāo)簽擴(kuò)散算法實(shí)例 · 116
5.2.2 拉普拉斯矩陣正則化提升平滑度 · 117
5.3 基于馬爾可夫隨機(jī)游走的標(biāo)簽傳播算法 121
5.4 流形學(xué)習(xí) 126
5.4.1 等距特征映射流形學(xué)習(xí)算法 ·126
5.4.2 局部線性嵌入算法 · 129
5.4.3 拉普拉斯譜嵌入算法 · 131
5.4.4 t-SNE 133
5.5 本章小結(jié) 137
擴(kuò)展閱讀 137
第6 章 聚類(lèi)和無(wú)監(jiān)督學(xué)習(xí)模型 139
6.1 k 近鄰（KNN）算法 139
6.1.1 k ? d 樹(shù) 143
6.1.2 球樹(shù) · 143
6.1.3 KNN 模型的擬合 144
6.1.4 scikit-learn 的KNN 實(shí)例 145
6.2 k 均值 147
6.2.1 k 均值 方法 · 150
6.2.2 scikit-learn 的k 均值算法實(shí)例 151
6.3 評(píng)估指標(biāo) 154
6.3.1 一致性評(píng)分 · 155
6.3.2 完整性評(píng)分 · 155
6.3.3 調(diào)整蘭德指數(shù)（相似性） · 156
6.3.4 輪廓系數(shù) · 157
6.4 本章小結(jié) 160
擴(kuò)展閱讀 161
第7 章 高級(jí)聚類(lèi)和無(wú)監(jiān)督學(xué)習(xí)模型 162
7.1 模糊c 均值 162
7.2 譜聚類(lèi) 168
7.3 DBSCAN 174
7.3.1 scikit-learn 的DBSCAN 實(shí)例 177
7.3.2 DBSCAN 結(jié)果的分析 180
7.4 本章小結(jié) 183
擴(kuò)展閱讀 184
第8 章 面向營(yíng)銷(xiāo)的聚類(lèi)和無(wú)監(jiān)督學(xué)習(xí)模型 185
8.1 雙聚類(lèi) 185
8.2 利用Apriori 算法的購(gòu)物籃分析 190
8.3 本章小結(jié) 195
擴(kuò)展閱讀 195
第9 章 廣義線性模型和回歸 197
9.1 廣義線性模型 197
9.1.1 小二乘估計(jì) ·198
9.1.2 小二乘估計(jì)的偏差和方差 ·201
9.1.3 Python 實(shí)現(xiàn)的線性回歸實(shí)例 ·201
9.1.4 利用Statsmodels 計(jì)算線性回歸的置信區(qū)間 ·204
9.1.5 利用胡貝爾損失（Huber loss）提高應(yīng)對(duì)異值點(diǎn)的魯棒性 ·207
9.2 其他回歸方法 209
9.2.1 嶺回歸 ·210
9.2.2 采用Lasso 回歸和邏輯回歸的風(fēng)險(xiǎn)建模 214
9.2.3 多項(xiàng)式回歸 ·219
9.2.4 保序回歸 ·226
9.3 本章小結(jié) 228
擴(kuò)展閱讀 229
第10 章 時(shí)序分析導(dǎo)論 · 230
10.1 時(shí)間序列 · 230
10.2 時(shí)序的線性模型 · 233
10.2.1 自相關(guān) 234
10.2.2 AR、MA 和ARMA 過(guò)程 ·236
10.3 本章小結(jié) · 242
擴(kuò)展閱讀 243
第11 章 貝葉斯網(wǎng)絡(luò)和隱馬爾可夫模型 · 244
11.1 條件概率與貝葉斯定理 · 244
11.2 貝葉斯網(wǎng)絡(luò) · 248
11.2.1 從貝葉斯網(wǎng)絡(luò)中采樣 248
11.2.2 PyMC3 采樣 257
11.2.3 PyStan 采樣 264
11.3 隱馬爾可夫模型 · 269
11.3.1 前向 ? 后向算法 270
11.3.2 維特比算法 276
11.4 本章小結(jié) · 280
擴(kuò)展閱讀 281
第12 章 期望算法 · 282
12.1 MLE 和MAP 學(xué)習(xí) 282
12.2 期望算法 284
12.2.1 凸函數(shù)與詹森不等式 285
12.2.2 詹森不等式在期望算法中的應(yīng)用 287
12.2.3 參數(shù)估計(jì)示例 288
12.3 高斯混合模型 291
12.3.1 利用scikit-learn 的高斯混合示例 293
12.3.2 利用AIC 和BIC 確定的高斯分布數(shù)量 · 296
12.3.3 利用貝葉斯高斯混合的自動(dòng)分布選擇 298
12.4 本章小結(jié) 300
擴(kuò)展閱讀 300
第13 章 成分分析和降維 · 301
13.1 因子分析 301
13.1.1 線性關(guān)系分析 302
13.1.2 利用scikit-learn 的因子分析示例 304
13.2 主成分分析 308
13.2.1 成分重要性評(píng)價(jià) 309
13.2.2 利用scikit-learn 的PCA 示例 · 312
13.2.3 核PCA 313
13.2.4 稀疏PCA 316
13.3 獨(dú)立成分分析 318
13.4 隱馬爾可夫模型的補(bǔ)充知識(shí) 322
13.5 本章小結(jié) 322
擴(kuò)展閱讀 323
第14 章 赫布學(xué)習(xí) · 324
14.1 赫布法則 324
14.1.1 協(xié)方差法則分析 329
14.1.2 權(quán)重向量穩(wěn)定化與奧佳法則 332
14.2 桑格網(wǎng)絡(luò) 333
14.3 魯布納 ? 塔萬(wàn)網(wǎng)絡(luò)（Rubner-Tavan’s network） · 339
14.4 自組織映射 344
14.4.1 科霍寧映射 346
14.4.2 自組織映射示例 348
14.5 本章小結(jié) · 352
擴(kuò)展閱讀 352
第15 章 集成學(xué)習(xí)基礎(chǔ) · 354
15.1 集成學(xué)習(xí)基礎(chǔ) · 354
15.2 隨機(jī)森林 · 356
15.2.1 隨機(jī)森林基礎(chǔ) 356
15.2.2 使用決策樹(shù)的原因 358
15.2.3 隨機(jī)森林與偏差 ? 方差權(quán)衡 359
15.2.4 scikit learn 的隨機(jī)森林示例 ·361
15.3 AdaBoost · 367
15.3.1 AdaBoost.SAMME 371
15.3.2 AdaBoost.SAMME.R 372
15.3.3 AdaBoost.R2 ·374
15.3.4 利用scikit learn 的AdaBoost 實(shí)例 377
15.4 本章小結(jié) · 382
擴(kuò)展閱讀 382
第16 章 高級(jí)提升算法 · 383
16.1 梯度提升 · 383
16.1.1 梯度提升的損失函數(shù) 386
16.1.2 利用scikit-learn 的梯度樹(shù)提升示例 387
16.1.3 利用XGBoost 的梯度提升示例 390
16.2 投票分類(lèi)器集成 · 395
16.3 集成學(xué)習(xí)作為模型選擇 · 399
16.4 本章小結(jié) · 400
擴(kuò)展閱讀 401
第17 章 神經(jīng)網(wǎng)絡(luò)建模 · 402
17.1 基本的人工神經(jīng)元 · 402
17.2 感知機(jī) · 403
17.3 多層感知機(jī) · 409
17.4 反向傳播算法 · 413
17.4.1 隨機(jī)梯度下降（SGD） 415
17.4.2 權(quán)重初始化 417
17.4.3 利用TensorFlow 和Keras 的多層感知機(jī)示例 419
17.5 本章小結(jié) 423
擴(kuò)展閱讀 423
第18 章 神經(jīng)網(wǎng)絡(luò)優(yōu)化 · 425
18.1 優(yōu)化算法 425
18.1.1 梯度攝動(dòng) 427
18.1.2 動(dòng)量（momentum）和涅斯捷羅夫動(dòng)量（Nesterov momentum） 427
18.1.3 RMSProp 自適應(yīng)算法 429
18.1.4 Adam 算法 430
18.1.5 AdaGrad 算法 431
18.1.6 AdaDelta 算法 432
18.2 正則化和暫棄 434
18.2.1 正則化 434
18.2.2 暫棄（dropout） 436
18.3 批量歸一化 442
18.4 本章小結(jié) 446
擴(kuò)展閱讀 446
第19 章 深度卷積網(wǎng)絡(luò) · 448
19.1 深度卷積網(wǎng)絡(luò) 448
19.2 卷積算子 449
19.2.1 二維離散卷積 451
19.2.2 空洞卷積 455
19.2.3 可分離卷積 456
19.2.4 轉(zhuǎn)置卷積 457
19.3 池化層 457
19.4 TensorFlow 和Keras 的深度卷積網(wǎng)絡(luò)算法示例 461
19.5 本章小結(jié) 471
擴(kuò)展閱讀 472
第20 章 循環(huán)神經(jīng)網(wǎng)絡(luò) · 473
20.1 循環(huán)網(wǎng)絡(luò) 473
20.1.1 時(shí)間反向傳播 474
20.1.2 BPTT 的局限 475
20.2 長(zhǎng)短期記憶 476
20.2.1 門(mén)控循環(huán)單元（GRU） 480
20.2.2 利用TensorFlow 和Keras 的LSTM 示例 482
20.3 遷移學(xué)習(xí) · 487
20.4 本章小結(jié) · 489
擴(kuò)展閱讀 489
第21 章 自編碼器 · 491
21.1 自編碼器 · 491
21.2 去噪自編碼器 · 500
21.3 稀疏自編碼器 · 502
21.4 變分自編碼器 · 507
21.5 本章小結(jié) · 514
擴(kuò)展閱讀 515
第22 章 生成對(duì)抗網(wǎng)絡(luò)導(dǎo)論 · 516
22.1 對(duì)抗訓(xùn)練 · 516
22.2 深度卷積生成對(duì)抗網(wǎng)絡(luò) · 519
22.2.1 利用TensorFlow 的DCGAN 示例 519
22.2.2 模式崩潰 526
22.3 瓦薩斯坦恩生成對(duì)抗網(wǎng)絡(luò)· 528
22.4 本章小結(jié) · 535
擴(kuò)展閱讀 536
第23 章 深度置信網(wǎng)絡(luò) · 537
23.1 馬爾可夫隨機(jī)場(chǎng)簡(jiǎn)介 · 537
23.2 受限玻爾茲曼機(jī) · 539
23.3 深度置信網(wǎng)絡(luò) · 542
23.3.1 Python 實(shí)現(xiàn)的無(wú)監(jiān)督深度置信網(wǎng)絡(luò)示例 544
23.3.2 Python 實(shí)現(xiàn)的監(jiān)督DBN 示例 ·546
23.4 本章小結(jié) · 549
擴(kuò)展閱讀 550
第24 章 強(qiáng)化學(xué)習(xí)導(dǎo)論 · 551
24.1 強(qiáng)化學(xué)習(xí)的基本概念 · 551
24.1.1 馬爾可夫決策過(guò)程 552
24.1.2 環(huán)境 553
24.1.3 策略 556
24.2 策略迭代 557
24.3 值迭代 565
24.4 TD(0)算法 571
24.5 本章小結(jié) 579
擴(kuò)展閱讀 580
第25 章 高級(jí)策略估計(jì)算法 · 581
25.1 TD(λ)算法 581
25.1.1 更復(fù)雜棋盤(pán)環(huán)境的TD(λ)應(yīng)用 585
25.1.2 棋盤(pán)格環(huán)境中的玩家 ? 評(píng)委TD(0)示例 · 593
25.2 SARSA 算法 599
25.3 Q 學(xué)習(xí) 605
25.3.1 棋盤(pán)環(huán)境中的Q 學(xué)習(xí)示例 606
25.3.2 用神經(jīng)網(wǎng)絡(luò)建立策略模型的Q 學(xué)習(xí)示例 609
25.4 基于策略梯度的直接策略搜索 620
25.5 本章小結(jié) 627
擴(kuò)展閱讀 627
后記 629