機器學(xué)習(xí)

 
Contents
目錄
 
緒論  1
 
第 1章   機器學(xué)習(xí) 7
1.1    什么是機器學(xué)習(xí)?  8
1.2    回歸：找到自變量與因變量關(guān)系   10
1.3    分類：針對有標簽數(shù)據(jù)   14
1.4    降維：降低數(shù)據(jù)維度，提取主要特征  16
1.5    聚類：針對無標簽數(shù)據(jù)  20
1.6    機器學(xué)習(xí)流程 21
1.7    下一步學(xué)什么？ 24
 
第 2章    回歸分析 27
2.1    線性回歸：一個表格、一條直線  29
2.2    方差分析 (ANOVA)  32
2.3    總離差平方和 (SST) 35
2.4    回歸平方和 (SSR) 37
2.5    殘差平方和 (SSE)  38
2.6    幾何視角：勾股定理  40
2.7    擬合優(yōu)度：評價擬合程度  42
2.8    F 檢驗：模型參數(shù)不全為 0 44
2.9    t 檢驗：某個回歸系數(shù)是否為 0 46
2.10    置信區(qū)間：因變量均值的區(qū)間 50
2.11    預(yù)測區(qū)間：因變量特定值的區(qū)間 51
2.12    對數(shù)似然函數(shù)：用在最大似然估計 (MLE)  51
2.13    信息準則：選擇模型的標準 52
2.14    殘差分析：假設(shè)殘差服從均值為 0 的正態(tài)分布  53
2.15     自相關(guān)檢測：Durbin-Watson  54
2.16    條件數(shù)：多重共線性  55
第 3章    多元線性回歸   57
3.1    多元線性回歸 58
3.2    優(yōu)化問題：OLS  60
3.3    幾何解釋：投影 63
3.4    二元線性回歸實例 65
3.5    多元線性回歸實例 68
3.6    正交關(guān)系 72
3.7    三個平方和 75
3.8    t 檢驗 77
3.9    多重共線性 78
3.10    條件概率視角看多元線性回歸  80
第4章    非線性回歸   85
4.1    線性回歸  86
4.2    線性對數(shù)模型 88
4.3    非線性回歸 90
4.4    多項式回歸 92
4.5    邏輯回歸  97
4.6    邏輯函數(shù)完成分類問題  102
第 5章    正則化回歸   109
5.1    正則化：抑制過擬合  110
5.2    嶺回歸  113
5.3    幾何角度看嶺回歸 119
5.4    套索回歸  121
5.5    幾何角度看套索回歸  123
5.6    彈性網(wǎng)絡(luò)回歸 127
第 6章    貝葉斯回歸   133
6.1    回顧貝葉斯推斷 134
6.2    貝葉斯回歸：無信息先驗  137
6.3    使用 PyMC 完成貝葉斯回歸  137
6.4    貝葉斯視角理解嶺正則化  142
6.5    貝葉斯視角理解套索正則化  144
第 7章    高斯過程   149
7.1    高斯過程原理 150
7.2    解決回歸問題 156
7.3    解決分類問題 157
 
第8章   k最近鄰分類  163
8.1    k 最近鄰分類原理：近朱者赤，近墨者黑  164
8.2    二分類：非紅，即藍  166
8.3    三分類：非紅，要么藍，要么灰  168
8.4    近鄰數(shù)量 k 影響投票結(jié)果  170
8.5    投票權(quán)重：越近，影響力越高  173
8.6    最近質(zhì)心分類：分類邊界為中垂線  174
8.7    k-NN 回歸：非參數(shù)回歸 177
第 9章   樸素貝葉斯分類   181
9.1    重逢貝葉斯 182
9.2    樸素貝葉斯的“樸素 ”之處  186
9.3    高斯，你好 198
第 10章    高斯判別分析   213
10.1    又見高斯 214
10.2    六類協(xié)方差矩陣  217
10.3    決策邊界解析解  219
10.4    第一類 221
10.5    第二類 224
10.6    第三類 226
10.7    第四類 227
10.8    第五類 228
10.9    第六類 229
10.10    線性和二次判別分析 230
第 11章   支持向量機  235
11.1    支持向量機 236
11.2    硬間隔：處理線性可分  240
11.3    構(gòu)造優(yōu)化問題  245
11.4    支持向量機處理二分類問題 248
11.5    軟間隔：處理線性不可分  252
第 12章   核技巧  257
12.1    映射函數(shù)：實現(xiàn)升維  258
12.2    核技巧 SVM 優(yōu)化問題 261
12.3    線性核：最基本的核函數(shù)  266
12.4    多項式核 268
12.5    二次核：二次曲面  271
12.6    三次核：三次曲面  273
12.7    高斯核：基于徑向基函數(shù)  275
12.8    Sigmoid 核  280
第 13章   決策樹  285
13.1    決策樹：可以分類，也可以回歸  286
13.2    信息熵：不確定性度量  288
13.3    信息增益：通過劃分，提高確定度 290
13.4    基尼指數(shù)：指數(shù)越大，不確定性越高 292
13.5    最大葉節(jié)點：影響決策邊界 293
13.6    最大深度：控制樹形大小  297
 
第 14章    主成分分析  303
14.1    主成分分析 304
14.2    原始數(shù)據(jù) 307
14.3    特征值分解 310
14.4    正交空間 312
14.5    投影結(jié)果 316
14.6    還原 320
14.7    雙標圖 323
14.8    陡坡圖 327
第 15章   截斷奇異值分解 331
15.1    幾何視角看奇異值分解  332
15.2    四種 SVD 分解 334
15.3    幾何視角看截斷型 SVD 336
15.4    優(yōu)化視角看截斷型 SVD 339
15.5    分析鳶尾花照片  343
第 16章    主成分分析進階  351
16.1    從“六條技術(shù)路線 ”說起  352
16.2    協(xié)方差矩陣：中心化數(shù)據(jù)  355
16.3    格拉姆矩陣：原始數(shù)據(jù)  363
16.4    相關(guān)性系數(shù)矩陣：標準化數(shù)據(jù) 368
第 17章    主成分分析與回歸 375
17.1    正交回歸 376
17.2    一元正交回歸  378
17.3    幾何角度看正交回歸  382
17.4    二元正交回歸  385
17.5    多元正交回歸  389
17.6    主元回歸 393
17.7    偏最小二乘回歸  405
第 18章   核主成分分析   413
18.1    核主成分分析  414
18.2    從主成分分析說起  415
18.3    用核技巧完成核主成分分析 418
第 19章   典型相關(guān)分析   427
19.1    典型相關(guān)分析原理  428
19.2    從一個協(xié)方差矩陣考慮  432
19.3    以鳶尾花數(shù)據(jù)為例  434
 
第 20章   K均值聚類  443
20.1    K 均值聚類 444
20.2    優(yōu)化問題 445
20.3    迭代過程 448
20.4    肘部法則：選定聚類簇值  450
20.5    輪廓圖：選定聚類簇值  452
20.6    沃羅諾伊圖 454
第 21章    高斯混合模型   457
21.1    高斯混合模型  458
21.2    四類協(xié)方差矩陣  464
21.3    分量數(shù)量 469
21.4    硬聚類和軟聚類  471
第 22章    最大期望算法   475
22.1    最大期望 476
22.2    E 步：最大化期望 477
22.3    M 步：最大化似然概率 480
22.4    迭代過程 482
22.5    多元 GMM 迭代 486
第 23章   層次聚類   495
23.1    層次聚類 496
23.2    樹形圖 497
23.3    簇間距離 503
23.4    親近度層次聚類  509
第 24章    密度聚類   511
24.1    DBSCAN 聚類  512
24.2    調(diào)節(jié)參數(shù) 515
第 25章   譜聚類   519
25.1    譜聚類 520
25.2    距離矩陣 521
25.3    相似度 524
25.4    無向圖 525
25.5    拉普拉斯矩陣  527
25.6    特征值分解 530
參考文獻  535