機器學(xué)習(xí)基礎(chǔ)：原理、算法與實踐

目錄
第1章 機器學(xué)習(xí)介紹 1
1.1 機器學(xué)習(xí)簡介 2
1.1.1 什么是機器學(xué)習(xí) 2
1.1.2 機器學(xué)習(xí)與日常生活 3
1.1.3 如何學(xué)習(xí)機器學(xué)習(xí) 4
1.1.4 MATLAB優(yōu)勢 5
1.2 基本概念 5
1.2.1 機器學(xué)習(xí)的種類 6
1.2.2 有監(jiān)督學(xué)習(xí) 6
1.2.3 無監(jiān)督學(xué)習(xí) 7
1.2.4 機器學(xué)習(xí)術(shù)語 7
1.2.5 預(yù)處理 9
1.3 MATLAB數(shù)據(jù)格式 10
1.3.1 標(biāo)稱數(shù)據(jù) 10
1.3.2 序數(shù)數(shù)據(jù) 11
1.3.3 分類數(shù)據(jù) 11
1.4 示例數(shù)據(jù)集 12
1.4.1 天氣問題 12
1.4.2 鳶尾花 15
1.4.3 其他數(shù)據(jù)集 16
1.5 了解你的數(shù)據(jù) 16
習(xí)題 20
第2章 線性回歸 21
2.1 從一個實際例子說起 22
2.1.1 模型定義 23
2.1.2 模型假設(shè) 23
2.1.3 模型評估 24
2.2 最小二乘法 24
2.2.1 最小二乘法求解參數(shù) 25
2.2.2 用最小二乘法來擬合奧運會數(shù)據(jù) 26
2.2.3 預(yù)測比賽結(jié)果 27
2.3 梯度下降 27
2.3.1 基本思路 28
2.3.2 梯度下降算法 29
2.3.3 梯度下降求解線性回歸問題 30
2.4 多變量線性回歸 32
2.4.1 多變量線性回歸問題 33
2.4.2 多變量梯度下降 34
2.4.3 隨機梯度下降 38
2.4.4 正規(guī)方程 40
2.5 多項式回歸 42
2.5.1 多項式回歸算法 42
2.5.2 正則化 45
習(xí)題 47
第3章 邏輯回歸 49
3.1 邏輯回歸介紹 50
3.1.1 線性回歸用于分類 50
3.1.2 假設(shè)函數(shù) 51
3.1.3 決策邊界 52
3.2 邏輯回歸算法 53
3.2.1 代價函數(shù) 53
3.2.2 梯度下降算法 54
3.2.3 MATLAB優(yōu)化函數(shù) 56
3.2.4 多項式邏輯回歸 58
3.3 多元分類 60
3.3.1 一對多 60
3.3.2 一對一 62
3.3.3 Softmax回歸 64
習(xí)題 66
第4章 貝葉斯分類器 67
4.1 簡介 68
4.1.1 概述 68
4.1.2 判別模型和生成模型 68
4.1.3 極大似然估計 69
4.2 高斯判別分析 72
4.2.1 多元高斯分布 72
4.2.2 高斯判別模型 73
4.3 樸素貝葉斯 75
4.3.1 樸素貝葉斯算法 76
4.3.2 文本分類 81
習(xí)題 86
第5章 模型評估與選擇 87
5.1 簡介 88
5.1.1 訓(xùn)練誤差與泛化誤差 88
5.1.2 偏差和方差 89
5.2 評估方法 90
5.2.1 訓(xùn)練集、驗證集和測試集的劃分 91
5.2.2 交叉驗證 92
5.3 性能度量 95
5.3.1 常用性能度量 95
5.3.2 查準(zhǔn)率和查全率 96
5.3.3 ROC和AUC 98
5.4 偏差與方差折中 100
5.4.1 偏差與方差診斷 101
5.4.2 正則化與偏差方差 102
5.4.3 學(xué)習(xí)曲線 103
習(xí)題 104
第6章 K-均值算法和EM算法 107
6.1 聚類分析 108
6.1.1 K-means算法描述 108
6.1.2 K-means算法應(yīng)用 112
6.1.3 注意事項 113
6.2 EM算法 114
6.2.1 基本EM算法 114
6.2.2 EM算法的一般形式 115
6.2.3 混合高斯模型 118
習(xí)題 123
第7章 決策樹 125
7.1 決策樹介紹 126
7.2 ID3算法 127
7.2.1 信息熵 127
7.2.2 信息增益計算示例 127
7.2.3 ID3算法描述 132
7.2.4 ID3算法實現(xiàn) 134
7.3 C4.5算法 134
7.3.1 基本概念 135
7.3.2 剪枝處理 139
7.3.3 C4.5算法描述 140
7.3.4 C4.5算法實現(xiàn) 142
7.4 CART算法 144
7.4.1 CART算法介紹 144
7.4.2 CART算法描述 147
7.4.3 CART算法實現(xiàn) 149
習(xí)題 150
第8章 神經(jīng)網(wǎng)絡(luò) 151
8.1 神經(jīng)網(wǎng)絡(luò)介紹 152
8.1.1 從一個實例說起 152
8.1.2 神經(jīng)元 153
8.1.3 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 154
8.1.4 簡化的神經(jīng)網(wǎng)絡(luò)模型 157
8.1.5 細(xì)節(jié)說明 160
8.2 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 161
8.2.1 代價函數(shù) 161
8.2.2 BP算法 162
8.2.3 BP算法實現(xiàn) 166
8.2.4 平方代價函數(shù)的情形 171
習(xí)題 171
第9章 隱馬爾科夫模型 173
9.1 隱馬爾科夫模型基本概念 174
9.1.1 離散馬爾科夫過程 174
9.1.2 擴展至隱馬爾科夫模型 176
9.1.3 HMM的組成和序列生成 179
9.1.4 三個基本問題 181
9.2 求解HMM三個基本問題 182
9.2.1 評估問題 183
9.2.2 解碼問題 187
9.2.3 學(xué)習(xí)問題 190
習(xí)題 196
第10章 支持向量機 197
10.1 支持向量機介紹 198
10.2 最大間隔超平面 198
10.2.1 SVM問題的形式化描述 199
10.2.2 函數(shù)間隔和幾何間隔 199
10.2.3 最優(yōu)間隔分類器 201
10.2.4 使用優(yōu)化軟件求解SVM 203
10.3 對偶算法 204
10.3.1 SVM對偶問題 204
10.3.2 使用優(yōu)化軟件求解對偶 SVM 206
10.4 非線性支持向量機 208
10.4.1 核技巧 208
10.4.2 常用核函數(shù) 210
10.5 軟間隔支持向量機 213
10.5.1 動機及原問題 213
10.5.2 對偶問題 214
10.5.3 使用優(yōu)化軟件求解軟間隔 對偶SVM 215
10.6 SMO算法 218
10.6.1 SMO算法描述 218
10.6.2 簡化SMO算法實現(xiàn) 221
10.7 LibSVM 226
10.7.1 LibSVM的安裝 226
10.7.2 LibSVM函數(shù) 228
10.7.3 LibSVM實踐指南 230
習(xí)題 232
第11章 推薦系統(tǒng) 233
11.1 推薦系統(tǒng)介紹 234
11.1.1 什么是推薦系統(tǒng) 234
11.1.2 數(shù)據(jù)集描述 235
11.1.3 推薦系統(tǒng)符號 236
11.2 基于用戶的協(xié)同過濾 236
11.2.1 相似性度量 237
11.2.2 算法描述 239
11.2.3 算法實現(xiàn) 240
11.3 基于物品的協(xié)同過濾 241
11.3.1 調(diào)整余弦相似度和預(yù)測 241
11.3.2 Slope One算法描述 與實現(xiàn) 243
11.4 基于內(nèi)容的協(xié)同過濾算法與實現(xiàn) 247
11.4.1 算法描述 247
11.4.2 算法實現(xiàn) 250
習(xí)題 251
第12章 主成分分析 253
12.1 主成分分析介紹 254
12.2 本征值與奇異值分解 255
12.2.1 本征值分解 255
12.2.2 奇異值分解 256
12.3 PCA算法描述 256
12.3.1 PCA算法 257
12.3.2 從壓縮表示中重建 258
12.3.3 確定主成分?jǐn)?shù)量 258
12.4 PCA實現(xiàn) 260
12.4.1 假想實例 260
12.4.2 MNIST實例 264
習(xí)題 265
習(xí)題參考答案 267
符號表 294
參考文獻 295