走進人工智能：機器學習原理解析與應用

第一部分 概 述

第1 章 人工智能基礎  2

1. 1 人工智能  2

1. 1. 1 人工智能的由來  2

1. 1. 2 人工智能學科  3

1. 2 機器學習  6

1. 2. 1 機器學習簡介  6

1. 2. 2 機器學習的類別  7

1. 2. 3 機器學習的應用  9

本章小結  10

第2 章 Python 環(huán)境搭建11

2. 1 軟件的下載與安裝  11

2. 1. 1 平臺一：海龜編輯器  11

2. 1. 2 平臺二： PyCharm  13

2. 2 必需庫功能簡介  20

2. 2. 1 numpy——基礎科學計算庫  20

2. 2. 2 SciPy——科學計算工具集  22

2. 2. 3 Pandas——數(shù)據(jù)分析利器  23

2. 2. 4 matplotlib——圖形繪制法寶  26

IV 走進人工智能——機器學習原理解析與應用

2. 2. 5 Sklearn——機器學習神器  28

本章小結  30

第二部分 分 類

第3 章 K 近鄰算法 33

3. 1 K 近鄰算法的原理  33

3. 2 K 近鄰算法的應用  37

3. 2. 1 K 近鄰算法的常用參數(shù)  37

3. 2. 2 應用案例一：小說分類  37

3. 2. 3 應用案例二：糖尿病診斷  39

3. 3 K 近鄰算法的特點  40

本章小結  41

第4 章 決策樹  42

4. 1 決策樹的原理  42

4. 1. 1 決策樹的分類過程  42

4. 1. 2 決策樹的具體組成  43

4. 1. 3 構建決策樹的相關概念  44

4. 2 決策樹的構建  47

4. 2. 1 建樹  47

4. 2. 2 剪枝  49

4. 3 決策樹的應用  50

4. 3. 1 環(huán)境補充搭建  50

4. 3. 2 決策樹的常用參數(shù)  50

4. 3. 3 應用案例：影院會員觀影喜好分析  51

4. 4 決策樹的特點  53

本章小結  53

第5 章 隨機森林  54

5. 1 隨機森林的原理  54

5. 1. 1 集成學習  54

5. 1. 2 隨機森林的分類過程  55

目錄V

5. 2 隨機森林的構建  57

5. 2. 1 訓練樣本隨機采樣  58

5. 2. 2 樣本特征隨機選擇  59

5. 3 隨機森林的應用  59

5. 3. 1 環(huán)境補充搭建  59

5. 3. 2 RandomForestClassifier 類  60

5. 3. 3 應用案例一：紅酒分類——決策樹與隨機森林分類器效果對比  60

5. 3. 4 應用案例二：影院會員觀影喜好分析  61

5. 4 隨機森林的特點  67

本章小結  68

第6 章 支持向量機  69

6. 1 支持向量機的邏輯原理  69

6. 2 支持向量機的數(shù)學原理解析  71

6. 2. 1 線性可分的情況  71

6. 2. 2 近似線性可分的情況  73

6. 2. 3 線性不可分的情況  74

6. 3 支持向量機中的核函數(shù)  76

6. 3. 1 支持向量機中常用核函數(shù)介紹  77

6. 3. 2 支持向量機中核函數(shù)的應用  78

6. 4 支持向量機的應用  80

6. 4. 1 SVM 類的常用參數(shù)  80

6. 4. 2 應用案例：情緒分類  80

本章小結  84

第7 章 貝葉斯算法  85

7. 1 貝葉斯算法的原理  85

7. 1. 1 貝葉斯公式  85

7. 1. 2 貝葉斯算法的原理（以樸素貝葉斯算法為例）  89

7. 1. 3 貝葉斯算法的類別  90

7. 2 貝葉斯算法的應用  91

7. 2. 1 調用方法  91

7. 2. 2 應用案例：識別毒蘑菇  91

VI 走進人工智能——機器學習原理解析與應用

7. 3 貝葉斯算法的特點  93

本章小結  94

第三部分 回 歸

第8 章 線性回歸  97

8. 1 一元線性回歸的原理  98

8. 2 一元線性回歸的應用  100

8. 2. 1 LinearRegression 類的常用參數(shù)  100

8. 2. 2 應用案例：房屋翻修成本預測  101

8. 3 多元線性回歸的原理  103

8. 4 多元線性回歸的應用  105

8. 5 線性回歸算法的特點  107

本章小結  108

第9 章 多項式回歸  109

9. 1 一元多項式回歸的原理  110

9. 2 一元多項式回歸的應用  114

9. 2. 1 PolynomialFeatures 類的常用參數(shù)  114

9. 2. 2 應用案例：紅酒價值預測  114

9. 3 多元多項式回歸的原理  117

9. 4 多元多項式回歸的應用  119

9. 5 多項式回歸的特點  120

本章小結  120

第10 章 LASSO 回歸與嶺回歸  122

10. 1 L1 范數(shù)正則化——LASSO 回歸  123

10. 1. 1 LASSO 回歸中的alpha 參數(shù)調節(jié)  125

10. 1. 2 LASSO 類的常用參數(shù)  125

10. 1. 3 應用案例：對糖尿病數(shù)據(jù)集進行擬合  126

10. 2 L2 范數(shù)正則化——嶺回歸  130

10. 2. 1 嶺回歸中的alpha 參數(shù)調節(jié)  131

10. 2. 2 Ridge 類的常用參數(shù)  132

目錄VII

10. 2. 3 應用案例：對糖尿病數(shù)據(jù)集進行擬合  132

10. 3 LASSO 回歸與嶺回歸的異同  137

10. 3. 1 LASSO 回歸與嶺回歸的共同點  137

10. 3. 2 LASSO 回歸與嶺回歸的區(qū)別  137

本章小結  137

第11 章 邏輯回歸 138

11. 1 邏輯回歸的原理  139

11. 2 邏輯回歸的應用  143

11. 2. 1 邏輯回歸算法的常用參數(shù)  143

11. 2. 2 應用案例：鳶尾花分類  144

11. 3 邏輯回歸實現(xiàn)多分類的原理  145

11. 3. 1 OVR/A（One Vs Rest/All）  146

11. 3. 2 OVO（One Vs One）  147

11. 4 多分類邏輯回歸的應用  148

11. 5 邏輯回歸的特點  150

本章小結  150

第12 章 模型評估與優(yōu)化 152

12. 1 交叉驗證  152

12. 1. 1 K 折交叉驗證的原理  154

12. 1. 2 交叉驗證法的具體應用  155

12. 1. 3 留一交叉驗證法  157

12. 2 分類模型的可信度評估  158

12. 2. 1 混淆矩陣  159

12. 2. 2 分類系統(tǒng)的評價指標  160

12. 2. 3 應用案例：識別乳腺癌  162

12. 3 回歸模型的可信度評估  163

12. 3. 1 平均絕對誤差  164

12. 3. 2 均方誤差  164

12. 3. 3 均方根誤差  165

12. 3. 4 R2  166

12. 3. 5 應用案例：波士頓房價預測  166

12. 4 超參數(shù)調優(yōu)  168

VIII 走進人工智能——機器學習原理解析與應用

12. 4. 1 簡單網(wǎng)格搜索來尋找超參數(shù)  168

12. 4. 2 與交叉驗證結合的網(wǎng)格搜索  170

本章小結  172

第四部分 聚 類

第13 章 物以類聚：K 均值聚類  175

13. 1 K 均值算法的原理  175

13. 1. 1 K 均值算法的基本思想  176

13. 1. 2 算法基本過程  177

13. 2 K 均值算法的應用  178

13. 2. 1 KMeans 類的常用參數(shù)  178

13. 2. 2 應用案例一：鳶尾花的聚類  179

13. 2. 3 應用案例二：甜西瓜的由來（一）  181

13. 3 K 均值算法的特點  184

本章小結  184

第14 章 DBSCAN 聚類 185

14. 1 DBSCAN 算法的原理  186

14. 1. 1 DBSCAN 算法的核心概念  186

14. 1. 2 DBSCAN 算法的基本過程  187

14. 2 DBSCAN 算法的應用  189

14. 2. 1 DBSCAN 類的常用參數(shù)  189

14. 2. 2 應用案例一：小濤的問題  190

14. 2. 3 應用案例二：甜西瓜的由來（二）  191

14. 3 DBSCAN 算法的特點  193

本章小結  193

第五部分 關 聯(lián) 分 析

第15 章 Apriori 算法 196

15. 1 Apriori 算法的原理  196

15. 1. 1 關聯(lián)分析中的相關概念  196

目錄IX

15. 1. 2 Apriori 算法的原理  197

15. 2 Apriori 算法的應用  201

15. 2. 1 Apriori 類的常用參數(shù)  201

15. 2. 2 應用案例一：貨架調整  201

15. 2. 3 應用案例二：餐廳菜品  203

15. 3 Apriori 算法的特點  206

本章小結  206

第六部分 數(shù)據(jù)預處理

第16 章 數(shù)據(jù)歸一與標準化 209

16. 1 數(shù)據(jù)歸一化與標準化的必要性  209

16. 2 數(shù)據(jù)歸一化  210

16. 2. 1 離差法過程  210

16. 2. 2 均值歸一化過程  211

16. 2. 3 數(shù)據(jù)歸一化的應用  211

16. 3 數(shù)據(jù)標準化  213

16. 3. 1 數(shù)據(jù)標準化過程  214

16. 3. 2 數(shù)據(jù)標準化的應用  214

16. 4 數(shù)據(jù)預處理實例  216

本章小結  219

第17 章 神奇的工具PCA 220

17. 1 PCA 算法的基本原理  221

17. 1. 1 PCA 的簡單理解  221

17. 1. 2 向量投影與內積  222

17. 1. 3 PCA——選擇最優(yōu)的基  224

17. 1. 4 PCA 的基本過程  227

17. 2 PCA 算法的應用  229

17. 2. 1 PCA 類的常用參數(shù)  229

17. 2. 2 應用案例一：對鳶尾花進行PCA 降維  229

17. 3 PCA 算法的特點  231

本章小結  231

X 走進人工智能——機器學習原理解析與應用

第七部分 人工神經(jīng)網(wǎng)絡

第18 章 自主學習—— MLP 算法  234

18. 1 人工神經(jīng)網(wǎng)絡的發(fā)展簡史  234

18. 2 單層感知機  236

18. 3 多層感知機  240

18. 3. 1 MLP 的基本原理  240

18. 3. 2 MLP 前向傳播  242

18. 3. 3 MLP 后向傳播  245

18. 3. 4 梯度下降  248

18. 4 MLP 算法的應用  253

18. 4. 1 MLPClassifier 類的常用參數(shù)  253

18. 4. 2 應用案例一：一起去游樂場  254

18. 4. 3 應用案例二：圖片文字識別  256

18. 5 MLP 算法的特點  259

本章小結  259