機(jī)器學(xué)習(xí)入門：數(shù)學(xué)原理解析及算法實(shí)踐

序言
前言
第一部分
第 1 章 專家系統(tǒng) 2
1.1 早期的專家系統(tǒng) 2
1.2 正向推理 4
1.3 逆向推理 5
1.4 謂詞邏輯 6
1.5 專家系統(tǒng)的貢獻(xiàn)和困難 7
1.6 動(dòng)手實(shí)踐 9
1.6.1 簡化的專家系統(tǒng) 10
1.6.2 正向推理 10
1.6.3 逆向推理 11
參考文獻(xiàn) 13
第 2 章 決策樹 14
2.1 分類問題 15
2.2 構(gòu)造決策樹 16
2.3 ID3 算法 17
2.4 信息熵 19
2.5 基尼不純度 21
2.6 動(dòng)手實(shí)踐 22
2.6.1 計(jì)算信息熵 22
2.6.2 構(gòu)造決策樹 23
2.6.3 使用 scikit-learn軟件包 27
參考文獻(xiàn) 30
第 3 章 神經(jīng)元和感知機(jī) 31
3.1 生物神經(jīng)元 31
3.2 早期感知機(jī)模型 33
3.3 現(xiàn)代的模型 34
3.4 學(xué)習(xí)模型參數(shù) 36
3.4.1 梯度下降法 36
3.4.2 Delta 法則 37
3.5 動(dòng)手實(shí)踐 38
3.5.1 實(shí)現(xiàn)感知機(jī)模型 38
3.5.2 識別手寫數(shù)字 43
參考文獻(xiàn) 48
第 4 章 線性回歸 49
4.1 線性回歸概述 49
4.2 最小二乘法 51
4.3 矩陣形式 52
4.4 一般性的回歸問題 54
4.5 動(dòng)手實(shí)踐 54
4.5.1 實(shí)現(xiàn)一維線性回歸 54
4.5.2 實(shí)現(xiàn)最小二乘法 56
4.5.3 使用 numpy 軟件包 59
第 5 章 邏輯斯蒂回歸和分類器 64
5.1 分類問題 64
5.2 最大似然估計(jì) 66
5.3 交叉熵?fù)p失函數(shù) 67
5.4 多類別分類 68
5.4.1 多類別邏輯斯蒂回歸 69
5.4.2 歸一化指數(shù)函數(shù) 70
5.4.3 交叉熵誤差和均方誤差的比較 72
5.5 分類器的決策邊界 73
5.6 支持向量機(jī) 75
5.6.1 支持向量 77
5.6.2 拉格朗日乘子法 78
5.6.3 非線性分類與核函數(shù) 80
5.7 動(dòng)手實(shí)踐 82
5.7.1 使用邏輯斯蒂回歸 82
5.7.2 觀察分類邊界 83
5.7.3 使用支持向量機(jī) 85
參考文獻(xiàn) 87
第二部分
第 6 章 人工神經(jīng)網(wǎng)絡(luò) 90
6.1 異或問題和多層感知機(jī) 90
6.2 反向傳播算法 92
6.3 深度神經(jīng)網(wǎng)絡(luò) 94
6.3.1 生物神經(jīng)機(jī)制的啟示 94
6.3.2 解決深度神經(jīng)網(wǎng)絡(luò)面臨的問題 95
6.4 卷積和池化 98
6.4.1 神經(jīng)連接的局部性 98
6.4.2 平移不變性 99
6.4.3 卷積處理圖像的效果 99
6.4.4 簡單細(xì)胞和復(fù)雜細(xì)胞的仿生學(xué) 102
6.5 循環(huán)神經(jīng)網(wǎng)絡(luò) 103
6.6 使用 PyTorch 軟件包 104
6.7 動(dòng)手實(shí)踐 106
6.7.1 識別手寫數(shù)字 106
6.7.2 準(zhǔn)備訓(xùn)練數(shù)據(jù) 109
6.7.3 訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型 110
6.8 物