機(jī)器學(xué)習(xí)：算法背后的理論與優(yōu)化（中外學(xué)者論AI）

第1 章線性回歸與邏輯回歸. 1
1.1 線性回歸. 1
1.1.1 函數(shù)關(guān)系與統(tǒng)計(jì)關(guān)系.1
1.1.2 統(tǒng)計(jì)與機(jī)器學(xué)習(xí). 2
1.2 最小二乘法與高斯-馬爾可夫定理. 5
1.2.1 最小二乘法. . 5
1.2.2 高斯-馬爾可夫定理. . 6
1.3 從線性回歸到邏輯回歸. 8
1.4 最大似然估計(jì)求解邏輯回歸. . 9
1.5 最小二乘與最大似然. . 11
1.5.1 邏輯回歸與伯努利分布. 11
1.5.2 線性回歸與正態(tài)分布. 12
1.6 小結(jié). 13
參考文獻(xiàn). 13
第2 章廣義線性模型. 15
2.1 廣義線性模型概述.15
2.1.1 廣義線性模型的定義. 15
2.1.2 鏈接函數(shù)與指數(shù)分布簇. 17
2.2 廣義線性模型求解.20
2.3 最大似然估計(jì)Ⅰ：Fisher 信息. 21
2.4 最大似然估計(jì)Ⅱ：KL 散度與Bregman 散度. 23
2.4.1 KL 散度. . 23
2.4.2 Bregman 散度. . 25
2.5 小結(jié). 26
X
參考文獻(xiàn). 26
第3 章經(jīng)驗(yàn)風(fēng)險(xiǎn)最小. 28
3.1 經(jīng)驗(yàn)風(fēng)險(xiǎn)與泛化誤差概述. .28
3.1.1 經(jīng)驗(yàn)風(fēng)險(xiǎn). 30
3.1.2 泛化誤差. 30
3.1.3 欠擬合和過擬合. . 34
3.1.4 VC 維. . 37
3.2 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小的算法. . 40
3.3 分類邊界. . 42
3.3.1 分類算法的損失函數(shù). 42
3.3.2 分類算法的邊界. . 45
3.4 小結(jié). 48
參考文獻(xiàn). 48
第4 章結(jié)構(gòu)風(fēng)險(xiǎn)最小. 49
4.1 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小和過擬合. . 49
4.2 結(jié)構(gòu)風(fēng)險(xiǎn)最小和正則化. . 51
4.2.1 從空間角度理解SRM 52
4.2.2 從貝葉斯觀點(diǎn)理解SRM 54
4.3 回歸的正則化. 55
4.3.1 L2 正則化和嶺回歸. 56
4.3.2 L1 正則化和Lasso 回歸. . 57
4.3.3 L1、L2 組合正則化和ElasticNet 回歸. . 58
4.4 分類的正則化. 60
4.4.1 支持向量機(jī)和L2 正則化. 60
4.4.2 XGBoost 和樹正則化. 62
4.4.3 神經(jīng)網(wǎng)絡(luò)和DropOut 正則化. 65
4.4.4 正則化的優(yōu)缺點(diǎn). . 66
4.5 小結(jié). 67
參考文獻(xiàn). 67
第5 章貝葉斯統(tǒng)計(jì)與熵.68
5.1 統(tǒng)計(jì)學(xué)習(xí)的基礎(chǔ)：參數(shù)估計(jì). .68
5.1.1 矩估計(jì). .68
XI
5.1.2 最大似然估計(jì).69
5.1.3 最小二乘法. 71
5.2 概率分布與三大統(tǒng)計(jì)思維. .72
5.2.1 頻率派和正態(tài)分布. . 72
5.2.2 經(jīng)驗(yàn)派和正態(tài)分布. . 75
5.2.3 貝葉斯派和正態(tài)分布. 76
5.2.4 貝葉斯統(tǒng)計(jì)和熵的關(guān)系. 79
5.3 信息熵的理解. 79
5.3.1 信息熵簡史. 79
5.3.2 信息熵定義. 80
5.3.3 期望編碼長度解釋. . 81
5.3.4 不確定性公理化解釋. 81
5.3.5 基于熵的度量.84
5.4 最大熵原理. . 86
5.4.1 最大熵的直觀理解. . 86
5.4.2 最大熵解釋自然指數(shù)分布簇. . 87
5.4.3 最大熵解釋最大似然估計(jì).89
5.5 小結(jié). 90
參考文獻(xiàn). 90
第6 章基于熵的Softmax. .92
6.1 二項(xiàng)分布和多項(xiàng)分布. . 92
6.2 Logistic 回歸和Softmax 回歸. .93
6.2.1 廣義線性模型的解釋. 93
6.2.2 Softmax 回歸. 94
6.2.3 最大熵原理與Softmax 回歸的等價(jià)性.96
6.3 最大熵條件下的Log-Linear 101
6.4 多分類界面.103
6.4.1 感知機(jī)和多分類感知機(jī). . 104
6.4.2 多分類感知機(jī)和結(jié)構(gòu)感知機(jī). 105
6.5 概率圖模型里面的Log-Linear 106
6.6 深度學(xué)習(xí)里面的Softmax 層. . 108
6.7 小結(jié). . 109
XII
參考文獻(xiàn). . 109
第7 章拉格朗日乘子法. 111
7.1 凸共軛. .111
7.1.1 凸共軛的定義. 111
7.1.2 凸共軛定理. . 113
7.2 拉格朗日對偶. . 114
7.2.1 拉格朗日對偶概述.115
7.2.2 Salter 條件. . 117
7.2.3 KKT 條件. 118
7.3 Fenchel 對偶. .120
7.4 增廣拉格朗日乘子法. 123
7.4.1 近端. 123
7.4.2 增廣拉格朗日乘子法和對偶上升算法. .126
7.5 交替方向乘子法. . 129
7.5.1 對偶分解. . 130
7.5.2 交替方向乘子法概述. . 131
7.6 小結(jié). . 131
參考文獻(xiàn). . 132
第8 章隨機(jī)梯度下降法. 134
8.1 隨機(jī)梯度下降法概述. 134
8.1.1 機(jī)器學(xué)習(xí)場景. 134
8.1.2 隨機(jī)梯度下降法的定義. . 135
8.1.3 隨機(jī)梯度下降法收斂性分析. 136
8.1.4 收斂性證明. . 139
8.2 隨機(jī)梯度下降法進(jìn)階Ⅰ：方差縮減. 140
8.2.1 方差縮減的效果. 141
8.2.2 方差縮減的實(shí)現(xiàn). 143
8.3 隨機(jī)梯度下降法進(jìn)階Ⅱ：加速與適應(yīng). 145
8.3.1 加速. 146
8.3.2 適應(yīng). 148
8.3.3 加速￡ 適應(yīng). 151
8.4 隨機(jī)梯度下降法的并行實(shí)現(xiàn). . 156
XIII
8.5 小結(jié). . 160
參考文獻(xiàn). . 161
第9 章常見的最優(yōu)化方法. 163
9.1 最速下降算法. . 163
9.1.1 l2 范數(shù)與梯度下降法. . 164
9.1.2 l1 范數(shù)與坐標(biāo)下降算法. . 165
9.1.3 二次范數(shù)與牛頓法.166
9.2 步長的設(shè)定.168
9.2.1 Armijo-Goldstein 準(zhǔn)則. 169
9.2.2 Wolfe-Powell 準(zhǔn)則. 170
9.2.3 回溯線搜索. . 171
9.3 收斂性分析.171
9.3.1 收斂速率. . 172
9.3.2 對目標(biāo)函數(shù)的一些假設(shè). . 173
9.4 一階算法：梯度下降法. 177
9.5 二階算法：牛頓法及其衍生算法. .178
9.5.1 牛頓法與梯度下降法的對比. 179
9.5.2 擬牛頓法. . 180
9.5.3 從二次范數(shù)的角度看牛頓法. 182
9.6 小結(jié). . 183
參考文獻(xiàn). . 185