123,123,123

內(nèi)容簡(jiǎn)介

　　以機(jī)器學(xué)習(xí)為核心的人工智能已經(jīng)成為新一代生產(chǎn)力發(fā)展的主要驅(qū)動(dòng)因素。新的技術(shù)正在向各行各業(yè) 滲透，大有變革各個(gè)領(lǐng)域的趨勢(shì)。傳統(tǒng)產(chǎn)業(yè)向智慧產(chǎn)業(yè)的升級(jí)迫使原行業(yè)從業(yè)人員逐漸轉(zhuǎn)型，市場(chǎng)上對(duì)相關(guān)學(xué)習(xí)材料的需求也日益高漲。幫助廣大學(xué)習(xí)者更好地理解和掌握機(jī)器學(xué)習(xí)，是編寫本書(shū)的目的。本書(shū)針對(duì)機(jī)器學(xué)習(xí)領(lǐng)域中1常見(jiàn)的一類問(wèn)題——有監(jiān)督學(xué)習(xí)，從入門、進(jìn)階、深化三個(gè)層面由淺入深地進(jìn)行了講解。三個(gè)層面包括基礎(chǔ)入門算法、核心理論及理論背后的數(shù)學(xué)優(yōu)化。入門部分用以邏輯回歸為代表的廣義線性模型為出發(fā)點(diǎn)，引入書(shū)中所有涉及的知識(shí)點(diǎn)；進(jìn)階部分的核心理論涵蓋了經(jīng)驗(yàn)風(fēng)險(xiǎn)1小、結(jié)構(gòu)風(fēng)險(xiǎn)1小、正則化及統(tǒng)一的分類邊界理論；深化部分的數(shù)學(xué)優(yōu)化則主要包括1大熵原理、拉格朗日對(duì) 偶等理論在數(shù)學(xué)上的推導(dǎo)，以及對(duì)模型求解的主流1優(yōu)化方法的探討等。本書(shū)由淺入深，從個(gè)別到普便，從自然算法到優(yōu)化算法，從各個(gè)角度深入剖析了機(jī)器學(xué)習(xí)，力求幫助讀者循序漸進(jìn)地掌握機(jī)器學(xué)習(xí)的概念、算法和優(yōu)化理論。

作者簡(jiǎn)介

　　機(jī)器學(xué)習(xí)-算法背后的理論與優(yōu)化史春奇、卜晶祎、施智平著史春奇博士，畢業(yè)于日本京都大學(xué)，美國(guó)Brandeis University博士后，現(xiàn)為港輝金融信息Vice President，曾任通用電氣（中國(guó)）有限公司資深數(shù)據(jù)科學(xué)家。卜晶祎，畢業(yè)于上海交通大學(xué)，現(xiàn)為友邦保險(xiǎn)集團(tuán)人工智能主管。曾就職于通用電氣（中國(guó)）研究開(kāi)發(fā)中心有限公司，任資深數(shù)據(jù)科學(xué)家；曾任飛利浦亞洲研究院高級(jí)研究員。施智平博士，首都師范大學(xué)信息工程學(xué)院教授，院長(zhǎng)，畢業(yè)于中科院計(jì)算技術(shù)研究所。于2012年和2017年獲北京市科學(xué)技術(shù)獎(jiǎng)二等獎(jiǎng)兩次，中國(guó)計(jì)算機(jī)學(xué)會(huì)高級(jí)會(huì)員，形式化方法專委會(huì)委員，人工智能學(xué)會(huì)會(huì)員，智能服務(wù)專委會(huì)委員，IEEE/ACM 會(huì)員。

圖書(shū)目錄

第1 章線性回歸與邏輯回歸. 1
1.1 線性回歸. 1
1.1.1 函數(shù)關(guān)系與統(tǒng)計(jì)關(guān)系.1
1.1.2 統(tǒng)計(jì)與機(jī)器學(xué)習(xí). 2
1.2 最小二乘法與高斯-馬爾可夫定理. 5
1.2.1 最小二乘法. . 5
1.2.2 高斯-馬爾可夫定理. . 6
1.3 從線性回歸到邏輯回歸. 8
1.4 最大似然估計(jì)求解邏輯回歸. . 9
1.5 最小二乘與最大似然. . 11
1.5.1 邏輯回歸與伯努利分布. 11
1.5.2 線性回歸與正態(tài)分布. 12
1.6 小結(jié). 13
參考文獻(xiàn). 13
第2 章廣義線性模型. 15
2.1 廣義線性模型概述.15
2.1.1 廣義線性模型的定義. 15
2.1.2 鏈接函數(shù)與指數(shù)分布簇. 17
2.2 廣義線性模型求解.20
2.3 最大似然估計(jì)Ⅰ：Fisher 信息. 21
2.4 最大似然估計(jì)Ⅱ：KL 散度與Bregman 散度. 23
2.4.1 KL 散度. . 23
2.4.2 Bregman 散度. . 25
2.5 小結(jié). 26
X
參考文獻(xiàn). 26
第3 章經(jīng)驗(yàn)風(fēng)險(xiǎn)最小. 28
3.1 經(jīng)驗(yàn)風(fēng)險(xiǎn)與泛化誤差概述. .28
3.1.1 經(jīng)驗(yàn)風(fēng)險(xiǎn). 30
3.1.2 泛化誤差. 30
3.1.3 欠擬合和過(guò)擬合. . 34
3.1.4 VC 維. . 37
3.2 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小的算法. . 40
3.3 分類邊界. . 42
3.3.1 分類算法的損失函數(shù). 42
3.3.2 分類算法的邊界. . 45
3.4 小結(jié). 48
參考文獻(xiàn). 48
第4 章結(jié)構(gòu)風(fēng)險(xiǎn)最小. 49
4.1 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小和過(guò)擬合. . 49
4.2 結(jié)構(gòu)風(fēng)險(xiǎn)最小和正則化. . 51
4.2.1 從空間角度理解SRM 52
4.2.2 從貝葉斯觀點(diǎn)理解SRM 54
4.3 回歸的正則化. 55
4.3.1 L2 正則化和嶺回歸. 56
4.3.2 L1 正則化和Lasso 回歸. . 57
4.3.3 L1、L2 組合正則化和ElasticNet 回歸. . 58
4.4 分類的正則化. 60
4.4.1 支持向量機(jī)和L2 正則化. 60
4.4.2 XGBoost 和樹(shù)正則化. 62
4.4.3 神經(jīng)網(wǎng)絡(luò)和DropOut 正則化. 65
4.4.4 正則化的優(yōu)缺點(diǎn). . 66
4.5 小結(jié). 67
參考文獻(xiàn). 67
第5 章貝葉斯統(tǒng)計(jì)與熵.68
5.1 統(tǒng)計(jì)學(xué)習(xí)的基礎(chǔ)：參數(shù)估計(jì). .68
5.1.1 矩估計(jì). .68
XI
5.1.2 最大似然估計(jì).69
5.1.3 最小二乘法. 71
5.2 概率分布與三大統(tǒng)計(jì)思維. .72
5.2.1 頻率派和正態(tài)分布. . 72
5.2.2 經(jīng)驗(yàn)派和正態(tài)分布. . 75
5.2.3 貝葉斯派和正態(tài)分布. 76
5.2.4 貝葉斯統(tǒng)計(jì)和熵的關(guān)系. 79
5.3 信息熵的理解. 79
5.3.1 信息熵簡(jiǎn)史. 79
5.3.2 信息熵定義. 80
5.3.3 期望編碼長(zhǎng)度解釋. . 81
5.3.4 不確定性公理化解釋. 81
5.3.5 基于熵的度量.84
5.4 最大熵原理. . 86
5.4.1 最大熵的直觀理解. . 86
5.4.2 最大熵解釋自然指數(shù)分布簇. . 87
5.4.3 最大熵解釋最大似然估計(jì).89
5.5 小結(jié). 90
參考文獻(xiàn). 90
第6 章基于熵的Softmax. .92
6.1 二項(xiàng)分布和多項(xiàng)分布. . 92
6.2 Logistic 回歸和Softmax 回歸. .93
6.2.1 廣義線性模型的解釋. 93
6.2.2 Softmax 回歸. 94
6.2.3 最大熵原理與Softmax 回歸的等價(jià)性.96
6.3 最大熵條件下的Log-Linear 101
6.4 多分類界面.103
6.4.1 感知機(jī)和多分類感知機(jī). . 104
6.4.2 多分類感知機(jī)和結(jié)構(gòu)感知機(jī). 105
6.5 概率圖模型里面的Log-Linear 106
6.6 深度學(xué)習(xí)里面的Softmax 層. . 108
6.7 小結(jié). . 109
XII
參考文獻(xiàn). . 109
第7 章拉格朗日乘子法. 111
7.1 凸共軛. .111
7.1.1 凸共軛的定義. 111
7.1.2 凸共軛定理. . 113
7.2 拉格朗日對(duì)偶. . 114
7.2.1 拉格朗日對(duì)偶概述.115
7.2.2 Salter 條件. . 117
7.2.3 KKT 條件. 118
7.3 Fenchel 對(duì)偶. .120
7.4 增廣拉格朗日乘子法. 123
7.4.1 近端. 123
7.4.2 增廣拉格朗日乘子法和對(duì)偶上升算法. .126
7.5 交替方向乘子法. . 129
7.5.1 對(duì)偶分解. . 130
7.5.2 交替方向乘子法概述. . 131
7.6 小結(jié). . 131
參考文獻(xiàn). . 132
第8 章隨機(jī)梯度下降法. 134
8.1 隨機(jī)梯度下降法概述. 134
8.1.1 機(jī)器學(xué)習(xí)場(chǎng)景. 134
8.1.2 隨機(jī)梯度下降法的定義. . 135
8.1.3 隨機(jī)梯度下降法收斂性分析. 136
8.1.4 收斂性證明. . 139
8.2 隨機(jī)梯度下降法進(jìn)階Ⅰ：方差縮減. 140
8.2.1 方差縮減的效果. 141
8.2.2 方差縮減的實(shí)現(xiàn). 143
8.3 隨機(jī)梯度下降法進(jìn)階Ⅱ：加速與適應(yīng). 145
8.3.1 加速. 146
8.3.2 適應(yīng). 148
8.3.3 加速￡適應(yīng). 151
8.4 隨機(jī)梯度下降法的并行實(shí)現(xiàn). . 156
XIII
8.5 小結(jié). . 160
參考文獻(xiàn). . 161
第9 章常見(jiàn)的最優(yōu)化方法. 163
9.1 最速下降算法. . 163
9.1.1 l2 范數(shù)與梯度下降法. . 164
9.1.2 l1 范數(shù)與坐標(biāo)下降算法. . 165
9.1.3 二次范數(shù)與牛頓法.166
9.2 步長(zhǎng)的設(shè)定.168
9.2.1 Armijo-Goldstein 準(zhǔn)則. 169
9.2.2 Wolfe-Powell 準(zhǔn)則. 170
9.2.3 回溯線搜索. . 171
9.3 收斂性分析.171
9.3.1 收斂速率. . 172
9.3.2 對(duì)目標(biāo)函數(shù)的一些假設(shè). . 173
9.4 一階算法：梯度下降法. 177
9.5 二階算法：牛頓法及其衍生算法. .178
9.5.1 牛頓法與梯度下降法的對(duì)比. 179
9.5.2 擬牛頓法. . 180
9.5.3 從二次范數(shù)的角度看牛頓法. 182
9.6 小結(jié). . 183
參考文獻(xiàn). . 185