機(jī)器學(xué)習(xí)：從基礎(chǔ)理論到典型算法（原書第2版）

譯者序
前言
第1章　引言1
　1.1　什么是機(jī)器學(xué)習(xí)1
　1.2　機(jī)器學(xué)習(xí)可以解決什么樣的問題2
　1.3　一些典型的學(xué)習(xí)任務(wù)2
　1.4　學(xué)習(xí)階段3
　1.5　學(xué)習(xí)情境4
　1.6　泛化5
第2章　PAC學(xué)習(xí)框架7
　2.1　PAC學(xué)習(xí)模型7
　2.2　對(duì)有限假設(shè)集的學(xué)習(xí)保證——一致的情況11
　2.3　對(duì)有限假設(shè)集的學(xué)習(xí)保證——不一致的情況14
　2.4　泛化性16
　　2.4.1　確定性與隨機(jī)性情境16
　　2.4.2　貝葉斯誤差與噪聲17
　2.5　文獻(xiàn)評(píng)注18
　2.6　習(xí)題18
第3章　Rademacher復(fù)雜度和VC-維23
　3.1　Rademacher復(fù)雜度23
　3.2　生長(zhǎng)函數(shù)27
　3.3　VC-維28
　3.4　下界34
　3.5　文獻(xiàn)評(píng)注38
　3.6　習(xí)題39
第4章　模型選擇46
　4.1　估計(jì)誤差和近似誤差46
　4.2　經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化47
　4.3　結(jié)構(gòu)風(fēng)險(xiǎn)最小化47
　4.4　交叉驗(yàn)證50
　4.5　n-折交叉驗(yàn)證52
　4.6　基于正則化的算法53
　4.7　凸替換項(xiàng)損失54
　4.8　文獻(xiàn)評(píng)注57
　4.9　習(xí)題58
第5章　支持向量機(jī)59
　5.1　線性分類59
　5.2　可分情況60
　　5.2.1　原始優(yōu)化問題60
　　5.2.2　支持向量61
　　5.2.3　對(duì)偶優(yōu)化問題62
　　5.2.4　留一法63
　5.3　不可分情況64
　　5.3.1　原始優(yōu)化問題65
　　5.3.2　支持向量66
　　5.3.3　對(duì)偶優(yōu)化問題67
　5.4　間隔理論67
　5.5　文獻(xiàn)評(píng)注74
　5.6　習(xí)題74
第6章　核方法77
　6.1　引言77
　6.2　正定對(duì)稱核79
　　6.2.1　定義79
　　6.2.2　再生核希爾伯特空間81
　　6.2.3　性質(zhì)82
　6.3　基于核的算法85
　　6.3.1　具有PDS核的SVM85
　　6.3.2　表示定理86
　　6.3.3　學(xué)習(xí)保證87
　6.4　負(fù)定對(duì)稱核88
　6.5　序列核90
　　6.5.1　加權(quán)轉(zhuǎn)換器90
　　6.5.2　有理核93
　6.6　近似核特征映射96
　6.7　文獻(xiàn)評(píng)注100
　6.8　習(xí)題100
第7章　boosting106
　7.1　引言106
　7.2　AdaBoost算法107
　　7.2.1　經(jīng)驗(yàn)誤差的界109
　　7.2.2　與坐標(biāo)下降的關(guān)系110
　　7.2.3　實(shí)踐中的使用方式112
　7.3　理論結(jié)果113
　　7.3.1　基于VC-維的分析113
　　7.3.2　L1-幾何間隔113
　　7.3.3　基于間隔的分析115
　　7.3.4　間隔最大化118
　　7.3.5　博弈論解釋119
　7.4　L1-正則化120
　7.5　討論122
　7.6　文獻(xiàn)評(píng)注122
　7.7　習(xí)題124
第8章　在線學(xué)習(xí)129
　8.1　引言129
　8.2　有專家建議的預(yù)測(cè)130
　　8.2.1　錯(cuò)誤界和折半算法130
　　8.2.2　加權(quán)多數(shù)算法131
　　8.2.3　隨機(jī)加權(quán)多數(shù)算法132
　　8.2.4　指數(shù)加權(quán)平均算法135
　8.3　線性分類137
　　8.3.1　感知機(jī)算法137
　　8.3.2　Winnow算法143
　8.4　在線到批處理的轉(zhuǎn)換145
　8.5　與博弈論的聯(lián)系147
　8.6　文獻(xiàn)評(píng)注148
　8.7　習(xí)題149
第9章　多分類153
　9.1　多分類問題153
　9.2　泛化界154
　9.3　直接型多分類算法159
　　9.3.1　多分類SVM159
　　9.3.2　多分類boosting算法160
　　9.3.3　決策樹161
　9.4　類別分解型多分類算法164
　　9.4.1　一對(duì)多164
　　9.4.2　一對(duì)一165
　　9.4.3　糾錯(cuò)輸出編碼166
　9.5　結(jié)構(gòu)化預(yù)測(cè)算法168
　9.6　文獻(xiàn)評(píng)注169
　9.7　習(xí)題170
第10章　排序172
　10.1　排序問題172
　10.2　泛化界173
　10.3　使用SVM進(jìn)行排序175
　10.4　RankBoost176
　　10.4.1　經(jīng)驗(yàn)誤差界178
　　10.4.2　與坐標(biāo)下降的關(guān)系179
　　10.4.3　排序問題集成算法的間隔界180
　10.5　二部排序181
　　10.5.1　二部排序中的boosting算法182
　　10.5.2　ROC曲線下面積184
　10.6　基于偏好的情境184
　　10.6.1　兩階段排序問題185
　　10.6.2　確定性算法186
　　10.6.3　隨機(jī)性算法187
　　10.6.4　關(guān)于其他損失函數(shù)的擴(kuò)展188
　10.7　其他的排序準(zhǔn)則189
　10.8　文獻(xiàn)評(píng)注189
　10.9　習(xí)題190
第11章　回歸191
　11.1　回歸問題191
　11.2　泛化界192
　　11.2.1　有限假設(shè)集192
　　11.2.2　Rademacher復(fù)雜度界193
　　11.2.3　偽維度界194
　11.3　回歸算法196
　　11.3.1　線性回歸196
　　11.3.2　核嶺回歸198
　　11.3.3　支持向量回歸201
　　11.3.4　Lasso204
　　11.3.5　組范數(shù)回歸算法206
　　11.3.6　在線回歸算法207
　11.4　文獻(xiàn)評(píng)注207
　11.5　習(xí)題208
第12章　最大熵模型210
　12.1　密度估計(jì)問題210
　　12.1.1　最大似然解210
　　12.1.2　最大后驗(yàn)解211
　12.2　添加特征的密度估計(jì)問題212
　12.3　最大熵準(zhǔn)則212
　12.4　最大熵模型簡(jiǎn)介213
　12.5　對(duì)偶問題213
　12.6　泛化界216
　12.7　坐標(biāo)下降算法217
　12.8　拓展218
　12.9　L2-正則化220
　12.10　文獻(xiàn)評(píng)注222
　12.11　習(xí)題223
第13章　條件最大熵模型224
　13.1　學(xué)習(xí)問題224
　13.2　條件最大熵準(zhǔn)則224
　13.3　條件最大熵模型簡(jiǎn)介225
　13.4　對(duì)偶問題226
　13.5　性質(zhì)227
　　13.5.1　優(yōu)化問題227
　　13.5.2　特征向量228
　　13.5.3　預(yù)測(cè)228
　13.6　泛化界228
　13.7　邏輯回歸231
　　13.7.1　優(yōu)化問題231
　　13.7.2　邏輯模型231
　13.8　L2-正則232
　13.9　對(duì)偶定理的證明23