機(jī)器學(xué)習(xí)與優(yōu)化

第 1章 引言 1
1．1　學(xué)習(xí)與智能優(yōu)化：燎原之火　1
1．2　尋找黃金和尋找伴侶　3
1．3　需要的只是數(shù)據(jù)　5
1．4　超越傳統(tǒng)的商業(yè)智能　5
1．5　LION方法的實(shí)施　6
1．6　“動(dòng)手”的方法　6
第　2章 懶惰學(xué)習(xí)：最近鄰方法　9
第3章　學(xué)習(xí)需要方法　14
3．1　從已標(biāo)記的案例中學(xué)習(xí)：最小化和泛化　16
3．2　學(xué)習(xí)、驗(yàn)證、測(cè)試　18
3．3　不同類型的誤差　21
第　一部分 監(jiān)督學(xué)習(xí)
第4章　線性模型　26
4．1　線性回歸　27
4．2　處理非線性函數(shù)關(guān)系的技巧　28
4．3　用于分類的線性模型　29
4．4　大腦是如何工作的　30
4．5　線性模型為何普遍，為何成功　31
4．6　最小化平方誤差和　32
4．7　數(shù)值不穩(wěn)定性和嶺回歸　34
第5章　廣義線性最小二乘法　37
5．1　擬合的優(yōu)劣和卡方分布　38
5．2　最小二乘法與最大似然估計(jì)　42
5．2．1　假設(shè)檢驗(yàn)　42
5．2．2　交叉驗(yàn)證　44
5．3　置信度的自助法　44
第6章　規(guī)則、決策樹(shù)和森林　50
6．1　構(gòu)造決策樹(shù)　52
6．2　民主與決策森林　56
第7章　特征排序及選擇　59
7．1　特征選擇：情境　60
7．2　相關(guān)系數(shù)　62
7．3　相關(guān)比　63
7．4　卡方檢驗(yàn)拒絕統(tǒng)計(jì)獨(dú)立性　64
7．5　熵和互信息　64
第8章　特定非線性模型　67
8．1　logistic 回歸　67
8．2　局部加權(quán)回歸　69
8．3　用LASSO來(lái)縮小系數(shù)和選擇輸入值　72
第9章　神經(jīng)網(wǎng)絡(luò)：多層感知器　76
9．1　多層感知器　78
9．2　通過(guò)反向傳播法學(xué)習(xí)　80
9．2．1　批量和bold driver反向傳播法　81
9．2．2　在線或隨機(jī)反向傳播　82
9．2．3　訓(xùn)練多層感知器的高級(jí)優(yōu)化　83
第　10章 深度和卷積網(wǎng)絡(luò)　84
10．1　深度神經(jīng)網(wǎng)絡(luò)　85
10．1．1　自動(dòng)編碼器　86
10．1．2　隨機(jī)噪聲、屏蔽和課程　88
10．2　局部感受野和卷積網(wǎng)絡(luò)　89
第　11章 統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)　94
11．1　經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化　96
11．1．1　線性可分問(wèn)題　98
11．1．2　不可分問(wèn)題　100
11．1．3　非線性假設(shè)　100
11．1．4　用于回歸的支持向量　101
第　12章 最小二乘法和健壯內(nèi)核機(jī)器　103
12．1　最小二乘支持向量機(jī)分類器　104
12．2　健壯加權(quán)最小二乘支持向量機(jī)　106
12．3　通過(guò)修剪恢復(fù)稀疏　107
12．4　算法改進(jìn)：調(diào)諧QP、原始版本、無(wú)補(bǔ)償　108
第　13章 機(jī)器學(xué)習(xí)中的民主　110
13．1　堆疊和融合　111
13．2　實(shí)例操作帶來(lái)的多樣性：裝袋法和提升法　113
13．3　特征操作帶來(lái)的多樣性　114
13．4　輸出值操作帶來(lái)的多樣性：糾錯(cuò)碼　115
13．5　訓(xùn)練階段隨機(jī)性帶來(lái)的多樣性　115
13．6　加性logistic回歸　115
13．7　民主有助于準(zhǔn)確率－拒絕的折中　118
第　14章 遞歸神經(jīng)網(wǎng)絡(luò)和儲(chǔ)備池計(jì)算　121
14．1　遞歸神經(jīng)網(wǎng)絡(luò)　122
14．2　能量極小化霍普菲爾德網(wǎng)絡(luò)　124
14．3　遞歸神經(jīng)網(wǎng)絡(luò)和時(shí)序反向傳播　126
14．4　遞歸神經(jīng)網(wǎng)絡(luò)儲(chǔ)備池學(xué)習(xí)　127
14．5　超限學(xué)習(xí)機(jī)　128
第二部分　無(wú)監(jiān)督學(xué)習(xí)和聚類
第　15章 自頂向下的聚類：K均值　132
15．1　無(wú)監(jiān)督學(xué)習(xí)的方法　134
15．2　聚類：表示與度量　135
15．3　硬聚類或軟聚類的K均值方法　137
第　16章 自底向上（凝聚）聚類　142
16．1　合并標(biāo)準(zhǔn)以及樹(shù)狀圖　142
16．2　適應(yīng)點(diǎn)的分布距離：馬氏距離　144
16．3　附錄：聚類的可視化　146
第　17章 自組織映射　149
17．1　將實(shí)體映射到原型的人工皮層　150
17．2　使用成熟的自組織映射進(jìn)行分類　153
第　18章 通過(guò)線性變換降維（投影）　155
18．1　線性投影　156
18．2　主成分分析　158
18．3　加權(quán)主成分分析：結(jié)合坐標(biāo)和關(guān)系　160
18．4　通過(guò)比值優(yōu)化進(jìn)行線性判別　161
18．5　費(fèi)希爾線性判別分析　163
第　19章 通過(guò)非線性映射可視化圖與網(wǎng)絡(luò)　165
19．1　最小應(yīng)力可視化　166
19．2　一維情況：譜圖繪制　168
19．3　復(fù)雜圖形分布標(biāo)準(zhǔn)　170
第　20章 半監(jiān)督學(xué)習(xí)　174
20．1　用部分無(wú)監(jiān)督數(shù)據(jù)進(jìn)行學(xué)習(xí)　175
20．1．1　低密度區(qū)域中的分離　177
20．1．2　基于圖的算法　177
20．1．3　學(xué)習(xí)度量　179
20．1．4　集成約束和度量學(xué)習(xí)　179
第三部分　優(yōu)化：力量之源
第　21章 自動(dòng)改進(jìn)的局部方法　184
21．1　優(yōu)化和學(xué)習(xí)　185
21．2　基于導(dǎo)數(shù)技術(shù)的一維情況　186
21．2．1　導(dǎo)數(shù)可以由割線近似　190
21．2．2　一維最小化　191
21．3　求解高維模型（二次正定型）　191
21．3．1　梯度與最速下降法　194
21．3．2　共軛梯度法　196
21．4　高維中的非線性優(yōu)化　196
21．4．1　通過(guò)線性查找的全局收斂　197
21．4．2　解決不定黑塞矩陣　198
21．4．3　與模型信賴域方法的關(guān)系　199
21．4．4　割線法　200
21．4．5　縮小差距：二階方法與線性復(fù)雜度　201
21．5　不涉及導(dǎo)數(shù)的技術(shù)：反饋仿射振蕩器　202
21．5．1　RAS：抽樣區(qū)域的適應(yīng)性　203
21．5．2　為健壯性和多樣化所做的重復(fù)　205
第　22章 局部搜索和反饋搜索優(yōu)化　211
22．1　基于擾動(dòng)的局部搜索　212
22．2　反饋搜索優(yōu)化：搜索時(shí)學(xué)習(xí)　215
22．3　基于禁忌的反饋搜索優(yōu)化　217
第　23章 合作反饋搜索優(yōu)化　222
23．1　局部搜索過(guò)程的智能協(xié)作　223
23．2　CoRSO：一個(gè)政治上的類比　224
23．3　CoRSO的例子：RSO與RAS合作　226
第　24章 多目標(biāo)反饋搜索優(yōu)化　232
24．1　多目標(biāo)優(yōu)化和帕累托最優(yōu)　233
24．2　腦－計(jì)算機(jī)優(yōu)化：循環(huán)中的用戶　235
第四部分　應(yīng)用精選
第　25章 文本和網(wǎng)頁(yè)挖掘　240
25．1　網(wǎng)頁(yè)信息檢索與組織　241
25．1．1　爬蟲(chóng)　241
25．1．2　索引　242
25．2　信息檢索與排名　244
25．2．1　從文檔到向量：向量－空間模型　245
25．2．2　相關(guān)反饋　247
25．2．3　更復(fù)雜的相似性度量　248
25．3　使用超鏈接來(lái)進(jìn)行網(wǎng)頁(yè)排名　250
25．4　確定中心和權(quán)威：HITS　254
25．5　聚類　256
第　26章 協(xié)同過(guò)濾和推薦　257
26．1　通過(guò)相似用戶結(jié)合評(píng)分　258
26．2　基于矩陣分解的模型　260
參考文獻(xiàn)　263
索引　269