深度學(xué)習(xí)

第1章引言1
11本書(shū)面向的讀者7
12深度學(xué)習(xí)的歷史趨勢(shì)8
121神經(jīng)網(wǎng)絡(luò)的眾多名稱(chēng)和命運(yùn)變遷8
122與日俱增的數(shù)據(jù)量12
123與日俱增的模型規(guī)模13
124與日俱增的精度、復(fù)雜度和對(duì)現(xiàn)實(shí)世界的沖擊15
第1部分應(yīng)用數(shù)學(xué)與機(jī)器學(xué)習(xí)基礎(chǔ)
第2章線(xiàn)性代數(shù)19
21標(biāo)量、向量、矩陣和張量19
22矩陣和向量相乘21
23單位矩陣和逆矩陣22
24線(xiàn)性相關(guān)和生成子空間23
25范數(shù)24
26特殊類(lèi)型的矩陣和向量25
27特征分解26
28奇異值分解28
29Moore-Penrose偽逆28
210跡運(yùn)算29
211行列式30
212實(shí)例：主成分分析30
第3章概率與信息論34
31為什么要使用概率34
32隨機(jī)變量35
33概率分布36
331離散型變量和概率質(zhì)量函數(shù)36
332連續(xù)型變量和概率密度函數(shù)36
34邊緣概率37
35條件概率37
36條件概率的鏈?zhǔn)椒▌t38
37獨(dú)立性和條件獨(dú)立性38
38期望、方差和協(xié)方差38
39常用概率分布39
391Bernoulli分布40
392Multinoulli分布40
393高斯分布40
394指數(shù)分布和Laplace分布41
395Dirac分布和經(jīng)驗(yàn)分布42
396分布的混合42
310常用函數(shù)的有用性質(zhì)43
311貝葉斯規(guī)則45
312連續(xù)型變量的技術(shù)細(xì)節(jié)45
313信息論47
314結(jié)構(gòu)化概率模型49
第4章數(shù)值計(jì)算52
41上溢和下溢52
42病態(tài)條件53
43基于梯度的優(yōu)化方法53
431梯度之上：Jacobian和Hessian矩陣56
44約束優(yōu)化60
45實(shí)例：線(xiàn)性最小二乘61
第5章機(jī)器學(xué)習(xí)基礎(chǔ)63
51學(xué)習(xí)算法63
511任務(wù)T63
512性能度量P66
513經(jīng)驗(yàn)E66
514示例：線(xiàn)性回歸68
52容量、過(guò)擬合和欠擬合70
521沒(méi)有免費(fèi)午餐定理73
522正則化74
53超參數(shù)和驗(yàn)證集76
531交叉驗(yàn)證76
54估計(jì)、偏差和方差77
541點(diǎn)估計(jì)77
542偏差78
543方差和標(biāo)準(zhǔn)差80
544權(quán)衡偏差和方差以最小化均方誤差81
545一致性82
55最大似然估計(jì)82
551條件對(duì)數(shù)似然和均方誤差84
552最大似然的性質(zhì)84
56貝葉斯統(tǒng)計(jì)85
561最大后驗(yàn)(MAP)估計(jì)87
57監(jiān)督學(xué)習(xí)算法88
571概率監(jiān)督學(xué)習(xí)88
572支持向量機(jī)88
573其他簡(jiǎn)單的監(jiān)督學(xué)習(xí)算法90
58無(wú)監(jiān)督學(xué)習(xí)算法91
581主成分分析92
582k-均值聚類(lèi)94
59隨機(jī)梯度下降94
510構(gòu)建機(jī)器學(xué)習(xí)算法96
511促使深度學(xué)習(xí)發(fā)展的挑戰(zhàn)96
5111維數(shù)災(zāi)難97
5112局部不變性和平滑正則化97
5113流形學(xué)習(xí)99
第2部分深度網(wǎng)絡(luò)：現(xiàn)代實(shí)踐
第6章深度前饋網(wǎng)絡(luò)105
61實(shí)例：學(xué)習(xí)XOR107
62基于梯度的學(xué)習(xí)110
621代價(jià)函數(shù)111
622輸出單元113
63隱藏單元119
631整流線(xiàn)性單元及其擴(kuò)展120
632logisticsigmoid與雙曲正切函數(shù)121
633其他隱藏單元122
64架構(gòu)設(shè)計(jì)123
641萬(wàn)能近似性質(zhì)和深度123
642其他架構(gòu)上的考慮126
65反向傳播和其他的微分算法126
651計(jì)算圖127
652微積分中的鏈?zhǔn)椒▌t128
653遞歸地使用鏈?zhǔn)椒▌t來(lái)實(shí)現(xiàn)反向傳播128
654全連接MLP中的反向傳播計(jì)算131
655符號(hào)到符號(hào)的導(dǎo)數(shù)131
656一般化的反向傳播133
657實(shí)例：用于MLP訓(xùn)練的反向傳播135
658復(fù)雜化137
659深度學(xué)習(xí)界以外的微分137
6510高階微分138
66歷史小記139
第7章深度學(xué)習(xí)中的正則化141
71參數(shù)范數(shù)懲罰142
711L2參數(shù)正則化142
712L1正則化144
72作為約束的范數(shù)懲罰146
73正則化和欠約束問(wèn)題147
74數(shù)據(jù)集增強(qiáng)148
75噪聲魯棒性149
751向輸出目標(biāo)注入噪聲150
76半監(jiān)督學(xué)習(xí)150
77多任務(wù)學(xué)習(xí)150
78提前終止151
79參數(shù)綁定和參數(shù)共享156
791卷積神經(jīng)網(wǎng)絡(luò)156
710稀疏表示157
711Bagging和其他集成方法158
712Dropout159
713對(duì)抗訓(xùn)練165
714切面距離、正切傳播和流形正切分類(lèi)器167
第8章深度模型中的優(yōu)化169
81學(xué)習(xí)和純優(yōu)化有什么不同169
811經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化169
812代理?yè)p失函數(shù)和提前終止170
813批量算法和小批量算法170
82神經(jīng)網(wǎng)絡(luò)優(yōu)化中的挑戰(zhàn)173
821病態(tài)173
822局部極小值174
823高原、鞍點(diǎn)和其他平坦區(qū)域175
824懸崖和梯度爆炸177
825長(zhǎng)期依賴(lài)177
826非精確梯度178
827局部和全局結(jié)構(gòu)間的弱對(duì)應(yīng)178
828優(yōu)化的理論限制179
83基本算法180
831隨機(jī)梯度下降180
832動(dòng)量181
833Nesterov動(dòng)量183
84參數(shù)初始化策略184
85自適應(yīng)學(xué)習(xí)率算法187
851AdaGrad187
852RMSProp188
853Adam189
854選擇正確的優(yōu)化算法190
86二階近似方法190
861牛頓法190
862共軛梯度191
863BFGS193
87優(yōu)化策略和元算法194
871批標(biāo)準(zhǔn)化194
872坐標(biāo)下降196
873Polyak平均197
874監(jiān)督預(yù)訓(xùn)練197
875設(shè)計(jì)有助于優(yōu)化的模型199
876延拓法和課程學(xué)習(xí)199
第9章卷積網(wǎng)絡(luò)201
91卷積運(yùn)算201
92動(dòng)機(jī)203
93池化207
94卷積與池化作為一種無(wú)限強(qiáng)的先驗(yàn)210
95基本卷積函數(shù)的變體211
96結(jié)構(gòu)化輸出218
97數(shù)據(jù)類(lèi)型219
98高效的卷積算法220
99隨機(jī)或無(wú)監(jiān)督的特征220
910卷積網(wǎng)絡(luò)的神經(jīng)科學(xué)基礎(chǔ)221
911卷積網(wǎng)絡(luò)與深度學(xué)習(xí)的歷史226
第10章序列建模：循環(huán)和遞歸網(wǎng)絡(luò)227
101展開(kāi)計(jì)算圖228
102循環(huán)神經(jīng)網(wǎng)絡(luò)230
1021導(dǎo)師驅(qū)動(dòng)過(guò)程和輸出循環(huán)網(wǎng)絡(luò)232
1022計(jì)算循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度233
1023作為有向圖模型的循環(huán)網(wǎng)絡(luò)235
1024基于上下文的RNN序列建模237
103雙向RNN239
104基于編碼-解碼的序列到序列架構(gòu)240
105深度循環(huán)網(wǎng)絡(luò)242
106遞歸神經(jīng)網(wǎng)絡(luò)243
107長(zhǎng)期依賴(lài)的挑戰(zhàn)244
108回聲狀態(tài)網(wǎng)絡(luò)245
109滲漏單元和其他多時(shí)間尺度的策略247
1091時(shí)間維度的跳躍連接247
1092滲漏單元和一系列不同時(shí)間尺度247
1093刪除連接248
1010長(zhǎng)短期記憶和其他門(mén)控RNN248
10101LSTM248
10102其他門(mén)控RNN250
1011優(yōu)化長(zhǎng)期依賴(lài)251
10111截?cái)嗵荻?51
10112引導(dǎo)信息流的正則化252
1012外顯記憶253
第11章實(shí)踐方法論256
111性能度量256
112默認(rèn)的基準(zhǔn)模型258
113決定是否收集更多數(shù)據(jù)259
114選擇超參數(shù)259
1141手動(dòng)調(diào)整超參數(shù)259
1142自動(dòng)超參數(shù)優(yōu)化算法262
1143網(wǎng)格搜索262
1144隨機(jī)搜索263
1145基于模型的超參數(shù)優(yōu)化264
115調(diào)試策略264
116示例：多位數(shù)字識(shí)別267
第12章應(yīng)用269
121大規(guī)模深度學(xué)習(xí)269
1211快速的CPU實(shí)現(xiàn)269
1212GPU實(shí)現(xiàn)269
1213大規(guī)模的分布式實(shí)現(xiàn)271
1214模型壓縮271
1215動(dòng)態(tài)結(jié)構(gòu)272
1216深度網(wǎng)絡(luò)的專(zhuān)用硬件實(shí)現(xiàn)273
122計(jì)算機(jī)視覺(jué)274
1221預(yù)處理275
1222數(shù)據(jù)集增強(qiáng)277
123語(yǔ)音識(shí)別278
124自然語(yǔ)言處理279
1241n-gram280
1242神經(jīng)語(yǔ)言模型281
1243高維輸出282
1244結(jié)合n-gram和神經(jīng)語(yǔ)言模型286
1245神經(jīng)機(jī)器翻譯287
1246歷史展望289
125其他應(yīng)用290
1251推薦系統(tǒng)290
1252知識(shí)表示、推理和回答292
第3部分深度學(xué)習(xí)研究
第13章線(xiàn)性因子模型297
131概率PCA和因子分析297
132獨(dú)立成分分析298
133慢特征分析300
134稀疏編碼301
135PCA的流形解釋304
第14章自編碼器306
141欠完備自編碼器306
142正則自編碼器307
1421稀疏自編碼器307
1422去噪自編碼器309
1423懲罰導(dǎo)數(shù)作為正則309
143表示能力、層的大小和深度310
144隨機(jī)編碼器和解碼器310
145去噪自編碼器詳解311
1451得分估計(jì)312
1452歷史展望314
146使用自編碼器學(xué)習(xí)流形314
147收縮自編碼器317
148預(yù)測(cè)稀疏分解319
149自編碼器的應(yīng)用319
第15章表示學(xué)習(xí)321
151貪心逐層無(wú)監(jiān)督預(yù)訓(xùn)練322
1511何時(shí)以及為何無(wú)監(jiān)督預(yù)訓(xùn)練有效有效323
152遷移學(xué)習(xí)和領(lǐng)域自適應(yīng)326
153半監(jiān)督解釋因果關(guān)系329
154分布式表示332
155得益于深度的指數(shù)增益336
156提供發(fā)現(xiàn)潛在原因的線(xiàn)索337
第16章深度學(xué)習(xí)中的結(jié)構(gòu)化概率模型339
161非結(jié)構(gòu)化建模的挑戰(zhàn)339
162使用圖描述模型結(jié)構(gòu)342
1621有向模型342
1622無(wú)向模型344
1623配分函數(shù)345
1624基于能量的模型346
1625分離和d-分離347
1626在有向模型和無(wú)向模型中轉(zhuǎn)換350
1627因子圖352
163從圖模型中采樣353
164結(jié)構(gòu)化建模的優(yōu)勢(shì)353
165學(xué)習(xí)依賴(lài)關(guān)系354
166推斷和近似推斷354
167結(jié)構(gòu)化概率模型的深度學(xué)習(xí)方法355
1671實(shí)例：受限玻爾茲曼機(jī)356
第17章蒙特卡羅方法359
171采樣和蒙特卡羅方法359
1711為什么需要采樣359
1712蒙特卡羅采樣的基礎(chǔ)359
172重要采樣360
173馬爾可夫鏈蒙特卡羅方法362
174Gibbs采樣365
175不同的峰值之間的混合挑戰(zhàn)365
1751不同峰值之間通過(guò)回火來(lái)混合367
1752深度也許會(huì)有助于混合368
第18章直面配分函數(shù)369
181對(duì)數(shù)似然梯度369
182隨機(jī)最大似然和對(duì)比散度370
183偽似然375
184得分匹配和比率匹配376
185去噪得分匹配378
186噪聲對(duì)比估計(jì)378
187估計(jì)配分函數(shù)380
1871退火重要采樣382
1872橋式采樣384
第19章近似推斷385
191把推斷視作優(yōu)化問(wèn)題385
192期望最大化386
193最大后驗(yàn)推斷和稀疏編碼387
194變分推斷和變分學(xué)習(xí)389
1941離散型潛變量390
1942變分法394
1943連續(xù)型潛變量396
1944學(xué)習(xí)和推斷之間的相互作用397
195學(xué)成近似推斷397
1951醒眠算法398
1952學(xué)成推斷的其他形式398
第20章深度生成模型399
201玻爾茲曼機(jī)399
202受限玻爾茲曼機(jī)400
2021條件分布401
2022訓(xùn)練受限玻爾茲曼機(jī)402
203深度信念網(wǎng)絡(luò)402
204深度玻爾茲曼機(jī)404
2041有趣的性質(zhì)406
2042DBM均勻場(chǎng)推斷406
2043DBM的參數(shù)學(xué)習(xí)408
2044逐層預(yù)訓(xùn)練408
2045聯(lián)合訓(xùn)練深度玻爾茲曼機(jī)410
205實(shí)值數(shù)據(jù)上的玻爾茲曼機(jī)413
2051Gaussian-BernoulliRBM413
2052條件協(xié)方差的無(wú)向模型414
206卷積玻爾茲曼機(jī)417
207用于結(jié)構(gòu)化或序列輸出的玻爾茲曼機(jī)418
208其他玻爾茲曼機(jī)419
209通過(guò)隨機(jī)操作的反向傳播419
2091通過(guò)離散隨機(jī)操作的反向傳播420
2010有向生成網(wǎng)絡(luò)422
20101sigmoid信念網(wǎng)絡(luò)422
20102可微生成器網(wǎng)絡(luò)423
20103變分自編碼器425
20104生成式對(duì)抗網(wǎng)絡(luò)427
20105生成矩匹配網(wǎng)絡(luò)429
20106卷積生成網(wǎng)絡(luò)430
20107自回歸網(wǎng)絡(luò)430
20108線(xiàn)性自回歸網(wǎng)絡(luò)430
20109神經(jīng)自回歸網(wǎng)絡(luò)431
201010NADE432
2011從自編碼器采樣433
20111與任意去噪自編碼器相關(guān)的馬爾可夫鏈434
20112夾合與條件采樣434
20113回退訓(xùn)練過(guò)程435
2012生成隨機(jī)網(wǎng)絡(luò)435
20121判別性GSN436
2013其他生成方案436
2014評(píng)估生成模型437
2015結(jié)論438
參考文獻(xiàn)439
索引486