深度學(xué)習(xí)算法與實(shí)踐

第 一部分
第　1章 空間幾何與線(xiàn)性代數(shù)　3
1．1　多維幾何空間　3
1．1．1　空間、函數(shù)和向量　3
1．1．2　空間變換與矩陣　7
1．2　矩陣和運(yùn)算　9
1．2．1　矩陣基本運(yùn)算　9
1．2．2　矩陣分塊運(yùn)算和線(xiàn)性變換　10
1．2．3　矩陣分解　11
1．2．4　方陣的線(xiàn)性變換：特征值分解　12
1．2．5　非方陣線(xiàn)性變換：奇異值分解　13
1．2．6　其他線(xiàn)性變換：字典學(xué)習(xí)　14
1．3　實(shí)踐部分　14
1．3．1　矩陣定義與計(jì)算　14
1．3．2　仿射變換實(shí)例　16
1．3．3　數(shù)據(jù)壓縮　18
1．4　小結(jié)　20
第　2章 概率與統(tǒng)計(jì)　22
2．1　概率基礎(chǔ)概念　22
2．2　隨機(jī)變量數(shù)字特征　25
2．3　信息熵　28
2．4　概率模型下的線(xiàn)性變換　30
2．5　最大似然估計(jì)與最大后驗(yàn)估計(jì)　31
2．6　常見(jiàn)分布　34
2．7　實(shí)踐部分　36
2．8　小結(jié)　40
第3章　函數(shù)建模與優(yōu)化　41
3．1　函數(shù)與建?！?1
3．1．1　機(jī)器學(xué)習(xí)問(wèn)題描述　42
3．1．2　函數(shù)的展開(kāi)與建模　44
3．2　優(yōu)化問(wèn)題　45
3．2．1　多元函數(shù)展開(kāi)和梯度　45
3．2．2　無(wú)約束最優(yōu)化問(wèn)題　46
3．2．3　約束最優(yōu)化問(wèn)題提出　49
3．2．4　等式約束的最優(yōu)化問(wèn)題示例　50
3．2．5　不等式約束的最優(yōu)化問(wèn)題示例　51
3．2．6　約束最優(yōu)化與最大熵　53
3．3　損失函數(shù)的多元函數(shù)表示　54
3．3．1　基于梯度的優(yōu)化算法　54
3．3．2　動(dòng)量加入　55
3．3．3　AdaGrad與Adam算法　55
3．4　過(guò)擬合與欠擬合問(wèn)題　57
3．4．1　問(wèn)題闡述　57
3．4．2　過(guò)擬合與欠擬合判斷　59
3．5　集成學(xué)習(xí)　61
3．5．1　方差和偏差　61
3．5．2　Bagging和Boosting　62
3．6　實(shí)踐部分　63
3．6．1　線(xiàn)性回歸問(wèn)題　63
3．6．2　使用TensorFlow進(jìn)行曲線(xiàn)擬合　65
3．6．3　多元線(xiàn)性回歸問(wèn)題　66
3．7　小結(jié)　68
第4章　機(jī)器學(xué)習(xí)庫(kù)的使用　69
4．1　TensorFlow執(zhí)行過(guò)程　69
4．2　建模與優(yōu)化所需的函數(shù)　72
4．2．1　自動(dòng)求導(dǎo)　72
4．2．2　矩陣以及相關(guān)的計(jì)算　73
4．2．3　從手寫(xiě)數(shù)字識(shí)別例子來(lái)完整學(xué)習(xí)建模和優(yōu)化過(guò)程　75
4．3　多個(gè)計(jì)算圖　80
4．4　變量命名　80
4．5　小結(jié)　83
第二部分
第5章　深度學(xué)習(xí)模型與全連接網(wǎng)絡(luò)　87
5．1　多層神經(jīng)網(wǎng)絡(luò)與理解　87
5．1．1　表格類(lèi)型數(shù)據(jù)與線(xiàn)性模型　87
5．1．2　多層神經(jīng)網(wǎng)絡(luò)模型引入　90
5．1．3　過(guò)擬合問(wèn)題　94
5．2　鏈?zhǔn)角髮?dǎo)與反向傳播　96
5．2．1　矩陣相乘可訓(xùn)練參數(shù)導(dǎo)數(shù)與誤差傳播　96
5．2．2　偏置項(xiàng)導(dǎo)數(shù)可訓(xùn)練參數(shù)導(dǎo)數(shù)與誤差傳播　97
5．2．3　通過(guò)函數(shù)可訓(xùn)練參數(shù)導(dǎo)數(shù)與誤差傳播　97
5．3　實(shí)踐部分　98
5．3．1　多層全連接網(wǎng)絡(luò)從零實(shí)現(xiàn)　98
5．3．2　調(diào)用TensorFlow實(shí)現(xiàn)全連接網(wǎng)絡(luò)　101
5．3．3　空間變換　102
5．3．4　TensorFlow高層API　103
5．4　小結(jié)　104
第6章　卷積神經(jīng)網(wǎng)絡(luò)　105
6．1　連續(xù)型數(shù)據(jù)　105
6．2　信號(hào)處理中的卷積　107
6．2．1　滑動(dòng)互相關(guān)與特征提取　107
6．2．2　濾波概念與滑動(dòng)互相關(guān)關(guān)系　109
6．3　從神經(jīng)網(wǎng)絡(luò)的角度看待卷積神經(jīng)網(wǎng)絡(luò)　112
6．4　卷積神經(jīng)網(wǎng)絡(luò)　113
6．4．1　輸入數(shù)據(jù)形式　113
6．4．2　卷積的數(shù)學(xué)形式　114
6．4．3　感受野　114
6．4．4　加深網(wǎng)絡(luò)與調(diào)整步長(zhǎng)　115
6．4．5　池化層的數(shù)學(xué)形式　115
6．4．6　空洞卷積　116
6．4．7　圖像金字塔　117
6．5　卷積神經(jīng)網(wǎng)絡(luò)反向傳播算法　117
6．5．1　卷積層反向傳播　118
6．5．2　池化層反向傳播　118
6．5．3　展開(kāi)層反向傳播　118
6．6　實(shí)踐部分　118
6．6．1　卷積結(jié)構(gòu)濾波　118
6．6．2　卷積神經(jīng)網(wǎng)絡(luò)從零實(shí)現(xiàn)　121
6．6．3　卷積神經(jīng)網(wǎng)絡(luò)的TensorFlow實(shí)現(xiàn)　125
6．6．4　卷積神經(jīng)網(wǎng)絡(luò)其他API　127
6．7　小結(jié)　127
第7章　循環(huán)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)　128
7．1　文本數(shù)據(jù)類(lèi)型　128
7．1．1　無(wú)順序文本　128
7．1．2　順序文本處理　130
7．2　文本問(wèn)題建?！?30
7．2．1　無(wú)順序文本建模　130
7．2．2　順序文本建?！?32
7．3　循環(huán)神經(jīng)網(wǎng)絡(luò)模型　132
7．3．1　基本循環(huán)神經(jīng)網(wǎng)絡(luò)模型　132
7．3．2　循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)　133
7．3．3　卷積神經(jīng)網(wǎng)絡(luò)處理時(shí)序數(shù)據(jù)　134
7．4　反向傳播過(guò)程　134
7．5　實(shí)踐部分　134
7．5．1　從零實(shí)現(xiàn)循環(huán)神經(jīng)網(wǎng)絡(luò)　134
7．5．2　文本分類(lèi)問(wèn)題　139
7．5．3　TensorFlow的Embedding示例　141
7．5．4　TensorFlow的RNN輸入與輸出示例　141
7．5．5　中文分詞示例　142
7．6　小結(jié)　142
第8章　循環(huán)神經(jīng)網(wǎng)絡(luò)擴(kuò)展　144
8．1　雙向RNN　144
8．2　聯(lián)結(jié)主義時(shí)間分類(lèi)器　146
8．2．1　CTC-Loss　146
8．2．2　CTC解碼　147
8．3　編碼-解碼結(jié)構(gòu)（基于RNN）　149
8．3．1　結(jié)構(gòu)說(shuō)明　149
8．3．2　序列損失函數(shù)（Sequence Loss）　151
8．3．3　預(yù)測(cè)過(guò)程　151
8．4　實(shí)踐部分　151
8．4．1　使用RNN進(jìn)行文本分類(lèi)　151
8．4．2　使用RNN進(jìn)行文本生成實(shí)例　152
8．4．3　中文文本分詞實(shí)踐　155
8．5　小結(jié)　162
第9章　深度學(xué)習(xí)優(yōu)化　163
9．1　網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化　163
9．1．1　Inception結(jié)構(gòu)　163
9．1．2　殘差網(wǎng)絡(luò)　164
9．1．3　注意力機(jī)制　165
9．2　神經(jīng)網(wǎng)絡(luò)輔助結(jié)構(gòu)　167
9．2．1　批正則化　167
9．2．2　DropOut　168
9．3　深度學(xué)習(xí)參數(shù)優(yōu)化　169
9．3．1　學(xué)習(xí)率　169
9．3．2　批尺寸　169
9．3．3　Embedding大小與DropOut數(shù)值　169
9．3．4　網(wǎng)格搜索方法　169
9．3．5　初始化策略　170
9．3．6　數(shù)據(jù)預(yù)處理　170
9．3．7　梯度剪裁　170
9．4　實(shí)踐部分　171
9．5　小結(jié)　172
第三部分
第　10章 圖像處理任務(wù)　175
10．1　圖像多分類(lèi)問(wèn)題　175
10．1．1　人臉識(shí)別類(lèi)任務(wù)分析　179
10．1．2　三元損失函數(shù)　179
10．1．3　使用分類(lèi)問(wèn)題訓(xùn)練　180
10．1．4　CenterLoss　180
10．1．5　結(jié)果　181
10．2　任意大小圖像處理　182
10．2．1　純卷積結(jié)構(gòu)　182
10．2．2　圖像處理任務(wù)中的分類(lèi)與回歸問(wèn)題　184
10．2．3　預(yù)測(cè)過(guò)程　186
10．3　物體檢測(cè)問(wèn)題　189
10．3．1　RCNN類(lèi)物體檢測(cè)算法　189
10．3．2　Yolo類(lèi)物體檢測(cè)方法　195
10．4　小結(jié)　199
第　11章 自然語(yǔ)言處理　200
11．1　語(yǔ)音識(shí)別任務(wù)　200
11．1．1　語(yǔ)音信號(hào)特征　201
11．1．2　語(yǔ)音處理模型　204
11．1．3　結(jié)果輸出　205
11．2　自然語(yǔ)言翻譯　205
11．2．1　編碼結(jié)構(gòu)　206
11．2．2　解碼結(jié)構(gòu)　206
11．2．3　Attention機(jī)制　211
11．2．4　網(wǎng)絡(luò)結(jié)構(gòu)圖像解釋　214
11．2．5　損失函數(shù)　214
11．3　文本轉(zhuǎn)語(yǔ)音（TTS）模型　215
11．3．1　網(wǎng)絡(luò)模型　215
11．3．2　自定義RNN結(jié)構(gòu)：ZoneoutLSTM　215
11．3．3　自定義RNN：帶有卷積層的循環(huán)網(wǎng)絡(luò)　218
11．3．4　自定義解碼器　219
11．3．5　自定義Helper　221
11．3．6　自定義Attention機(jī)制　222
11．3．7　模型描述　223
11．3．8　后處理　225
11．3．9　結(jié)果展示　226
11．4　小結(jié)　227
第　12章 非監(jiān)督學(xué)習(xí)模型　228
12．1　對(duì)抗生成網(wǎng)絡(luò)　228
12．1．1　反卷積結(jié)構(gòu)　229
12．1．2　對(duì)抗神經(jīng)網(wǎng)絡(luò)的搭建　230
12．1．3　結(jié)果展示　234
12．2　去噪自編碼器　234
12．2．1　去噪自編碼器結(jié)構(gòu)　235
12．2．2　去噪結(jié)果　235
12．2．3　與對(duì)抗生成網(wǎng)絡(luò)對(duì)比　236
12．3　增強(qiáng)學(xué)習(xí)　236
12．3．1　游戲說(shuō)明　238
12．3．2　網(wǎng)絡(luò)模型　239
12．3．3　損失函數(shù)構(gòu)建　240
12．4　小結(jié)　242