深度學(xué)習(xí)算法與實(shí)踐

第 一部分
第　1章 空間幾何與線性代數(shù)　3
1．1　多維幾何空間　3
1．1．1　空間、函數(shù)和向量　3
1．1．2　空間變換與矩陣　7
1．2　矩陣和運(yùn)算　9
1．2．1　矩陣基本運(yùn)算　9
1．2．2　矩陣分塊運(yùn)算和線性變換　10
1．2．3　矩陣分解　11
1．2．4　方陣的線性變換：特征值分解　12
1．2．5　非方陣線性變換：奇異值分解　13
1．2．6　其他線性變換：字典學(xué)習(xí)　14
1．3　實(shí)踐部分　14
1．3．1　矩陣定義與計(jì)算　14
1．3．2　仿射變換實(shí)例　16
1．3．3　數(shù)據(jù)壓縮　18
1．4　小結(jié)　20
第　2章 概率與統(tǒng)計(jì)　22
2．1　概率基礎(chǔ)概念　22
2．2　隨機(jī)變量數(shù)字特征　25
2．3　信息熵　28
2．4　概率模型下的線性變換　30
2．5　最大似然估計(jì)與最大后驗(yàn)估計(jì)　31
2．6　常見分布　34
2．7　實(shí)踐部分　36
2．8　小結(jié)　40
第3章　函數(shù)建模與優(yōu)化　41
3．1　函數(shù)與建?！?1
3．1．1　機(jī)器學(xué)習(xí)問題描述　42
3．1．2　函數(shù)的展開與建?！?4
3．2　優(yōu)化問題　45
3．2．1　多元函數(shù)展開和梯度　45
3．2．2　無約束最優(yōu)化問題　46
3．2．3　約束最優(yōu)化問題提出　49
3．2．4　等式約束的最優(yōu)化問題示例　50
3．2．5　不等式約束的最優(yōu)化問題示例　51
3．2．6　約束最優(yōu)化與最大熵　53
3．3　損失函數(shù)的多元函數(shù)表示　54
3．3．1　基于梯度的優(yōu)化算法　54
3．3．2　動量加入　55
3．3．3　AdaGrad與Adam算法　55
3．4　過擬合與欠擬合問題　57
3．4．1　問題闡述　57
3．4．2　過擬合與欠擬合判斷　59
3．5　集成學(xué)習(xí)　61
3．5．1　方差和偏差　61
3．5．2　Bagging和Boosting　62
3．6　實(shí)踐部分　63
3．6．1　線性回歸問題　63
3．6．2　使用TensorFlow進(jìn)行曲線擬合　65
3．6．3　多元線性回歸問題　66
3．7　小結(jié)　68
第4章　機(jī)器學(xué)習(xí)庫的使用　69
4．1　TensorFlow執(zhí)行過程　69
4．2　建模與優(yōu)化所需的函數(shù)　72
4．2．1　自動求導(dǎo)　72
4．2．2　矩陣以及相關(guān)的計(jì)算　73
4．2．3　從手寫數(shù)字識別例子來完整學(xué)習(xí)建模和優(yōu)化過程　75
4．3　多個計(jì)算圖　80
4．4　變量命名　80
4．5　小結(jié)　83
第二部分
第5章　深度學(xué)習(xí)模型與全連接網(wǎng)絡(luò)　87
5．1　多層神經(jīng)網(wǎng)絡(luò)與理解　87
5．1．1　表格類型數(shù)據(jù)與線性模型　87
5．1．2　多層神經(jīng)網(wǎng)絡(luò)模型引入　90
5．1．3　過擬合問題　94
5．2　鏈?zhǔn)角髮?dǎo)與反向傳播　96
5．2．1　矩陣相乘可訓(xùn)練參數(shù)導(dǎo)數(shù)與誤差傳播　96
5．2．2　偏置項(xiàng)導(dǎo)數(shù)可訓(xùn)練參數(shù)導(dǎo)數(shù)與誤差傳播　97
5．2．3　通過函數(shù)可訓(xùn)練參數(shù)導(dǎo)數(shù)與誤差傳播　97
5．3　實(shí)踐部分　98
5．3．1　多層全連接網(wǎng)絡(luò)從零實(shí)現(xiàn)　98
5．3．2　調(diào)用TensorFlow實(shí)現(xiàn)全連接網(wǎng)絡(luò)　101
5．3．3　空間變換　102
5．3．4　TensorFlow高層API　103
5．4　小結(jié)　104
第6章　卷積神經(jīng)網(wǎng)絡(luò)　105
6．1　連續(xù)型數(shù)據(jù)　105
6．2　信號處理中的卷積　107
6．2．1　滑動互相關(guān)與特征提取　107
6．2．2　濾波概念與滑動互相關(guān)關(guān)系　109
6．3　從神經(jīng)網(wǎng)絡(luò)的角度看待卷積神經(jīng)網(wǎng)絡(luò)　112
6．4　卷積神經(jīng)網(wǎng)絡(luò)　113
6．4．1　輸入數(shù)據(jù)形式　113
6．4．2　卷積的數(shù)學(xué)形式　114
6．4．3　感受野　114
6．4．4　加深網(wǎng)絡(luò)與調(diào)整步長　115
6．4．5　池化層的數(shù)學(xué)形式　115
6．4．6　空洞卷積　116
6．4．7　圖像金字塔　117
6．5　卷積神經(jīng)網(wǎng)絡(luò)反向傳播算法　117
6．5．1　卷積層反向傳播　118
6．5．2　池化層反向傳播　118
6．5．3　展開層反向傳播　118
6．6　實(shí)踐部分　118
6．6．1　卷積結(jié)構(gòu)濾波　118
6．6．2　卷積神經(jīng)網(wǎng)絡(luò)從零實(shí)現(xiàn)　121
6．6．3　卷積神經(jīng)網(wǎng)絡(luò)的TensorFlow實(shí)現(xiàn)　125
6．6．4　卷積神經(jīng)網(wǎng)絡(luò)其他API　127
6．7　小結(jié)　127
第7章　循環(huán)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)　128
7．1　文本數(shù)據(jù)類型　128
7．1．1　無順序文本　128
7．1．2　順序文本處理　130
7．2　文本問題建模　130
7．2．1　無順序文本建?！?30
7．2．2　順序文本建模　132
7．3　循環(huán)神經(jīng)網(wǎng)絡(luò)模型　132
7．3．1　基本循環(huán)神經(jīng)網(wǎng)絡(luò)模型　132
7．3．2　循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)　133
7．3．3　卷積神經(jīng)網(wǎng)絡(luò)處理時序數(shù)據(jù)　134
7．4　反向傳播過程　134
7．5　實(shí)踐部分　134
7．5．1　從零實(shí)現(xiàn)循環(huán)神經(jīng)網(wǎng)絡(luò)　134
7．5．2　文本分類問題　139
7．5．3　TensorFlow的Embedding示例　141
7．5．4　TensorFlow的RNN輸入與輸出示例　141
7．5．5　中文分詞示例　142
7．6　小結(jié)　142
第8章　循環(huán)神經(jīng)網(wǎng)絡(luò)擴(kuò)展　144
8．1　雙向RNN　144
8．2　聯(lián)結(jié)主義時間分類器　146
8．2．1　CTC-Loss　146
8．2．2　CTC解碼　147
8．3　編碼-解碼結(jié)構(gòu)（基于RNN）　149
8．3．1　結(jié)構(gòu)說明　149
8．3．2　序列損失函數(shù)（Sequence Loss）　151
8．3．3　預(yù)測過程　151
8．4　實(shí)踐部分　151
8．4．1　使用RNN進(jìn)行文本分類　151
8．4．2　使用RNN進(jìn)行文本生成實(shí)例　152
8．4．3　中文文本分詞實(shí)踐　155
8．5　小結(jié)　162
第9章　深度學(xué)習(xí)優(yōu)化　163
9．1　網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化　163
9．1．1　Inception結(jié)構(gòu)　163
9．1．2　殘差網(wǎng)絡(luò)　164
9．1．3　注意力機(jī)制　165
9．2　神經(jīng)網(wǎng)絡(luò)輔助結(jié)構(gòu)　167
9．2．1　批正則化　167
9．2．2　DropOut　168
9．3　深度學(xué)習(xí)參數(shù)優(yōu)化　169
9．3．1　學(xué)習(xí)率　169
9．3．2　批尺寸　169
9．3．3　Embedding大小與DropOut數(shù)值　169
9．3．4　網(wǎng)格搜索方法　169
9．3．5　初始化策略　170
9．3．6　數(shù)據(jù)預(yù)處理　170
9．3．7　梯度剪裁　170
9．4　實(shí)踐部分　171
9．5　小結(jié)　172
第三部分
第　10章 圖像處理任務(wù)　175
10．1　圖像多分類問題　175
10．1．1　人臉識別類任務(wù)分析　179
10．1．2　三元損失函數(shù)　179
10．1．3　使用分類問題訓(xùn)練　180
10．1．4　CenterLoss　180
10．1．5　結(jié)果　181
10．2　任意大小圖像處理　182
10．2．1　純卷積結(jié)構(gòu)　182
10．2．2　圖像處理任務(wù)中的分類與回歸問題　184
10．2．3　預(yù)測過程　186
10．3　物體檢測問題　189
10．3．1　RCNN類物體檢測算法　189
10．3．2　Yolo類物體檢測方法　195
10．4　小結(jié)　199
第　11章 自然語言處理　200
11．1　語音識別任務(wù)　200
11．1．1　語音信號特征　201
11．1．2　語音處理模型　204
11．1．3　結(jié)果輸出　205
11．2　自然語言翻譯　205
11．2．1　編碼結(jié)構(gòu)　206
11．2．2　解碼結(jié)構(gòu)　206
11．2．3　Attention機(jī)制　211
11．2．4　網(wǎng)絡(luò)結(jié)構(gòu)圖像解釋　214
11．2．5　損失函數(shù)　214
11．3　文本轉(zhuǎn)語音（TTS）模型　215
11．3．1　網(wǎng)絡(luò)模型　215
11．3．2　自定義RNN結(jié)構(gòu)：ZoneoutLSTM　215
11．3．3　自定義RNN：帶有卷積層的循環(huán)網(wǎng)絡(luò)　218
11．3．4　自定義解碼器　219
11．3．5　自定義Helper　221
11．3．6　自定義Attention機(jī)制　222
11．3．7　模型描述　223
11．3．8　后處理　225
11．3．9　結(jié)果展示　226
11．4　小結(jié)　227
第　12章 非監(jiān)督學(xué)習(xí)模型　228
12．1　對抗生成網(wǎng)絡(luò)　228
12．1．1　反卷積結(jié)構(gòu)　229
12．1．2　對抗神經(jīng)網(wǎng)絡(luò)的搭建　230
12．1．3　結(jié)果展示　234
12．2　去噪自編碼器　234
12．2．1　去噪自編碼器結(jié)構(gòu)　235
12．2．2　去噪結(jié)果　235
12．2．3　與對抗生成網(wǎng)絡(luò)對比　236
12．3　增強(qiáng)學(xué)習(xí)　236
12．3．1　游戲說明　238
12．3．2　網(wǎng)絡(luò)模型　239
12．3．3　損失函數(shù)構(gòu)建　240
12．4　小結(jié)　242