動手學(xué)深度學(xué)習(xí)

對本書的贊譽
前言
如何使用本書
資源與支持
主要符號表
第　1章深度學(xué)習(xí)簡介　1
1.1　起源　2
1.2　發(fā)展　4
1.3　成功案例　6
1.4　特點　7
小結(jié)　8
練習(xí)　8
第　2章預(yù)備知識　9
2.1　獲取和運行本書的代碼　9
2.1.1　獲取代碼并安裝運行環(huán)境　9
2.1.2　更新代碼和運行環(huán)境　11
2.1.3　使用GPU版的MXNet　11
小結(jié)12
練習(xí)12
2.2　數(shù)據(jù)操作　12
2.2.1　創(chuàng)建NDArray　12
2.2.2　運算　14
2.2.3　廣播機制　16
2.2.4　索引　17
2.2.5　運算的內(nèi)存開銷　17
2.2.6　NDArray和NumPy相互變換18
小結(jié)19
練習(xí)19
2.3　自動求梯度　19
2.3.1　簡單例子　19
2.3.2　訓(xùn)練模式和預(yù)測模式　20
2.3.3　對Python控制流求梯度　20
小結(jié)21
練習(xí)21
2.4　查閱文檔　21
2.4.1　查找模塊里的所有函數(shù)和類　21
2.4.2　查找特定函數(shù)和類的使用　22
2.4.3　在MXNet網(wǎng)站上查閱　23
小結(jié)　24
練習(xí)　24
第3章深度學(xué)習(xí)基礎(chǔ)　25
3.1　線性回歸　25
3.1.1　線性回歸的基本要素　25
3.1.2　線性回歸的表示方法　28
小結(jié)　30
練習(xí)　30
3.2　線性回歸的從零開始實現(xiàn)　30
3.2.1　生成數(shù)據(jù)集　30
3.2.2　讀取數(shù)據(jù)集　32
3.2.3　初始化模型參數(shù)　32
3.2.4　定義模型　33
3.2.5　定義損失函數(shù)　33
3.2.6　定義優(yōu)化算法　33
3.2.7　訓(xùn)練模型　33
小結(jié)　34
練習(xí)　34
3.3　線性回歸的簡潔實現(xiàn)　35
3.3.1　生成數(shù)據(jù)集　35

3.3.2　讀取數(shù)據(jù)集　35

3.3.3　定義模型　36

3.3.4　初始化模型參數(shù)　36
3.3.5　定義損失函數(shù)　37
3.3.6　定義優(yōu)化算法　37
3.3.7　訓(xùn)練模型　37
小結(jié)　38
練習(xí)　38
3.4　softmax回歸　38
3.4.1　分類問題　38
3.4.2　softmax回歸模型　39
3.4.3　單樣本分類的矢量計算表達式　40
3.4.4　小批量樣本分類的矢量計算表達式　40
3.4.5　交叉熵?fù)p失函數(shù)　41
3.4.6　模型預(yù)測及評價　42
小結(jié)　42
練習(xí)　42
3.5　圖像分類數(shù)據(jù)集（Fashion-MNIST）　42
3.5.1　獲取數(shù)據(jù)集　42
3.5.2　讀取小批量　44
小結(jié)　45
練習(xí)　45
3.6　softmax回歸的從零開始實現(xiàn)　45
3.6.1　讀取數(shù)據(jù)集　45
3.6.2　初始化模型參數(shù)　45
3.6.3　實現(xiàn)softmax運算　46
3.6.4　定義模型　46
3.6.5　定義損失函數(shù)　47
3.6.6　計算分類準(zhǔn)確率　47
3.6.7　訓(xùn)練模型　48
3.6.8　預(yù)測　48
小結(jié)　49

練習(xí)　49
3.7　softmax回歸的簡潔實現(xiàn)　49
3.7.1　讀取數(shù)據(jù)集　49
3.7.2　定義和初始化模型　50
3.7.3　softmax和交叉熵?fù)p失函數(shù)　50
3.7.4　定義優(yōu)化算法　50
3.7.5　訓(xùn)練模型　50
小結(jié)　50
練習(xí)　50
3.8　多層感知機　51
3.8.1　隱藏層　51
3.8.2　激活函數(shù)　52
3.8.3　多層感知機　55
小結(jié)　55
練習(xí)　55
3.9　多層感知機的從零開始實現(xiàn)　56
3.9.1　讀取數(shù)據(jù)集　56
3.9.2　定義模型參數(shù)　56
3.9.3　定義激活函數(shù)　56
3.9.4　定義模型　56
3.9.5　定義損失函數(shù)　57
3.9.6　訓(xùn)練模型　57
小結(jié)　57
練習(xí)　57
3.10　多層感知機的簡潔實現(xiàn)　57
3.10.1　定義模型　58
3.10.2　訓(xùn)練模型　58
小結(jié)　58
練習(xí)　58
3.11　模型選擇、欠擬合和過擬合　58
3.11.1　訓(xùn)練誤差和泛化誤差　59
3.11.2　模型選擇　59
3.11.3　欠擬合和過擬合　60
3.11.4　多項式函數(shù)擬合實驗　61
小結(jié)　65
練習(xí)　65
3.12　權(quán)重衰減　65
3.12.1　方法　65
3.12.2　高維線性回歸實驗　66
3.12.3　從零開始實現(xiàn)　66
3.12.4　簡潔實現(xiàn)　68
小結(jié)　70
練習(xí)　70
3.13　丟棄法　70
3.13.1　方法　70
3.13.2　從零開始實現(xiàn)　71
3.13.3　簡潔實現(xiàn)　73
小結(jié)　74
練習(xí)　74
3.14　正向傳播、反向傳播和計算圖　74
3.14.1　正向傳播　74
3.14.2　正向傳播的計算圖　75
3.14.3　反向傳播　75
3.14.4　訓(xùn)練深度學(xué)習(xí)模型　76
小結(jié)　77
練習(xí)　77
3.15　數(shù)值穩(wěn)定性和模型初始化　77
3.15.1　衰減和爆炸　77
3.15.2　隨機初始化模型參數(shù)　78
小結(jié)　78
練習(xí)　79
3.16　實戰(zhàn)Kaggle比賽：房價預(yù)測　79
3.16.1　Kaggle比賽　79
3.16.2　讀取數(shù)據(jù)集　80
3.16.3　預(yù)處理數(shù)據(jù)集　81
3.16.4　訓(xùn)練模型　82
3.16.5　k折交叉驗證　82
3.16.6　模型選擇　83
3.16.7　預(yù)測并在Kaggle提交結(jié)果　84
小結(jié)　85
練習(xí)　85
第4章深度學(xué)習(xí)計算　86
4.1　模型構(gòu)造　86
4.1.1　繼承Block類來構(gòu)造模型　86
4.1.2　Sequential類繼承自Block類　87
4.1.3　構(gòu)造復(fù)雜的模型　88
小結(jié)　89
練習(xí)　90
4.2　模型參數(shù)的訪問、初始化和共享　90
4.2.1　訪問模型參數(shù)　90
4.2.2　初始化模型參數(shù)　92
4.2.3　自定義初始化方法　93
4.2.4　共享模型參數(shù)　94
小結(jié)　94
練習(xí)　94
4.3　模型參數(shù)的延后初始化　95
4.3.1　延后初始化　95
4.3.2　避免延后初始化　96
小結(jié)　96
練習(xí)　97
4.4　自定義層　97
4.4.1　不含模型參數(shù)的自定義層　97
4.4.2　含模型參數(shù)的自定義層　98
小結(jié)　99
練習(xí)　99
4.5　讀取和存儲　99
4.5.1　讀寫NDArray　99
4.5.2　讀寫Gluon模型的參數(shù)　100
小結(jié)　101
練習(xí)　101
4.6　GPU計算　101
4.6.1　計算設(shè)備　102
4.6.2　NDArray的GPU計算　102
4.6.3　Gluon的GPU計算　104
小結(jié)　105
練習(xí)　105
第5章卷積神經(jīng)網(wǎng)絡(luò)　106
5.1　二維卷積層　106
5.1.1　二維互相關(guān)運算　106
5.1.2　二維卷積層　107
5.1.3　圖像中物體邊緣檢測　108
5.1.4　通過數(shù)據(jù)學(xué)習(xí)核數(shù)組　109
5.1.5　互相關(guān)運算和卷積運算　109
5.1.6　特征圖和感受野　110
小結(jié)　110
練習(xí)　110
5.2　填充和步幅　111
5.2.1　填充　111
5.2.2　步幅　112
小結(jié)　113
練習(xí)　113
5.3　多輸入通道和多輸出通道　114
5.3.1　多輸入通道　114
5.3.2　多輸出通道　115
5.3.3　1×1卷積層　116
小結(jié)　117
練習(xí)　117
5.4　池化層　117
5.4.1　二維最大池化層和平均池化層　117
5.4.2　填充和步幅　119
5.4.3　多通道　120
小結(jié)　120
練習(xí)　121
5.5　卷積神經(jīng)網(wǎng)絡(luò)（LeNet）　121
5.5.1　LeNet模型　121
5.5.2　訓(xùn)練模型　122
小結(jié)　124
練習(xí)　124
5.6　深度卷積神經(jīng)網(wǎng)絡(luò)（AlexNet）　124
5.6.1　學(xué)習(xí)特征表示　125
5.6.2　AlexNet　126
5.6.3　讀取數(shù)據(jù)集　127
5.6.4　訓(xùn)練模型　128
小結(jié)　128
練習(xí)　129
5.7　使用重復(fù)元素的網(wǎng)絡(luò)（VGG）　129
5.7.1　VGG塊　129
5.7.2　VGG網(wǎng)絡(luò)　129
5.7.3　訓(xùn)練模型　130
小結(jié)　131
練習(xí)　131
5.8　網(wǎng)絡(luò)中的網(wǎng)絡(luò)（NiN）　131
5.8.1　NiN塊　131
5.8.2　NiN模型　132
5.8.3　訓(xùn)練模型　133
小結(jié)　134
練習(xí)　134
5.9　含并行連結(jié)的網(wǎng)絡(luò)（GoogLeNet）　134
5.9.1　Inception塊　134
5.9.2　GoogLeNet模型　135
5.9.3　訓(xùn)練模型　137
小結(jié)　137
練習(xí)　137
5.10　批量歸一化　138
5.10.1　批量歸一化層　138
5.10.2　從零開始實現(xiàn)　139
5.10.3　使用批量歸一化層的LeNet　140
5.10.4　簡潔實現(xiàn)　141
小結(jié)　142
練習(xí)　142
5.11　殘差網(wǎng)絡(luò)（ResNet）　143
5.11.1　殘差塊　143
5.11.2　ResNet模型　145
5.11.3　訓(xùn)練模型　146
小結(jié)　146
練習(xí)　146
5.12　稠密連接網(wǎng)絡(luò)（DenseNet）　147
5.12.1　稠密塊　147
5.12.2　過渡層　148
5.12.3　DenseNet模型　148
5.12.4　訓(xùn)練模型　149
小結(jié)　149
練習(xí)　149
第6章循環(huán)神經(jīng)網(wǎng)絡(luò)　150
6.1　語言模型　150
6.1.1　語言模型的計算　151
6.1.2　n元語法　151
小結(jié)　152
練習(xí)　152
6.2　循環(huán)神經(jīng)網(wǎng)絡(luò)　152
6.2.1　不含隱藏狀態(tài)的神經(jīng)網(wǎng)絡(luò)　152
6.2.2　含隱藏狀態(tài)的循環(huán)神經(jīng)網(wǎng)絡(luò)　152
6.2.3　應(yīng)用：基于字符級循環(huán)神經(jīng)網(wǎng)絡(luò)的語言模型　154
小結(jié)　155
練習(xí)　155
6.3　語言模型數(shù)據(jù)集（歌詞）　155
6.3.1　讀取數(shù)據(jù)集　155
6.3.2　建立字符索引　156
6.3.3　時序數(shù)據(jù)的采樣　156
小結(jié)　158
練習(xí)　159
6.4　循環(huán)神經(jīng)網(wǎng)絡(luò)的從零開始實現(xiàn)　159
6.4.1　one-hot向量　159
6.4.2　初始化模型參數(shù)　160
6.4.3　定義模型　160
6.4.4　定義預(yù)測函數(shù)　161
6.4.5　裁剪梯度　161
6.4.6　困惑度　162
6.4.7　定義模型訓(xùn)練函數(shù)　162
6.4.8　訓(xùn)練模型并創(chuàng)作歌詞　163
小結(jié)　164
練習(xí)　164
6.5　循環(huán)神經(jīng)網(wǎng)絡(luò)的簡潔實現(xiàn)　165
6.5.1　定義模型　165
6.5.2　訓(xùn)練模型　166
小結(jié)　168
練習(xí)　168
6.6　通過時間反向傳播　168
6.6.1　定義模型　168
6.6.2　模型計算圖　169
6.6.3　方法　169
小結(jié)　170
練習(xí)　170
6.7　門控循環(huán)單元（GRU）　170
6.7.1　門控循環(huán)單元　171
6.7.2　讀取數(shù)據(jù)集　173
6.7.3　從零開始實現(xiàn)　173
6.7.4　簡潔實現(xiàn)　175
小結(jié)　176
練習(xí)　176
6.8　長短期記憶（LSTM）　176
6.8.1　長短期記憶　176
6.8.2　讀取數(shù)據(jù)集　179
6.8.3　從零開始實現(xiàn)　179
6.8.4　簡潔實現(xiàn)　181
小結(jié)　181
練習(xí)　182
6.9　深度循環(huán)神經(jīng)網(wǎng)絡(luò)　182
小結(jié)　183
練習(xí)　183
6.10　雙向循環(huán)神經(jīng)網(wǎng)絡(luò)　183
小結(jié)　184
練習(xí)　184
第7章優(yōu)化算法　185
7.1　優(yōu)化與深度學(xué)習(xí)　185
7.1.1　優(yōu)化與深度學(xué)習(xí)的關(guān)系　185
7.1.2　優(yōu)化在深度學(xué)習(xí)中的挑戰(zhàn)　186
小結(jié)　188
練習(xí)　189
7.2　梯度下降和隨機梯度下降　189
7.2.1　一維梯度下降　189
7.2.2　學(xué)習(xí)率　190
7.2.3　多維梯度下降　191
7.2.4　隨機梯度下降　193
小結(jié)　194
練習(xí)　194
7.3　小批量隨機梯度下降　194
7.3.1　讀取數(shù)據(jù)集　195
7.3.2　從零開始實現(xiàn)　196
7.3.3　簡潔實現(xiàn)　198
小結(jié)　199
練習(xí)　199
7.4　動量法　200
7.4.1　梯度下降的問題　200
7.4.2　動量法　201
·6·　目錄
7.4.3　從零開始實現(xiàn)　203
7.4.4　簡潔實現(xiàn)　205
小結(jié)　205
練習(xí)　205
7.5　AdaGrad算法206
7.5.1　算法　206
7.5.2　特點　206
7.5.3　從零開始實現(xiàn)　208
7.5.4　簡潔實現(xiàn)　209
小結(jié)　209
練習(xí)　209
7.6　RMSProp算法　209
7.6.1　算法　210
7.6.2　從零開始實現(xiàn)　211
7.6.3　簡潔實現(xiàn)　212
小結(jié)　212
練習(xí)　212
7.7　AdaDelta算法　212
7.7.1　算法　212
7.7.2　從零開始實現(xiàn)　213
7.7.3　簡潔實現(xiàn)　214
小結(jié)　214
練習(xí)　214
7.8　Adam算法　215
7.8.1　算法　215
7.8.2　從零開始實現(xiàn)　216
7.8.3　簡潔實現(xiàn)　216
小結(jié)　217
練習(xí)　217
第8章計算性能　218
8.1　命令式和符號式混合編程　218
8.1.1　混合式編程取兩者之長　220
8.1.2　使用HybridSequential類構(gòu)造模型　220
8.1.3　使用HybridBlock類構(gòu)造模型　222
小結(jié)　224
練習(xí)　224
8.2　異步計算　224
8.2.1　MXNet中的異步計算　224
8.2.2　用同步函數(shù)讓前端等待計算結(jié)果　226
8.2.3　使用異步計算提升計算性能　226
8.2.4　異步計算對內(nèi)存的影響　227
小結(jié)　229
練習(xí)　229
8.3　自動并行計算　229
8.3.1　CPU和GPU的并行計算　230
8.3.2　計算和通信的并行計算　231
小結(jié)　231
練習(xí)　231
8.4　多GPU計算　232
8.4.1　數(shù)據(jù)并行　232
8.4.2　定義模型　233
8.4.3　多GPU之間同步數(shù)據(jù)　234
8.4.4　單個小批量上的多GPU訓(xùn)練　236
8.4.5　定義訓(xùn)練函數(shù)　236
8.4.6　多GPU訓(xùn)練實驗　237
小結(jié)　237
練習(xí)　237
8.5　多GPU計算的簡潔實現(xiàn)　237
8.5.1　多GPU上初始化模型參數(shù)　238
8.5.2　多GPU訓(xùn)練模型　239
小結(jié)　241
練習(xí)　241
第9章計算機視覺　242
9.1　圖像增廣242
9.1.1　常用的圖像增廣方法　243
9.1.2　使用圖像增廣訓(xùn)練模型　246
小結(jié)　250
練習(xí)　250
9.2　微調(diào)　250
熱狗識別　251
小結(jié)　255
練習(xí)　255
目　錄·7·
9.3　目標(biāo)檢測和邊界框　255
邊界框　256
小結(jié)　257
練習(xí)　257
9.4　錨框　257
9.4.1　生成多個錨框　257
9.4.2　交并比　259
9.4.3　標(biāo)注訓(xùn)練集的錨框　260
9.4.4　輸出預(yù)測邊界框　263
小結(jié)　265
練習(xí)　265
9.5　多尺度目標(biāo)檢測　265
小結(jié)　268
練習(xí)　268
9.6　目標(biāo)檢測數(shù)據(jù)集（皮卡丘）　268
9.6.1　獲取數(shù)據(jù)集　269
9.6.2　讀取數(shù)據(jù)集　269
9.6.3　圖示數(shù)據(jù)　270
小結(jié)　270
練習(xí)　271
9.7　單發(fā)多框檢測（SSD）　271
9.7.1　定義模型　271
9.7.2　訓(xùn)練模型　275
9.7.3　預(yù)測目標(biāo)　277
小結(jié)　278
練習(xí)　278
9.8　區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（R-CNN）系列280
9.8.1　R-CNN　280
9.8.2　FastR-CNN　281
9.8.3　FasterR-CNN　283
9.8.4　MaskR-CNN　284
小結(jié)　285
練習(xí)　285
9.9　語義分割和數(shù)據(jù)集　285
9.9.1　圖像分割和實例分割　285
9.9.2　PascalVOC2012語義分割數(shù)據(jù)集　286
小結(jié)　290
練習(xí)　290
9.10　全卷積網(wǎng)絡(luò)（FCN）　290
9.10.1　轉(zhuǎn)置卷積層　291
9.10.2　構(gòu)造模型　292
9.10.3　初始化轉(zhuǎn)置卷積層　294
9.10.4　讀取數(shù)據(jù)集　295
9.10.5　訓(xùn)練模型　296
9.10.6　預(yù)測像素類別　296
小結(jié)　297
練習(xí)　297
9.11　樣式遷移　298
9.11.1　方法　298
9.11.2　讀取內(nèi)容圖像和樣式圖像　299
9.11.3　預(yù)處理和后處理圖像　300
9.11.4　抽取特征　301
9.11.5　定義損失函數(shù)　302
9.11.6　創(chuàng)建和初始化合成圖像　303
9.11.7　訓(xùn)練模型　304
小結(jié)　306
練習(xí)　306