深度學(xué)習(xí)：一起玩轉(zhuǎn)TensorLayer

1 深度學(xué)習(xí)簡介1
1.1 人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí) 1
1.1.1 引言 1
1.1.2 人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)三者的關(guān)系 2
1.2 神經(jīng)網(wǎng)絡(luò) 3
1.2.1 感知器 3
1.2.2 激活函數(shù) 5
1.2.3 損失函數(shù) 8
1.2.4 梯度下降和隨機(jī)梯度下降 8
1.2.5 反向傳播算法簡述 11
1.2.6 其他神經(jīng)網(wǎng)絡(luò) 12
1.3 學(xué)習(xí)方法建議 13
1.3.1 網(wǎng)絡(luò)資源 13
1.3.2 TensorFlow 官方深度學(xué)習(xí)教程 14
1.3.3 開源社區(qū) 15
1.4 TensorLayer 15
1.4.1 深度學(xué)習(xí)框架概況 15
1.4.2 TensorLayer 概括 16
1.4.3 實(shí)驗(yàn)環(huán)境配置 17
2 多層感知器19
2.1 McCulloch-Pitts 神經(jīng)元模型 19
2.1.1 人工神經(jīng)網(wǎng)絡(luò)到底能干什么？到底在干什么 21
2.1.2 什么是激活函數(shù)？什么是偏值 22
2.2 感知器 23
2.2.1 什么是線性分類器 24
2.2.2 線性分類器有什么優(yōu)缺點(diǎn) 26
2.2.3 感知器實(shí)例和異或問題（XOR 問題） 26
2.3 多層感知器 30
2.4 實(shí)現(xiàn)手寫數(shù)字分類 32
2.5 過擬合 40
2.5.1 什么是過擬合 40
2.5.2 Dropout 41
2.5.3 批規(guī)范化 42
2.5.4 L1、L2 和其他正則化方法 42
2.5.5 Lp 正則化的圖形化解釋 44
2.6 再實(shí)現(xiàn)手寫數(shù)字分類 46
2.6.1 數(shù)據(jù)迭代器 46
2.6.2 通過all_drop 啟動(dòng)與關(guān)閉Dropout 47
2.6.3 通過參數(shù)共享實(shí)現(xiàn)訓(xùn)練測試切換 50
3 自編碼器54
3.1 稀疏性 54
3.2 稀疏自編碼器 56
3.3 實(shí)現(xiàn)手寫數(shù)字特征提取 59
3.4 降噪自編碼器 65
3.5 再實(shí)現(xiàn)手寫數(shù)字特征提取 68
3.6 堆棧式自編碼器及其實(shí)現(xiàn) 72
4 卷積神經(jīng)網(wǎng)絡(luò)80
4.1 卷積原理 80
4.1.1 卷積操作 81
4.1.2 張量 84
4.1.3 卷積層 85
4.1.4 池化層 87
4.1.5 全連接層 89
4.2 經(jīng)典任務(wù) 90
4.2.1 圖像分類 90
4.2.2 目標(biāo)檢測 91
4.2.3 語義分割 94
4.2.4 實(shí)例分割 94
4.3 經(jīng)典卷積網(wǎng)絡(luò) 95
4.3.1 LeNet 95
4.3.2 AlexNet 96
4.3.3 VGGNet 96
4.3.4 GoogLeNet 98
4.3.5 ResNet 99
4.4 實(shí)現(xiàn)手寫數(shù)字分類 100
4.5 數(shù)據(jù)增強(qiáng)與規(guī)范化 104
4.5.1 數(shù)據(jù)增強(qiáng) 104
4.5.2 批規(guī)范化 106
4.5.3 局部響應(yīng)歸一化 107
4.6 實(shí)現(xiàn)CIFAR10 分類 108
4.6.1 方法1：tl.prepro 做數(shù)據(jù)增強(qiáng) 108
4.6.2 方法2：TFRecord 做數(shù)據(jù)增強(qiáng) 114
4.7 反卷積神經(jīng)網(wǎng)絡(luò) 120
5 詞的向量表達(dá)121
5.1 目的與原理 121
5.2 Word2Vec 124
5.2.1 簡介 124
5.2.2 Continuous Bag-Of-Words（CBOW）模型 124
5.2.3 Skip Gram（SG）模型 129
5.2.4 Hierarchical Softmax 132
5.2.5 Negative Sampling 135
5.3 實(shí)現(xiàn)Word2Vec 136
5.3.1 簡介 136
5.3.2 實(shí)現(xiàn) 136
5.4 重載預(yù)訓(xùn)練矩陣 144
6 遞歸神經(jīng)網(wǎng)絡(luò)148
6.1 為什么需要它 148
6.2 不同的RNNs 151
6.2.1 簡單遞歸網(wǎng)絡(luò) 151
6.2.2 回音網(wǎng)絡(luò) 152
6.3 長短期記憶 153
6.3.1 LSTM 概括 153
6.3.2 LSTM 詳解 157
6.3.3 LSTM 變種 159
6.4 實(shí)現(xiàn)生成句子 160
6.4.1 模型簡介 160
6.4.2 數(shù)據(jù)迭代 163
6.4.3 損失函數(shù)和更新公式 164
6.4.4 生成句子及Top K 采樣 167
6.4.5 接下來還可以做什么 169
7 深度增強(qiáng)學(xué)習(xí)171
7.1 增強(qiáng)學(xué)習(xí) 172
7.1.1 概述 172
7.1.2 基于價(jià)值的增強(qiáng)學(xué)習(xí) 173
7.1.3 基于策略的增強(qiáng)學(xué)習(xí) 176
7.1.4 基于模型的增強(qiáng)學(xué)習(xí) 177
7.2 深度增強(qiáng)學(xué)習(xí) 179
7.2.1 深度Q 學(xué)習(xí) 179
7.2.2 深度策略網(wǎng)絡(luò) 181
7.3 更多參考資料 187
7.3.1 書籍 187
7.3.2 在線課程 187
8 生成對(duì)抗網(wǎng)絡(luò)188
8.1 何為生成對(duì)抗網(wǎng)絡(luò) 189
8.2 深度卷積對(duì)抗生成網(wǎng)絡(luò) 190
8.3 實(shí)現(xiàn)人臉生成 191
8.4 還能做什么 198
9 高級(jí)實(shí)現(xiàn)技巧202
9.1 與其他框架對(duì)接 202
9.1.1 無參數(shù)層 203
9.1.2 有參數(shù)層 203
9.2 自定義層 204
9.2.1 無參數(shù)層 204
9.2.2 有參數(shù)層 205
9.3 建立詞匯表 207
9.4 補(bǔ)零與序列長度 209
9.5 動(dòng)態(tài)遞歸神經(jīng)網(wǎng)絡(luò) 210
9.6 實(shí)用小技巧 211
9.6.1 屏蔽顯示 211
9.6.2 參數(shù)名字前綴 212
9.6.3 獲取特定參數(shù) 213
9.6.4 獲取特定層輸出 213
10 實(shí)例一：使用預(yù)訓(xùn)練卷積網(wǎng)絡(luò)214
10.1 高維特征表達(dá) 214
10.2 VGG 網(wǎng)絡(luò) 215
10.3 連接TF-Slim 221
11 實(shí)例二：圖像語義分割及其醫(yī)學(xué)圖像應(yīng)用225
11.1 圖像語義分割概述 225
11.1.1 傳統(tǒng)圖像分割算法簡介 227
11.1.2 損失函數(shù)與評(píng)估指標(biāo) 229
11.2 醫(yī)學(xué)圖像分割概述 230
11.3 全卷積神經(jīng)網(wǎng)絡(luò)和U-Net 網(wǎng)絡(luò)結(jié)構(gòu) 232
11.4 醫(yī)學(xué)圖像應(yīng)用：實(shí)現(xiàn)腦部腫瘤分割 234
11.4.1 數(shù)據(jù)與數(shù)據(jù)增強(qiáng) 235
11.4.2 U-Net 網(wǎng)絡(luò) 238
11.4.3 損失函數(shù) 239
11.4.4 開始訓(xùn)練 241
12 實(shí)例三：由文本生成圖像244
12.1 條件生成對(duì)抗網(wǎng)絡(luò)之GAN-CLS 245
12.2 實(shí)現(xiàn)句子生成花朵圖片 246
13 實(shí)例四：超高分辨率復(fù)原260
13.1 什么是超高分辨率復(fù)原 260
13.2 網(wǎng)絡(luò)結(jié)構(gòu) 261
13.3 聯(lián)合損失函數(shù) 264
13.4 訓(xùn)練網(wǎng)絡(luò) 269
13.5 使用測試 277
14 實(shí)例五：文本反垃圾280
14.1 任務(wù)場景 280
14.2 網(wǎng)絡(luò)結(jié)構(gòu) 281
14.3 詞的向量表示 282
14.4 Dynamic RNN 分類器 283
14.5 訓(xùn)練網(wǎng)絡(luò) 284
14.5.1 訓(xùn)練詞向量 284
14.5.2 文本的表示 290
14.5.3 訓(xùn)練分類器 291
14.5.4 模型導(dǎo)出 296
14.6 TensorFlow Serving 部署 299
14.7 客戶端調(diào)用 301
14.8 其他常用方法 306
中英對(duì)照表及其縮寫309
參考文獻(xiàn)316