深度學(xué)習(xí)原理與TensorFlow實(shí)踐

1 深度學(xué)習(xí)簡(jiǎn)介 1
1.1 深度學(xué)習(xí)介紹 1
1.2 深度學(xué)習(xí)的趨勢(shì) 7
1.3 參考資料 10
2 TensorFlow系統(tǒng)介紹 12
2.1 TensorFlow誕生的動(dòng)機(jī) 12
2.2 TensorFlow系統(tǒng)簡(jiǎn)介 14
2.3 TensorFlow基礎(chǔ)概念 16
2.3.1 計(jì)算圖 16
2.3.2 Session會(huì)話 18
2.4 系統(tǒng)架構(gòu) 19
2.5 源碼結(jié)構(gòu) 21
2.5.1 后端執(zhí)行引擎 22
2.5.2 前端語言接口 24
2.6 小結(jié) 24
2.7 參考資料 25
3 Hello TensorFlow 26
3.1 環(huán)境準(zhǔn)備 26
3.1.1 Mac OS安裝 27
3.1.2 Linux GPU服務(wù)器安裝 28
3.1.3 常用Python庫 32
3.2 Titanic題目實(shí)戰(zhàn) 34
3.2.1 Kaggle平臺(tái)介紹 34
3.2.2 Titanic題目介紹 35
3.2.3 數(shù)據(jù)讀入及預(yù)處理 38
3.2.4 構(gòu)建計(jì)算圖 40
3.2.5 構(gòu)建訓(xùn)練迭代過程 44
3.2.6 執(zhí)行訓(xùn)練 46
3.2.7 存儲(chǔ)和加載模型參數(shù) 47
3.2.8 預(yù)測(cè)測(cè)試數(shù)據(jù)結(jié)果 50
3.3 數(shù)據(jù)挖掘的技巧 51
3.3.1 數(shù)據(jù)可視化 52
3.3.2 特征工程 54
3.3.3 多種算法模型 57
3.4 TensorBoard可視化 58
3.4.1 記錄事件數(shù)據(jù) 58
3.4.2 啟動(dòng)TensorBorad服務(wù) 60
3.5 數(shù)據(jù)讀取 62
3.5.1 數(shù)據(jù)文件格式 63
3.5.2 TFRecord 63
3.6 SkFlow、TFLearn與TF-Slim 67
3.7 小結(jié) 69
3.8 參考資料 69
4 CNN“看懂”世界 71
4.1 圖像識(shí)別的難題 72
4.2 CNNs的基本原理 74
4.2.1 卷積的數(shù)學(xué)意義 75
4.2.2 卷積濾波 77
4.2.3 CNNs中的卷積層 81
4.2.4 池化（Pooling） 83
4.2.5 ReLU 84
4.2.6 多層卷積 86
4.2.7 Dropout 86
4.3 經(jīng)典CNN模型 87
4.3.1 AlexNet 88
4.3.2 VGGNets 95
4.3.3 GoogLeNet & Inception 98
4.3.4 ResNets 106
4.4 圖像風(fēng)格轉(zhuǎn)換 109
4.4.1 量化的風(fēng)格 109
4.4.2 風(fēng)格的濾鏡 116
4.5 小結(jié) 120
4.6 參考資料 121
5 RNN“能說會(huì)道” 123
5.1 文本理解和文本生成問題 124
5.2 標(biāo)準(zhǔn)RNN模型 128
5.2.1 RNN模型介紹 128
5.2.2 BPTT算法 130
5.2.3 靈活的RNN結(jié)構(gòu) 132
5.2.4 TensorFlow實(shí)現(xiàn)正弦序列預(yù)測(cè) 135
5.3 LSTM模型 138
5.3.1 長期依賴的難題 138
5.3.2 LSTM基本原理 139
5.3.3 TensorFlow構(gòu)建LSTM模型 142
5.4 更多RNN的變體 144
5.5 語言模型 146
5.5.1 NGram語言模型 146
5.5.2 神經(jīng)網(wǎng)絡(luò)語言模型 148
5.5.3 循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型 150
5.5.4 語言模型也能寫代碼 152
5.5.5 改進(jìn)方向 163
5.6 對(duì)話機(jī)器人 164
5.6.1 對(duì)話機(jī)器人的發(fā)展 165
5.6.2 基于seq2seq的對(duì)話機(jī)器人 169
5.7 小結(jié) 181
5.8 參考資料 182
6 CNN+LSTM看圖說話 183
6.1 CNN+LSTM網(wǎng)絡(luò)模型與圖像檢測(cè)問題 184
6.1.1 OverFeat和Faster R-CNN圖像檢測(cè)算法介紹 185
6.1.2 遮擋目標(biāo)圖像檢測(cè)方法 187
6.1.3 ReInspect算法實(shí)現(xiàn)及模塊說明 188
6.1.4 ReInspect算法的實(shí)驗(yàn)數(shù)據(jù)與結(jié)論 204
6.2 CNN+LSTM網(wǎng)絡(luò)模型與圖像摘要問題 207
6.2.1 圖像摘要問題 208
6.2.2 NIC圖像摘要生成算法 209
6.2.3 NIC圖像摘要生成算法實(shí)現(xiàn)說明 214
6.2.4 NIC算法的實(shí)驗(yàn)數(shù)據(jù)與結(jié)論 243
6.3 小結(jié) 249
6.4 參考資料 250
7 損失函數(shù)與優(yōu)化算法 253
7.1 目標(biāo)函數(shù)優(yōu)化策略 254
7.1.1 梯度下降算法 254
7.1.2 RMSProp優(yōu)化算法 256
7.1.3 Adam優(yōu)化算法 257
7.1.4 目標(biāo)函數(shù)優(yōu)化算法小結(jié) 258
7.2 類別采樣（Candidate Sampling）損失函數(shù) 259
7.2.1 softmax類別采樣損失函數(shù) 261
7.2.2 噪聲對(duì)比估計(jì)類別采樣損失函數(shù) 281
7.2.3 負(fù)樣本估計(jì)類別采樣損失函數(shù) 286
7.2.4 類別采樣logistic損失函數(shù) 286
7.3 小結(jié) 287
7.4 參考資料 288
結(jié)語 289