深度學(xué)習(xí)案例精粹

第 1章 數(shù)據(jù)科學(xué)——鳥(niǎo)瞰全景 1
1．1　通過(guò)示例了解數(shù)據(jù)科學(xué)　2
1．2　設(shè)計(jì)數(shù)據(jù)科學(xué)算法的流程　7
1．2．1　數(shù)據(jù)預(yù)處理　8
1．2．2　特征選擇　8
1．2．3　模型選擇　9
1．2．4　學(xué)習(xí)過(guò)程　9
1．2．5　評(píng)估模型　9
1．3　開(kāi)始學(xué)習(xí)　10
1．4　實(shí)現(xiàn)魚(yú)類(lèi)識(shí)別/檢測(cè)模型　12
1．4．1　知識(shí)庫(kù)/數(shù)據(jù)集　12
1．4．2　數(shù)據(jù)分析預(yù)處理　14
1．4．3　搭建模型　17
1．5　不同學(xué)習(xí)類(lèi)型　22
1．5．1　監(jiān)督學(xué)習(xí)　22
1．5．2　無(wú)監(jiān)督學(xué)習(xí)　23
1．5．3　半監(jiān)督學(xué)習(xí)　24
1．5．4　強(qiáng)化學(xué)習(xí)　24
1．6　數(shù)據(jù)量和行業(yè)需求　25
1．7　總結(jié)　25
第　2章 數(shù)據(jù)建模實(shí)戰(zhàn)——“泰坦尼克號(hào)”示例　27
2．1　線(xiàn)性回歸模型　27
2．1．1　原因　28
2．1．2　廣告—— 一個(gè)財(cái)務(wù)方面的例子　28
2．2　線(xiàn)性分類(lèi)模型　36
2．3　“泰坦尼克號(hào)”示例——建立和訓(xùn)練模型　38
2．3．1　數(shù)據(jù)處理和可視化　39
2．3．2　數(shù)據(jù)分析——監(jiān)督機(jī)器學(xué)習(xí)　44
2．4　不同類(lèi)型的誤差解析　47
2．5　表現(xiàn)（訓(xùn)練集）誤差　47
2．6　泛化/真實(shí)誤差　48
2．7　總結(jié)　48
第3章　特征工程與模型復(fù)雜性——重溫“泰坦尼克號(hào)”示例　49
3．1　特征工程　49
3．1．1　特征工程的類(lèi)型　50
3．1．2　重溫“泰坦尼克號(hào)”示例　51
3．2　維度災(zāi)難　62
3．3　重溫“泰坦尼克號(hào)”示例——融會(huì)貫通　64
3．4　偏差-方差分解　78
3．5　學(xué)習(xí)可見(jiàn)性　80
3．6　總結(jié)　80
第4章　TensorFlow入門(mén)實(shí)戰(zhàn)　82
4．1　安裝TensorFlow　82
4．1．1　在Ubuntu 16．04系統(tǒng)上安裝GPU版的TensorFlow　83
4．1．2　在Ubuntu 16．04系統(tǒng)上安裝CPU版的TensorFlow　86
4．1．3　在Mac OS X上安裝CPU版的TensorFlow　88
4．1．4　在Windows系統(tǒng)上安裝CPU/GPU版的TensorFlow　88
4．2　TensorFlow運(yùn)行環(huán)境　89
4．3　計(jì)算圖　90
4．4　TensorFlow中的數(shù)據(jù)類(lèi)型、變量、占位符　91
4．4．1　變量　91
4．4．2　占位符　92
4．4．3　數(shù)學(xué)運(yùn)算　92
4．5　獲取TensorFlow的輸出　94
4．6　TensorBoard——可視化學(xué)習(xí)過(guò)程　95
4．7　總結(jié)　101
第5章　TensorFlow基礎(chǔ)示例實(shí)戰(zhàn)　102
5．1　神經(jīng)元的結(jié)構(gòu)　102
5．2　激活函數(shù)　104
5．2．1　sigmoid　105
5．2．2　tanh　105
5．2．3　ReLU　105
5．3　前饋神經(jīng)網(wǎng)絡(luò)　106
5．4　需要多層網(wǎng)絡(luò)的原因　107
5．4．1　訓(xùn)練MLP——反向傳播算法　108
5．4．2　前饋傳播　109
5．4．3　反向傳播和權(quán)值更新　110
5．5　TensorFlow術(shù)語(yǔ)回顧　110
5．5．1　使用Tensorflow定義多維數(shù)組　112
5．5．2　為什么使用張量　114
5．5．3　變量　115
5．5．4　占位符　116
5．5．5　操作　117
5．6　構(gòu)建與訓(xùn)練線(xiàn)性回歸模型　118
5．7　構(gòu)建與訓(xùn)練邏輯回歸模型　123
5．8　總結(jié)　130
第6章　深度前饋神經(jīng)網(wǎng)絡(luò)——實(shí)現(xiàn)數(shù)字分類(lèi)　131
6．1　隱藏單元與架構(gòu)設(shè)計(jì)　131
6．2　MNIST數(shù)據(jù)集分析　133
6．3　數(shù)字分類(lèi)——構(gòu)建與訓(xùn)練模型　135
6．3．1　分析數(shù)據(jù)　137
6．3．2　構(gòu)建模型　140
6．3．3　訓(xùn)練模型　144
6．4　總結(jié)　148
第7章　卷積神經(jīng)網(wǎng)絡(luò)　149
7．1　卷積運(yùn)算　149
7．2　動(dòng)機(jī)　152
7．3　CNN的不同層　153
7．3．1　輸入層　153
7．3．2　卷積步驟　154
7．3．3　引入非線(xiàn)性　155
7．3．4　池化步驟　156
7．3．5　全連接層　157
7．4　CNN基礎(chǔ)示例——MNIST手寫(xiě)數(shù)字分類(lèi)　159
7．4．1　構(gòu)建模型　162
7．4．2　訓(xùn)練模型　167
7．5　總結(jié)　174
第8章　目標(biāo)檢測(cè)——CIFAR-10示例　175
8．1　目標(biāo)檢測(cè)　175
8．2　CIFAR-10目標(biāo)圖像檢測(cè)——構(gòu)建與訓(xùn)練模型　176
8．2．1　使用軟件包　176
8．2．2　加載CIFAR-10數(shù)據(jù)集　177
8．2．3　數(shù)據(jù)分析與預(yù)處理　178
8．2．4　建立網(wǎng)絡(luò)　183
8．2．5　訓(xùn)練模型　186
8．2．6　測(cè)試模型　191
8．3　總結(jié)　195
第9章　目標(biāo)檢測(cè)——CNN遷移學(xué)習(xí)　196
9．1　遷移學(xué)習(xí)　196
9．1．1　遷移學(xué)習(xí)背后的直覺(jué)　197
9．1．2　傳統(tǒng)機(jī)器學(xué)習(xí)與遷移學(xué)習(xí)之間的不同　198
9．2　CIFAR-10目標(biāo)檢測(cè)——回顧　199
9．2．1　解決方案大綱　199
9．2．2　加載和探索CIFAR-10數(shù)據(jù)集　200
9．2．3　inception模型遷移值　204
9．2．4　遷移值分析　207
9．2．5　模型構(gòu)建與訓(xùn)練　211
9．3　總結(jié)　219
第　10章 循環(huán)神經(jīng)網(wǎng)絡(luò)——語(yǔ)言模型　220
10．1　RNN的直觀(guān)解釋　220
10．1．1　RNN的架構(gòu)　221
10．1．2　RNN的示例　222
10．1．3　梯度消失問(wèn)題　224
10．1．4　長(zhǎng)期依賴(lài)問(wèn)題　225
10．2　LSTM網(wǎng)絡(luò)　226
10．3　語(yǔ)言模型的實(shí)現(xiàn)　227
10．3．1　生成訓(xùn)練的最小批　230
10．3．2　構(gòu)建模型　232
10．3．3　訓(xùn)練模型　238
10．4　總結(jié)　243
第　11章 表示學(xué)習(xí)——實(shí)現(xiàn)詞嵌入　244
11．1　表示學(xué)習(xí)簡(jiǎn)介　244
11．2　Word2Vec　245
11．3　skip-gram架構(gòu)的一個(gè)實(shí)際例子　248
11．4　實(shí)現(xiàn)skip-gram Word2Vec　250
11．4．1　數(shù)據(jù)分析與預(yù)處理　251
11．4．2　構(gòu)建模型　257
11．4．3　訓(xùn)練模型　259
11．5　總結(jié)　264
第　12章 神經(jīng)網(wǎng)絡(luò)在情感分析中的應(yīng)用　265
12．1　常用的情感分析模型　265
12．1．1　RNN——情感分析背景　267
12．1．2　梯度爆炸與梯度消失——回顧　269
12．2　情感分析——模型實(shí)現(xiàn)　270
12．2．1　Keras　270
12．2．2　數(shù)據(jù)分析與預(yù)處理　271
12．2．3　構(gòu)建模型　282
12．2．4　模型訓(xùn)練和結(jié)果分析　284
12．3　總結(jié)　288
第　13章 自動(dòng)編碼器——特征提取和降噪　289
13．1　自動(dòng)編碼器簡(jiǎn)介　289
13．2　自動(dòng)編碼器的示例　290
13．3　自動(dòng)編碼器架構(gòu)　291
13．4　壓縮MNIST數(shù)據(jù)集　292
13．4．1　MNIST數(shù)據(jù)集　292
13．4．2　構(gòu)建模型　293
13．4．3　訓(xùn)練模型　295
13．5　卷積自動(dòng)編碼器　297
13．5．1　數(shù)據(jù)集　297
13．5．2　構(gòu)建模型　299
13．5．3　訓(xùn)練模型　301
13．6　降噪自動(dòng)編碼器　304
13．6．1　構(gòu)建模型　305
13．6．2　訓(xùn)練模型　307
13．7　自動(dòng)編碼器的應(yīng)用　310
13．7．1　圖像著色　310
13．7．2　更多的應(yīng)用　311
13．8　總結(jié)　311
第　14章 生成對(duì)抗網(wǎng)絡(luò)　312
14．1　直觀(guān)介紹　312
14．2　GAN的簡(jiǎn)單實(shí)現(xiàn)　313
14．2．1　模型輸入　315
14．2．2　變量作用域　316
14．2．3　Leaky ReLU　316
14．2．4　生成器　317
14．2．5　判別器　318
14．2．6　構(gòu)建GAN網(wǎng)絡(luò)　319
14．2．7　訓(xùn)練模型　322
14．2．8　從生成器中采樣　327
14．3　總結(jié)　328
第　15章 面部生成與標(biāo)簽缺失處理　329
15．1　面部生成　329
15．1．1　獲取數(shù)據(jù)　330
15．1．2　探討數(shù)據(jù)集　331
15．1．3　構(gòu)建模型　332
15．2　用生成對(duì)抗網(wǎng)絡(luò)進(jìn)行半監(jiān)督學(xué)習(xí)　340
15．2．1　直觀(guān)解釋　340
15．2．2　數(shù)據(jù)分析與預(yù)處理　341
15．2．3　構(gòu)建模型　345
15．3　總結(jié)　359
附錄A　實(shí)現(xiàn)魚(yú)類(lèi)識(shí)別　360