深度學習與TensorFlow實戰(zhàn)

前言?、?br />第1章　深度學習概述　1
1．1　人類的人工智能之夢　1
1．2　從遙想到實踐　3
1．3　三大人工智能學派　3
1．3．1　符號學派　3
1．3．2　行為學派　3
1．3．3　連接學派　4
1．4　連接學派中的神經(jīng)網(wǎng)絡(luò)　4
1．5　神經(jīng)網(wǎng)絡(luò)的“新稱謂”—深度學習　7
1．6　深度學習的生產(chǎn)力實現(xiàn)—
TensorFlow　8
1．6．1　TensorFlow之Tensor　9
1．6．2　TensorFlow之Flow　10
1．6．3　TensorFlow之簡單的
數(shù)據(jù)模型　11
1．7　TensorFlow項目介紹　13
1．8　TensorFlow工作環(huán)境的安裝和運行　14
1．8．1　Ubuntu環(huán)境下基于Virtualenv的
安裝方法　15
1．8．2　基于Mac OS的安裝方法　16
1．8．3　簡單運行一下TensorFlow　16
第2章　機器學習概述　18
2．1　什么是機器學習　18
2．1．1　機器學習的定義　18
2．1．2　任務(wù)　19
2．1．3　性能　20
2．1．4　經(jīng)驗　24
2．2　學習算法　24
2．2．1　表示　25
2．2．2　評價　25
2．2．3　優(yōu)化　27
2．3　以線性回歸為例　28
2．3．1　線性回歸的任務(wù)T　28
2．3．2　線性回歸的經(jīng)驗E　28
2．3．3　線性回歸的表示R　30
2．3．4　線性回歸的評價E　30
2．3．5　線性回歸的優(yōu)化O　31
2．3．6　小結(jié)　32
2．3．7　TensorFlow的完整運行腳本　33
2．4　本章小結(jié)　35
第3章　從生物神經(jīng)元到感知器　36
3．1　感知器的前身　36
3．1．1　生物神經(jīng)元　36
3．1．2　一個基礎(chǔ)的神經(jīng)元—
McCulloch-Pitts　Units　37
3．1．3　基于MCP神經(jīng)元實現(xiàn)
布爾邏輯　37
3．1．4　帶有權(quán)值的MCP神經(jīng)元　39
3．1．5　通過帶有權(quán)值的MCP神經(jīng)元對
空間進行線性劃分　40
3．2　感知器　41
3．2．1　感知器簡介　41
3．2．2　感知器的激活函數(shù)　42
3．3　使用感知器分類　43
3．3．1　感知器的二分類　43
3．3．2　經(jīng)驗E—Iris鳶尾花數(shù)據(jù)集　44
3．3．3　感知器的表示R　45
3．3．4　感知器的評價E　45
3．3．5　感知器的優(yōu)化O　46
3．3．6　實踐感知器　47
3．4　本章小結(jié)　49
第4章　人工神經(jīng)網(wǎng)絡(luò)　50
4．1　從感知器到多層感知器　50
4．1．1　再次回到MCP神經(jīng)元　50
4．1．2　帶有權(quán)值的MCP神經(jīng)元—
感知器　57
4．1．3　兩層感知器形成“凸域”問題　61
4．1．4　非凸域優(yōu)化　64
4．2　反向傳播神經(jīng)網(wǎng)絡(luò)　65
4．2．1　一個生動的比喻　65
4．2．2　計算圖基礎(chǔ)—前向傳播　66
4．2．3　計算圖—帶有參數(shù)w、b的
前向傳播　68
4．2．4　計算圖—帶有參數(shù)w、b的
反向傳播　69
4．3　使用人工神經(jīng)網(wǎng)絡(luò)對mnist數(shù)據(jù)進行
分類　71
4．4　本章小結(jié)　73
第5章　Logistic回歸與Softmax回歸　74
5．1　信息論　74
5．1．1　編碼　74
5．1．2　編碼效率　74
5．1．3　編碼代價　75
5．1．4　最優(yōu)編碼　77
5．1．5　信息量和熵　78
5．1．6　交叉熵　80
5．2　Logistic回歸　81
5．2．1　線性回歸回顧　81
5．2．2　Logistic回歸回顧　84
5．2．3　Logistic人工神經(jīng)網(wǎng)絡(luò)稀疏化
表征　87
5．2．4　sigmoid激活函數(shù)與信息熵　90
5．2．5　最大熵模型　91
5．3　Softmax回歸　96
5．3．1　從Logistic回歸到Softmax
回歸　96
5．3．2　Softmax回歸的參數(shù)冗余　96
5．3．3　Softmax回歸與Logistic回歸的
關(guān)系　97
5．3．4　Softmax回歸與k個二元
分類器　98
5．4　本章小結(jié)　98
第6章　卷積神經(jīng)網(wǎng)絡(luò)　99
6．1　感知器模式識別　99
6．1．1　通過感知器識別一幅簡單的
圖像　99
6．1．2　感知器的魯棒性　101
6．1．3　生物視神經(jīng)與感受野　103
6．1．4　Minsky感知器與
局部感受野　105
6．1．5　從魯賓杯角度理解
局部感受野　108
6．1．6　單個感知器模式識別的
局限性　110
6．1．7　多層感知器的模式識別　112
6．2　卷積操作　116
6．2．1　卷積的數(shù)學定義　116
6．2．2　局部感受野與卷積　116
6．2．3　卷積操作的用途　118
6．3　卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)　119
6．3．1　卷積操作中局部感受野的
跨度　120
6．3．2　白邊　122
6．3．3　池化操作　123
6．3．4　卷積神經(jīng)網(wǎng)絡(luò)的層級結(jié)構(gòu)　124
6．3．5　通過卷積神經(jīng)網(wǎng)絡(luò)處理彩色
圖像的模型　126
6．4　使用TensorFlow實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的
小例子　129
6．5　本章小結(jié)　131
第7章　循環(huán)神經(jīng)網(wǎng)絡(luò)　132
7．1　循環(huán)神經(jīng)網(wǎng)絡(luò)：一種循環(huán)的人工
神經(jīng)網(wǎng)絡(luò)　132
7．1．1　回到黑箱模型　132
7．1．2　時間序列性　134
7．2　有限狀態(tài)機　135
7．2．1　有限狀態(tài)機的布爾邏輯　135
7．2．2　有限狀態(tài)機的結(jié)構(gòu)　136
7．3　從MCP神經(jīng)網(wǎng)絡(luò)到循環(huán)神經(jīng)網(wǎng)絡(luò)　138
7．3．1　MCP神經(jīng)網(wǎng)絡(luò)與有限
狀態(tài)機的等效性　138
7．3．2　前饋神經(jīng)網(wǎng)絡(luò)與MCP
神經(jīng)網(wǎng)絡(luò)的等效性　140
7．3．3　循環(huán)神經(jīng)網(wǎng)絡(luò)與前饋
神經(jīng)網(wǎng)絡(luò)的等效性　142
7．3．4　循環(huán)神經(jīng)網(wǎng)絡(luò)的描述　145
7．3．5　循環(huán)神經(jīng)網(wǎng)絡(luò)的參數(shù)學習—
BPTT　147
7．4　本章小結(jié)　151
第8章　LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)　152
8．1　梯度彌散現(xiàn)象　152
8．1．1　梯度彌散的緣由　152
8．1．2　梯度彌散帶來的“健忘”　155
8．2　長短期記憶網(wǎng)絡(luò)　157
8．2．1　LSTM的結(jié)構(gòu)　157
8．2．2　LSTM單元如何緩解
梯度彌散　161
8．3　通過TensorFlow實現(xiàn)一個
簡單的LSTM　162
8．4　本章小結(jié)　165
第9章　深入TensorFlow　166
9．1　機器學習框架回顧　166
9．2　計算圖　167
9．2．1　計算圖的前饋計算　167
9．2．2　計算圖的反饋計算　168
9．3　神經(jīng)網(wǎng)絡(luò)與計算圖　170
9．3．1　神經(jīng)網(wǎng)絡(luò)與計算圖的轉(zhuǎn)換　170
9．3．2　神經(jīng)網(wǎng)絡(luò)計算圖的前饋計算與
反饋計算　172
9．4　TensorFlow中的數(shù)據(jù)流圖　176
9．4．1　張量　176
9．4．2　操作　177
9．4．3　變量和占位符　178
9．4．4　三段式編程　179
9．4．5　會話　180
9．5　使用GPU　183
9．5．1　單機CPU+GPU　183
9．5．2　單機CPU+多GPU　184
9．5．3　分布式計算　185
9．6　數(shù)據(jù)可視化工具TensorBoard　188
9．6．1　生成靜態(tài)計算圖　188
9．6．2　統(tǒng)計動態(tài)數(shù)據(jù)流　190
9．6．3　使用TensorBoard實現(xiàn)訓練
可視化　190
9．7　本章小結(jié)　193
第10章　TensorFlow案例實踐　194
10．1　構(gòu)建TensorFlow的圖片分類系統(tǒng)　194
10．2　準備代碼和訓練集　195
10．3　構(gòu)造模型計算圖　199
10．4　訓練模型　207
10．5　評估模型的性能　210
10．6　多GPU訓練　213
10．7　本章小結(jié)　218