Tensor Flow入門(mén)與實(shí)戰(zhàn)

第1章　初識(shí)TensorFlow 1
1．1　TensorFlow特點(diǎn) 1
1．2　其他深度學(xué)習(xí)框架 3
1．2．1　Caffe 3
1．2．2　MXNet 3
1．2．3　Torch 4
1．2．4　Theano 4
1．2．5　CNTK 5
第2章　TensorFlow環(huán)境搭建 6
2．1　安裝環(huán)境介紹 6
2．1．1　CUDA簡(jiǎn)介 6
2．1．2　cuDNN簡(jiǎn)介 6
2．1．3　查看機(jī)器的GPU信息 7
2．2　安裝TensorFlow 8
2．2．1　安裝pip 9
2．2．2　通過(guò)pip安裝TensorFlow 9
2．2．3　源碼編譯安裝TensorFlow 10
2．3　NVIDIA驅(qū)動(dòng)安裝 11
2．4　安裝CUDA和cuDNN 12
2．4．1　Linux下安裝CUDA 12
2．4．2　Linux下安裝cuDNN 13
2．4．3　Windows和Mac系統(tǒng)下安裝CUDA 14
2．4．4　Windows和Mac系統(tǒng)下安裝cuDNN 14
2．5　安裝測(cè)試 15
第3章　TensorFlow基礎(chǔ) 16
3．1　基本概念 16
3．1．1　張量 16
3．1．2　圖 17
3．1．3　操作 18
3．1．4　會(huì)話 19
3．2　變量 24
3．2．1　變量的初始化 24
3．2．2　變量的變形 25
3．2．3　數(shù)據(jù)類(lèi)型和維度 26
3．2．4　共享變量和變量命名空間 27
3．3　模型的保存和載入 33
3．3．1　模型的保存 33
3．3．2　模型的載入 34
3．4　使用GPU 34
3．4．1　指定GPU設(shè)備 35
3．4．2　指定GPU顯存占用 36
3．5　數(shù)據(jù)讀取 36
3．5．1　使用placeholder填充方式讀取數(shù)據(jù) 37
3．5．2　從文件讀入數(shù)據(jù)的方式 37
3．5．3　預(yù)先讀入內(nèi)存的方式 48
3．6　利用TensorBoard進(jìn)行數(shù)據(jù)可視化 49
3．6．1　在TensorBoard中查看圖結(jié)構(gòu) 49
3．6．2　訓(xùn)練過(guò)程中單一數(shù)據(jù)變化趨勢(shì) 51
3．6．3　訓(xùn)練過(guò)程中數(shù)據(jù)分布可視化 53
3．6．4　其他使用技巧 56
第4章　深度神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 58
4．1　神經(jīng)元 58
4．2　簡(jiǎn)單神經(jīng)網(wǎng)絡(luò) 59
4．3　深度神經(jīng)網(wǎng)絡(luò) 62
4．4　損失函數(shù) 63
4．5　梯度下降 64
4．6　反向傳播 66
4．6．1　求導(dǎo)鏈?zhǔn)椒▌t 66
4．6．2　反向傳播算法思路 67
4．6．3　反向傳播算法的計(jì)算過(guò)程 68
4．7　優(yōu)化函數(shù) 72
4．7．1　隨機(jī)梯度下降優(yōu)化算法 72
4．7．2　基于沖量的優(yōu)化算法 73
4．7．3　Adagrad優(yōu)化算法 74
4．7．4　Adadelta優(yōu)化算法 75
4．7．5　Adam優(yōu)化算法 75
4．7．6　TensorFlow中的優(yōu)化算法API 76
4．8　一個(gè)簡(jiǎn)單的例子 77
第5章　卷積神經(jīng)網(wǎng)絡(luò) 83
5．1　簡(jiǎn)介 83
5．2　什么是卷積 84
5．3　卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 88
5．3．1　局部感知野 88
5．3．2　參數(shù)共享 89
5．3．3　多卷積核 91
5．3．4　池化 92
5．3．5　多層卷積 93
5．4　卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 94
5．4．1　池化層反向傳播 95
5．4．2　卷積層反向傳播 96
5．5　TensorFlow中的卷積神經(jīng)網(wǎng)絡(luò) 101
5．5．1　TensorFlow的卷積操作 101
5．5．2　TensorFlow的池化操作 103
5．6　用TensorFlow實(shí)現(xiàn)0和1數(shù)字識(shí)別 104
5．6．1　由圖片生成TFRecord文件 104
5．6．2　構(gòu)建卷積網(wǎng)絡(luò)結(jié)構(gòu) 106
5．6．3　訓(xùn)練過(guò)程 110
5．6．4　卷積過(guò)程數(shù)據(jù)的變化 114
5．7　幾種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò) 117
5．7．1　AlexNet 117
5．7．2　VGGNet 118
5．7．3　Inception Net 120
5．7．4　ResNet 121
第6章　循環(huán)神經(jīng)網(wǎng)絡(luò) 123
6．1　普通RNN 123
6．1．1　普通RNN結(jié)構(gòu) 123
6．1．2　普通RNN的不足 125
6．2　LSTM單元 126
6．2．1　LSTM單元基本結(jié)構(gòu) 127
6．2．2　增加peephole的LSTM單元 131
6．2．3　GRU單元 132
6．3　TensorFlow中的RNN 132
6．4　用LSTM+CTC實(shí)現(xiàn)語(yǔ)音識(shí)別 136
6．4．1　語(yǔ)音特征介紹 136
6．4．2　計(jì)算流程描述 137
6．4．3　TensorFlow實(shí)現(xiàn) 139
6．5　在NLP中的應(yīng)用 144
6．5．1　語(yǔ)言模型 144
6．5．2　詞向量 147
6．5．3　中文分詞 148
6．6　小結(jié) 159
第7章　TensorFlow分布式 160
7．1　單機(jī)多GPU訓(xùn)練 160
7．2　多機(jī)多GPU分布式訓(xùn)練 163
7．2．1　參數(shù)服務(wù)器 163
7．2．2　in-graph和between-graph
模式 164
7．2．3　同步更新和異步更新 165
7．2．4　異步更新分布式示例 165