TensorFlow與卷積神經(jīng)網(wǎng)絡(luò)從算法入門到項(xiàng)目實(shí)戰(zhàn)

目錄

第一篇 TensorFlow基礎(chǔ)篇
第1章 緒論\t2
1．1 人工智能簡(jiǎn)介\t2
1．2 卷積神經(jīng)網(wǎng)絡(luò)\t3
1．3 搭建TensorFlow框架環(huán)境\t5
1．3．1 安裝Anaconda\t5
1．3．2 安裝TensorFlow\t7
第2章 TensorFlow基礎(chǔ)入門\t9
2．1 第一個(gè)TensorFlow程序\t9
2．1．1 TensorFlow中的hello world\t9
2．1．2 TensorFlow中的圖\t11
2．1．3 靜態(tài)圖與動(dòng)態(tài)圖\t14
2．2 初識(shí)Session\t15
2．2．1 將Session對(duì)象關(guān)聯(lián)Graph對(duì)象\t15
2．2．2 Session參數(shù)配置\t17
2．3 常量與變量\t18
2．3．1 TensorFlow中的常量\t18
2．3．2 TensorFlow中的變量\t20
2．3．3 TensorFlow中的tf．placeholder\t28
2．4 Tensor對(duì)象\t29
2．4．1 什么是Tensor對(duì)象\t29
2．4．2 Python對(duì)象轉(zhuǎn)Tensor對(duì)象\t31
2．4．3 Tensor對(duì)象轉(zhuǎn)Python對(duì)象\t32
2．4．4 SparseTensor對(duì)象\t34
2．4．5 強(qiáng)制轉(zhuǎn)換Tensor對(duì)象數(shù)據(jù)類型\t35
2．5 Operation對(duì)象\t37
2．5．1 什么是Operation對(duì)象\t37
2．5．2 獲取并執(zhí)行Operation對(duì)象\t37
2．6 TensorFlow流程控制\t40
2．6．1 條件判斷tf．cond與tf．where\t40
2．6．2 TensorFlow比較判斷\t43
2．6．3 TensorFlow邏輯運(yùn)算\t44
2．6．4 循環(huán)tf．while_loop\t45
2．7 TensorFlow位運(yùn)算\t48
2．7．1 且位運(yùn)算\t48
2．7．2 或位運(yùn)算\t49
2．7．3 異或位運(yùn)算\t50
2．7．4 取反位運(yùn)算\t51
2．8 TensorFlow字符串\t52
2．8．1 字符串的定義與轉(zhuǎn)換\t53
2．8．2 字符串拆分\t55
2．8．3 字符串拼接\t56
第3章 高維Tensor對(duì)象的工具函數(shù)\t58
3．1 重定義Shape\t58
3．1．1 Reshape原理\t58
3．1．2 函數(shù)tf．reshape\t59
3．1．3 使用Python實(shí)現(xiàn)Reshape\t60
3．2 維度交換函數(shù)\t62
3．2．1 Transpose原理\t62
3．2．2 函數(shù)tf．transpose\t63
3．2．3 使用Python實(shí)現(xiàn)Transpose\t64
3．3 維度擴(kuò)充與消除\t65
3．3．1 函數(shù)tf．expand_dims\t65
3．3．2 函數(shù)tf．squeeze\t66
3．4 Tensor對(duì)象裁剪\t68
3．4．1 Tensor對(duì)象裁剪原理\t68
3．4．2 函數(shù)tf．slice\t69
3．5 Tensor對(duì)象拼接\t70
3．5．1 Tensor對(duì)象拼接原理\t70
3．5．2 函數(shù)tf．concat使用\t71
3．6 tf．stack與tf．unstack\t72
3．6．1 函數(shù)tf．stack的原理\t72
3．6．2 函數(shù)tf．stack的使用\t73
3．6．3 函數(shù)tf．unstack的使用\t76
3．7 tf．a(chǎn)rgmax與tf．a(chǎn)rgmin\t79
3．7．1 函數(shù)tf．a(chǎn)rgmax與tf．a(chǎn)rgmin的原理\t79
3．7．2 函數(shù)tf．a(chǎn)rgmax與tf．a(chǎn)rgmin的使用\t79
第二篇 卷積神經(jīng)網(wǎng)絡(luò)篇
第4章 前饋網(wǎng)絡(luò)\t83
4．1 卷積\t83
4．1．1 卷積的原理\t83
4．1．2 輸出寬高與輸入、Stride、卷積核及Padding之間的關(guān)系\t90
4．1．3 空洞卷積\t92
4．1．4 在TensorFlow中使用卷積\t93
4．1．5 用Python語(yǔ)言實(shí)現(xiàn)卷積算法\t95
4．2 反卷積\t97
4．2．1 反卷積的原理\t97
4．2．2 輸出寬高與輸入、Stride、反卷積核及Padding之間的關(guān)系\t103
4．2．3 在TensorFlow中使用反卷積\t105
4．2．4 用Python語(yǔ)言實(shí)現(xiàn)反卷積算法\t110
4．3 Batch Normalization\t113
4．3．1 Batch Normalization的原理\t113
4．3．2 在TensorFlow中使用Batch Normalization\t114
4．3．3 用Python語(yǔ)言實(shí)現(xiàn)Batch Normalization\t122
4．3．4 在TensorFlow中使用Batch Normalization時(shí)的注意事項(xiàng)\t123
4．4 Instance Normalization\t125
4．4．1 Instance Normalization的原理\t125
4．4．2 在TensorFlow中使用Instance Normalization\t126
4．4．3 用Python語(yǔ)言實(shí)現(xiàn)Instance Normalization\t130
4．5 全連接層\t132
4．5．1 全連接層的原理\t132
4．5．2 在TensorFlow中使用全連接層\t133
4．5．3 用Python語(yǔ)言實(shí)現(xiàn)全連接層\t134
4．6 激活函數(shù)\t135
4．6．1 激活函數(shù)的作用\t135
4．6．2 Sigmoid函數(shù)\t136
4．6．3 Tanh函數(shù)\t138
4．6．4 ReLU函數(shù)\t140
4．7 池化層\t142
4．7．1 池化層的原理\t142
4．7．2 在TensorFlow中使用池化層\t146
4．7．3 用Python語(yǔ)言實(shí)現(xiàn)池化層\t150
4．8 Dropout\t153
4．8．1 Dropout的作用\t153
4．8．2 在TensorFlow中使用Dropout\t154
第5章 常見(jiàn)網(wǎng)絡(luò)\t156
5．1 移動(dòng)端定制卷積神經(jīng)網(wǎng)絡(luò)――MobileNet\t156
5．1．1 MobileNet的原理與優(yōu)勢(shì)\t156
5．1．2 在TensorFlow中實(shí)現(xiàn)MobileNet卷積\t158
5．1．3 用Python語(yǔ)言實(shí)現(xiàn)Depthwise卷積\t164
5．1．4 MobileNet完整的網(wǎng)絡(luò)結(jié)構(gòu)\t167
5．1．5 MobileNet V2進(jìn)一步裁剪加速\t168
5．2 深度殘差網(wǎng)絡(luò)――ResNet\t171
5．2．1 ResNet的結(jié)構(gòu)與優(yōu)勢(shì)\t171
5．2．2 在TensorFlow中實(shí)現(xiàn)ResNet\t172
5．2．3 完整的ResNet網(wǎng)絡(luò)結(jié)構(gòu)\t175
5．3 DenseNet\t176
5．3．1 DenseNet的結(jié)構(gòu)與優(yōu)勢(shì)\t176
5．3．2 在TensorFlow中實(shí)現(xiàn)DenseNet\t177
5．3．3 完整的DenseNet網(wǎng)絡(luò)結(jié)構(gòu)\t180
第三篇 TensorFlow進(jìn)階篇
第6章 TensorFlow數(shù)據(jù)存取\t183
6．1 隊(duì)列\(zhòng)t183
6．1．1 構(gòu)建隊(duì)列\(zhòng)t183
6．1．2 Queue、QueueRunner及Coordinator\t190
6．1．3 在隊(duì)列中批量讀取數(shù)據(jù)\t194
6．2 文件存取\t200
6．2．1 讀取文本文件\t200
6．2．2 讀取定長(zhǎng)字節(jié)文件\t202
6．2．3 讀取圖片\t205
6．3 從CSV文件中讀取訓(xùn)練集\t207
6．3．1 解析CSV格式文件\t207
6．3．2 封裝CSV文件讀取類\t209
6．4 從自定義文本格式文件中讀取訓(xùn)練集\t210
6．4．1 解析自定義文本格式文件\t211
6．4．2 封裝自定義文本格式文件讀取類\t212
6．5 TFRecord方式存取數(shù)據(jù)\t213
6．5．1 將數(shù)據(jù)寫(xiě)入TFRecord文件\t214
6．5．2 從TFRecord文件中讀取數(shù)據(jù)\t215
6．6 模型存取\t217
6．6．1 存儲(chǔ)模型\t217
6．6．2 從checkpoint文件中加載模型\t220
6．6．3 從meta文件中加載模型\t222
6．6．4 將模型導(dǎo)出為單個(gè)pb文件\t223
第7章 TensorFlow數(shù)據(jù)預(yù)處理\t226
7．1 隨機(jī)光照變化\t226
7．1．1 隨機(jī)飽和度變化\t226
7．1．2 隨機(jī)色相變化\t228
7．1．3 隨機(jī)對(duì)比度變化\t230
7．1．4 隨機(jī)亮度變化\t232
7．1．5 隨機(jī)伽瑪變化\t234
7．2 翻轉(zhuǎn)、轉(zhuǎn)置與旋轉(zhuǎn)\t237
7．2．1 隨機(jī)上下、左右翻轉(zhuǎn)\t237
7．2．2 隨機(jī)圖像轉(zhuǎn)置\t239
7．2．3 隨機(jī)旋轉(zhuǎn)\t241
7．3 裁剪與Resize\t245
7．3．1 圖像裁剪\t245
7．3．2 圖像Resize\t249
7．3．3 其他Resize函數(shù)\t254
7．4 用OpenCV對(duì)圖像進(jìn)行動(dòng)態(tài)預(yù)處理\t256
7．4．1 靜態(tài)預(yù)處理與動(dòng)態(tài)預(yù)處理\t256
7．4．2 在TensorFlow中調(diào)用OpenCV\t257
第8章 TensorFlow模型訓(xùn)練\t260
8．1 反向傳播中的優(yōu)化器與學(xué)習(xí)率\t260
8．1．1 Global Step與Epoch\t260
8．1．2 梯度理論\t260
8．1．3 使用學(xué)習(xí)率與梯度下降法求最優(yōu)值\t262
8．1．4 TensorFlow中的優(yōu)化器\t265
8．1．5 優(yōu)化器中常用的函數(shù)\t265
8．1．6 在TensorFlow中動(dòng)態(tài)調(diào)整學(xué)習(xí)率\t269
8．2 模型數(shù)據(jù)與參數(shù)名稱映射\t273
8．2．1 通過(guò)名稱映射加載\t273
8．2．2 以pickle文件為中介加載模型\t275
8．3 凍結(jié)指定參數(shù)\t277
8．3．1 從模型中加載部分參數(shù)\t277
8．3．2 指定網(wǎng)絡(luò)層參數(shù)不參與更新\t278
8．3．3 兩個(gè)學(xué)習(xí)率同時(shí)訓(xùn)練\t280
8．4 TensorFlow中的命名空間\t282
8．4．1 使用tf．variable_scope添加名稱前綴\t282
8．4．2 使用tf．name_scope添加名稱前綴\t284
8．4．3 tf．variable_scope與tf．name_scope的混合使用\t285
8．5 TensorFlow多GPU訓(xùn)練\t286
8．5．1 多GPU訓(xùn)練讀取數(shù)據(jù)\t286
8．5．2 平均梯度與參數(shù)更新\t289
第9章 TensorBoard可視化工具\(yùn)t293
9．1 可視化靜態(tài)圖\t293
9．1．1 圖結(jié)構(gòu)系列化并寫(xiě)入文件\t293
9．1．2 啟動(dòng)TensorBoard\t294
9．2 圖像顯示\t296
9．2．1 系列化圖像Tensor并寫(xiě)入文件\t296
9．2．2 用TensorBoard查看圖像\t299
9．3 標(biāo)量曲線\t301
9．3．1 系列化標(biāo)量Tensor并寫(xiě)入文件\t301
9．3．2 用TensorBoard查看標(biāo)量曲線\t302
9．4 參數(shù)直方圖\t303
9．4．1 系列化參數(shù)Tensor并寫(xiě)入文件\t303
9．4．2 用TensorBoard查看參數(shù)直方圖\t304
9．5 文本顯示\t306
9．5．1 系列化文本Tensor并寫(xiě)入文件\t306
9．5．2 用TensorBoard查看文本\t307
第四篇 卷積神經(jīng)網(wǎng)絡(luò)實(shí)戰(zhàn)篇
第10章 中文手寫(xiě)字識(shí)別\t310
10．1 網(wǎng)絡(luò)結(jié)構(gòu)及數(shù)據(jù)集\t310
10．1．1 網(wǎng)絡(luò)結(jié)構(gòu)\t310
10．1．2 數(shù)據(jù)集\t311
10．2 代碼實(shí)現(xiàn)\t312
10．2．1 封裝通用網(wǎng)絡(luò)層\t312
10．2．2 定義網(wǎng)絡(luò)結(jié)構(gòu)\t314
10．2．3 數(shù)據(jù)讀取\t316
10．2．4 訓(xùn)練代碼實(shí)現(xiàn)\t318
10．3 模型訓(xùn)練\t321
10．4 模型精度測(cè)試\t321
10．4．1 精度測(cè)試\t322
10．4．2 代碼實(shí)現(xiàn)\t322
第11章 移植模型到TensorFlow Serving端\t324
11．1 模型轉(zhuǎn)換\t324
11．1．1 轉(zhuǎn)換模型為TensorFlow Serving模型\t324
11．1．2 代碼實(shí)現(xiàn)\t327
11．2 模型部署\t329
11．2．1 搭建TensorFlow Serving環(huán)境\t329
11．2．2 啟動(dòng)TensorFlow Serving服務(wù)\t331
11．3 HTTP服務(wù)實(shí)現(xiàn)\t333
11．3．1 使用gRPC調(diào)用TensorFlow Serving服務(wù)\t333
11．3．2 實(shí)現(xiàn)HTTP服務(wù)\t334
11．4 前端交互實(shí)現(xiàn)\t336
11．4．1 界面布局\t336
11．4．2 手寫(xiě)板實(shí)現(xiàn)\t337
11．4．3 數(shù)據(jù)交互\t339
11．4．4 流程測(cè)試\t340
第12章 移植TensorFlow模型到Android端\t341
12．1 交互界面\t341
12．1．1 頁(yè)面布局\t341
12．1．2 實(shí)現(xiàn)手寫(xiě)板\t342
12．2 使用TensorFlow Mobile庫(kù)\t346
12．2．1 模型轉(zhuǎn)換\t347
12．2．2 模型調(diào)用\t347
12．2．3 模型測(cè)試\t351
12．3 使用TensorFlow Lite庫(kù)\t354
12．3．1 模型轉(zhuǎn)換\t354
12．3．2 模型調(diào)用\t355
12．3．3 模型測(cè)試\t360
第13章 移植TensorFlow模型到iOS端\t361
13．1 界面布局\t361
13．1．1 頁(yè)面布局\t361
13．1．2 實(shí)現(xiàn)手寫(xiě)板\t362
13．1．3 界面布局代碼實(shí)現(xiàn)\t366
13．2 TensorFlow 模型轉(zhuǎn)CoreML模型\t369
13．2．1 模型轉(zhuǎn)換\t369
13．2．2 分析模型對(duì)象的調(diào)用接口\t370
13．3 模型調(diào)用\t373
13．3．1 實(shí)現(xiàn)模型調(diào)用\t373
13．3．2 模型測(cè)試\t376