TensorFlow 2.x高級計算機視覺

第1篇  計算機視覺和神經(jīng)網(wǎng)絡(luò)概論
第1章  計算機視覺和TensorFlow基礎(chǔ)知識 3
1.1  技術(shù)要求 3
1.2  使用圖像哈希和濾波檢測邊緣 3
1.2.1  使用拜耳濾色器形成彩色圖案 4
1.2.2  創(chuàng)建圖像向量 5
1.2.3  變換圖像 8
1.2.4  線性濾波—與內(nèi)核進行卷積 9
1.2.5  圖像平滑 10
1.2.6  均值濾波器 11
1.2.7  中值濾波器 12
1.2.8  高斯濾波器 12
1.2.9  使用OpenCV進行圖像濾波 13
1.2.10  圖像梯度 14
1.2.11  圖像銳化 15
1.2.12  混合高斯和拉普拉斯運算 16
1.2.13  檢測圖像邊緣 18
1.2.14  Sobel邊緣檢測器 19
1.2.15  Canny邊緣檢測器 19
1.3  從圖像中提取特征 20
1.3.1  直方圖 20
1.3.2  使用OpenCV進行圖像匹配 21
1.4  使用輪廓和HOG檢測器進行對象檢測 22
1.4.1  輪廓檢測 23
1.4.2  檢測邊界框 23
1.4.3  HOG檢測器 25
1.4.4  輪廓檢測方法的局限性 26
1.5  TensorFlow生態(tài)系統(tǒng)和安裝概述 28
1.5.1  TensorFlow與PyTorch 29
1.5.2  TensorFlow安裝 29
1.6  小結(jié) 31
第2章  局部二值模式和內(nèi)容識別 33
2.1  使用LBP處理圖像 33
2.1.1  生成LBP模式 33
2.1.2  理解LBP直方圖 36
2.1.3  直方圖比較方法 36
2.1.4  LBP的計算成本 39
2.2  將LBP應(yīng)用于紋理識別 39
2.3  使臉部顏色與基礎(chǔ)顏色匹配—LBP及其局限性 45
2.4  使臉部顏色與基礎(chǔ)顏色匹配—顏色匹配技術(shù) 48
2.5  小結(jié) 49
第3章  使用OpenCV和CNN進行面部檢測 51
3.1  應(yīng)用Viola-Jones AdaBoost學(xué)習(xí)模型和Haar級聯(lián)分類器進行人臉識別 51
3.1.1  選擇哈爾特征 51
3.1.2  創(chuàng)建積分圖像 52
3.1.3  進行AdaBoost訓(xùn)練 55
3.1.4  級聯(lián)分類器 56
3.1.5  訓(xùn)練級聯(lián)檢測器 57
3.2  使用深度神經(jīng)網(wǎng)絡(luò)預(yù)測面部關(guān)鍵點 58
3.2.1  準備用于關(guān)鍵點檢測的數(shù)據(jù)集 58
3.2.2  處理關(guān)鍵點數(shù)據(jù) 61
3.2.3  在輸入Keras–Python代碼之前進行預(yù)處理 61
3.2.4  Keras–Python代碼中的預(yù)處理 61
3.2.5  定義模型架構(gòu) 63
3.2.6  訓(xùn)練模型以進行關(guān)鍵點預(yù)測 65
3.3  使用CNN預(yù)測面部表情 67
3.4  3D人臉檢測概述 69
3.4.1  3D重建的硬件設(shè)計概述 69
3.4.2  3D重建和跟蹤概述 69
3.4.3  參數(shù)跟蹤概述 70
3.5  小結(jié) 71
第4章  圖像深度學(xué)習(xí) 73
4.1  理解CNN及其參數(shù) 73
4.1.1  卷積 75
4.1.2  在空間上的卷積—3×3濾波器 77
4.1.3  在空間上的卷積—1×1濾波器 78
4.1.4  池化 79
4.1.5  填充 80
4.1.6  步幅 81
4.1.7  激活 82
4.1.8  全連接層 83
4.1.9  正則化 84
4.1.10  舍棄 84
4.1.11  內(nèi)部協(xié)方差漂移和批歸一化 85
4.1.12  Softmax 87
4.2  優(yōu)化CNN參數(shù) 87
4.2.1  基準情況 89
4.2.2  迭代1 90
4.2.3  迭代2 90
4.2.4  迭代3 91
4.2.5  迭代4 92
4.3  可視化神經(jīng)網(wǎng)絡(luò)的各個層 94
4.3.1  構(gòu)建自定義圖像分類器模型并可視化其層 94
4.3.2  神經(jīng)網(wǎng)絡(luò)輸入和參數(shù) 94
4.3.3  輸入圖像 95
4.3.4  定義訓(xùn)練和驗證生成器 95
4.3.5  開發(fā)模型 96
4.3.6  編譯和訓(xùn)練模型 96
4.3.7  輸入測試圖像并將其轉(zhuǎn)換為張量 98
4.3.8  可視化第一個激活層 99
4.3.9  可視化多個激活層 99
4.3.10  訓(xùn)練現(xiàn)有的高級圖像分類器模型并可視化其層 103
4.4  小結(jié) 107
第2篇  TensorFlow和計算機視覺的高級概念
第5章  神經(jīng)網(wǎng)絡(luò)架構(gòu)和模型 111
5.1  AlexNet概述 111
5.2  VGG16概述 116
5.3  Inception概述 117
5.3.1  Inception網(wǎng)絡(luò)的工作原理 117
5.3.2  GoogLeNet檢測 120
5.4  ResNet概述 121
5.5  R-CNN概述 123
5.5.1  圖像分割 125
5.5.2  基于聚類的分割 125
5.5.3  基于圖的分割 125
5.5.4  選擇性搜索 126
5.5.5  區(qū)域提議 126
5.5.6  特征提取 126
5.5.7  圖像分類 127
5.5.8  邊界框回歸 127
5.6  快速R-CNN概述 127
5.7  更快的R-CNN概述 129
5.8  GAN概述 133
5.9  GNN概述 135
5.9.1  有關(guān)圖神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識 136
5.9.2  頻譜GNN 137
5.10  強化學(xué)習(xí)概述 138
5.11  遷移學(xué)習(xí)概述 139
5.12  小結(jié) 141
第6章  遷移學(xué)習(xí)和視覺搜索 143
6.1  使用TensorFlow編寫深度學(xué)習(xí)模型代碼 143
6.1.1  下載權(quán)重 144
6.1.2  解碼預(yù)測結(jié)果 144
6.1.3  導(dǎo)入其他常用功能 145
6.1.4  構(gòu)建模型 145
6.1.5  從目錄輸入圖像 146
6.1.6  使用TensorFlow Keras導(dǎo)入和處理多幅圖像的循環(huán)函數(shù) 146
6.2  使用TensorFlow開發(fā)遷移學(xué)習(xí)模型 151
6.2.1  分析和存儲數(shù)據(jù) 151
6.2.2  導(dǎo)入TensorFlow庫 152
6.2.3  設(shè)置模型參數(shù) 153
6.2.4  建立數(shù)據(jù)輸入管道 153
6.2.5  訓(xùn)練數(shù)據(jù)生成器 153
6.2.6  驗證數(shù)據(jù)生成器 154
6.2.7  使用遷移學(xué)習(xí)構(gòu)建最終模型 154
6.2.8  使用Checkpoint保存模型 156
6.2.9  給訓(xùn)練的歷史記錄繪圖 157
6.3  理解視覺搜索的架構(gòu)和應(yīng)用 160
6.3.1  視覺搜索的架構(gòu) 161
6.3.2  視覺搜索代碼和說明 164
6.3.3  預(yù)測上傳圖像的類別 164
6.3.4  預(yù)測所有圖像的類別 165
6.4  使用tf.data處理視覺搜索輸入管道 171
6.5  小結(jié) 173
第7章  YOLO和對象檢測 175
7.1  YOLO概述 175
7.1.1  交并比的概念 176
7.1.2  YOLO能夠快速檢測對象的原因揭秘 177
7.1.3  YOLO v3神經(jīng)網(wǎng)絡(luò)架構(gòu) 179
7.1.4  YOLO與更快的R-CNN的比較 180
7.2  用于對象檢測的Darknet簡介 181
7.2.1  使用Darknet檢測對象 181
7.2.2　使用Tiny Darknet檢測對象 184
7.3  使用Darknet進行實時預(yù)測 186
7.4  YOLO系列的比較 190
7.5  訓(xùn)練模型 191
7.6  使用YOLO v3訓(xùn)練新圖像集以開發(fā)自定義模型 192
7.6.1  準備圖像 194
7.6.2  生成注解文件 194
7.6.3  將.xml文件轉(zhuǎn)換為.txt文件 196
7.6.4  創(chuàng)建合并的train.txt和test.txt文件 196
7.6.5  創(chuàng)建一個類別名稱文件的列表 196
7.6.6  創(chuàng)建一個YOLO .data文件 197
7.6.7  調(diào)整YOLO配置文件 197
7.6.8  啟用GPU進行訓(xùn)練 200
7.6.9  開始訓(xùn)練 200
7.7  特征金字塔網(wǎng)絡(luò)和RetinaNet概述 201
7.8  小結(jié) 203
第8章  語義分割和神經(jīng)風格遷移 205
8.1  用于語義分割的TensorFlow DeepLab概述 205
8.1.1  空間金字塔池化 207
8.1.2  空洞卷積 207
8.1.3  編碼器-解碼器網(wǎng)絡(luò) 208
8.1.4  編碼器模塊 208
8.1.5  解碼器模塊 209
8.1.6  DeepLab中的語義分割示例 209
8.1.7  Google Colab、Google Cloud TPU和TensorFlow 209
8.2  使用DCGAN生成人工圖像 213
8.2.1  生成器 213
8.2.2  鑒別器 214
8.2.3  訓(xùn)練 215
8.2.4  使用DCGAN修復(fù)圖像 216
8.2.5  TensorFlow DCGAN示例 217
8.3  使用OpenCV修復(fù)圖像 217
8.4  理解神經(jīng)風格遷移 218
8.5  小結(jié) 222
第3篇  使用TensorFlow的計算機視覺高級實現(xiàn)
第9章  使用多任務(wù)深度學(xué)習(xí)進行動作識別 225
9.1  人體姿勢估計—OpenPose 225
9.1.1  OpenPose背后的理論 225
9.1.2  理解OpenPose代碼 228
9.2  人體姿勢估計—堆疊沙漏模型 231
9.2.1  理解沙漏模型 233
9.2.2  編寫沙漏模型代碼 234
9.2.3  argparse塊 235
9.2.4  訓(xùn)練沙漏網(wǎng)絡(luò) 237
9.2.5  創(chuàng)建沙漏網(wǎng)絡(luò) 238
9.3  人體姿勢估計—PoseNet 242
9.3.1  自上而下的方法 242
9.3.2  自下而上的方法 242
9.3.3  PoseNet實現(xiàn) 243
9.3.4  應(yīng)用人體姿勢進行手勢識別 246
9.4  使用各種方法進行動作識別 247
9.4.1  基于加速度計識別動作 248
9.4.2  將基于視頻的動作與姿勢估計相結(jié)合 250
9.4.3  使用4D方法進行動作識別 251
9.5  小結(jié) 251
第10章  使用R-CNN、SSD和R-FCN進行對象檢測 253
10.1  SSD概述 253
10.2  R-FCN概述 256
10.3  TensorFlow對象檢測API概述 258
10.4  在Google Cloud上使用TensorFlow檢測對象 259
10.5  使用TensorFlow Hub檢測對象 262
10.6  使用TensorFlow和Google Colab訓(xùn)練自定義對象檢測器 263
10.6.1  收集圖像并格式化為.jpg文件 265
10.6.2  注解圖像以創(chuàng)建.xml文件 266
10.6.3  將文件拆分到訓(xùn)練和測試文件夾中 267
10.6.4  配置參數(shù)并安裝所需的軟件包 269
10.6.5  創(chuàng)建TensorFlow記錄 271
10.6.6  準備模型并配置訓(xùn)練管道 273
10.6.7  使用TensorBoard監(jiān)控訓(xùn)練進度 274
10.6.8  在本地計算機上運行TensorBoard 274
10.6.9  在Google Colab上運行TensorBoard 274
10.6.10  訓(xùn)練模型 275
10.6.11  運行推理測試 278
10.6.12  使用神經(jīng)網(wǎng)絡(luò)模型時的注意事項 279
10.7  Mask R-CNN概述和Google Colab演示 280
10.8  開發(fā)對象跟蹤器模型以補充對象檢測器 282
10.8.1  基于質(zhì)心的跟蹤 282
10.8.2  SORT跟蹤 282
10.8.3  DeepSORT跟蹤 283
10.8.4  OpenCV跟蹤方法 284
10.8.5  基于暹羅網(wǎng)絡(luò)的跟蹤 284
10.8.6  基于SiamMask的跟蹤 285
10.9  小結(jié) 286
第4篇  在邊緣和云端上的TensorFlow實現(xiàn)
第11章  通過CPU/GPU優(yōu)化在邊緣設(shè)備上進行深度學(xué)習(xí) 291
11.1  邊緣設(shè)備上的深度學(xué)習(xí)概述 291
11.2  用于GPU/CPU優(yōu)化的技術(shù) 293
11.3  MobileNet概述 294
11.4  使用Raspberry Pi進行圖像處理 296
11.4.1  Raspberry Pi硬件設(shè)置 297
11.4.2  Raspberry Pi攝像頭軟件設(shè)置 298
11.4.3  在Raspberry Pi中安裝OpenCV 298
11.4.4  在Raspberry Pi中安裝OpenVINO 299
11.4.5  安裝OpenVINO工具包組件 300
11.4.6  設(shè)置環(huán)境變量 301
11.4.7  添加USB規(guī)則 301
11.4.8  使用Python代碼運行推理 301
11.4.9  高級推理 302
11.4.10  人臉檢測、行人檢測和車輛檢測 304
11.4.11  特征識別模型 305
11.4.12  動作識別模型 306
11.4.13  車牌、注視和人員檢測 306
11.5  使用OpenVINO進行模型轉(zhuǎn)換和推理 309
11.5.1  使用NCAPPZOO在終端中運行推理 309
11.5.2  轉(zhuǎn)換預(yù)訓(xùn)練模型以進行推理 310
11.5.3  轉(zhuǎn)換使用Keras開發(fā)的TensorFlow模型 310
11.5.4  轉(zhuǎn)換使用TensorFlow對象檢測API開發(fā)的TensorFlow模型 311
11.5.5  OpenVINO模型推理過程總結(jié) 312
11.6  TensorFlow Lite的應(yīng)用 314
11.6.1  將TensorFlow模型轉(zhuǎn)換為tflite格式 315
11.6.2  Python API 315
11.6.3  TensorFlow對象檢測API—tflite_convert 315
11.6.4  TensorFlow對象檢測API—toco 316
11.6.5  模型優(yōu)化 318
11.7  使用TensorFlow Lite在Android手機上進行對象檢測 319
11.8  使用TensorFlow Lite在Raspberry Pi上進行對象檢測 323
11.8.1  圖像分類 324
11.8.2  對象檢測 325
11.9  使用TensorFlow Lite和Create ML在iPhone上進行對象檢測 326
11.9.1  適用于iPhone的TensorFlow Lite轉(zhuǎn)換模型 327
11.9.2  Core ML 330
11.9.3  將TensorFlow模型轉(zhuǎn)換為Core ML格式 333
11.10  各種注解方法的摘要 333
11.10.1  將標注工作外包給第三方 333
11.10.2  自動或半自動標注 334
11.11  小結(jié) 338
第12章  用于計算機視覺的云計算平臺 339
12.1  在GCP中訓(xùn)練對象檢測器 339
12.1.1  在GCP中創(chuàng)建項目 340
12.1.2  GCP設(shè)置 341
12.1.3  Google Cloud Storage存儲桶設(shè)置 342
12.1.4  使用GCP API設(shè)置存儲桶 342
12.1.5  使用Ubuntu終端設(shè)置存儲桶 343
12.1.6  設(shè)置Google Cloud SDK 343
12.1.7  將終端鏈接到Google Cloud項目和存儲桶 344
12.1.8  安裝TensorFlow對象檢測API 345
12.1.9  準備數(shù)據(jù)集 346
12.1.10  TFRecord和標注地圖數(shù)據(jù) 346
12.1.11  準備數(shù)據(jù) 346
12.1.12  上傳數(shù)據(jù) 347
12.1.13  model.ckpt文件 348
12.1.14  模型配置文件 348
12.1.15  在云端訓(xùn)練 350
12.1.16  在TensorBoard中查看模型輸出 351
12.1.17  模型輸出并轉(zhuǎn)換為凍結(jié)圖 353
12.1.18  從Google Colab導(dǎo)出tflite graph.py 354
12.2  在AWS SageMaker云平臺中訓(xùn)練對象檢測器 357
12.2.1  設(shè)置AWS賬戶和限制等 357
12.2.2  將.xml文件轉(zhuǎn)換為JSON格式 357
12.2.3  將數(shù)據(jù)上傳到S3存儲桶 358
12.2.4  創(chuàng)建Notebook實例并開始訓(xùn)練 358
12.2.5  修復(fù)訓(xùn)練中的一些常見故障 359
12.3  在Microsoft Azure云平臺中訓(xùn)練對象檢測器 361
12.3.1  創(chuàng)建一個Azure賬號并設(shè)置Custom Vision 361
12.3.2  上傳訓(xùn)練圖像并標注它們 362
12.4  大規(guī)模訓(xùn)練和打包 366
12.4.1  關(guān)于分布式訓(xùn)練 366
12.4.2  應(yīng)用程序打包 366
12.5  基于云的視覺搜索背后的總體思路 367
12.6  分析各種云平臺中的圖像和搜索機制 368
12.6.1  使用GCP進行視覺搜索 369
12.6.2  使用AWS進行視覺搜索 370
12.6.3  使用Azure進行視覺搜索 372
12.7  小結(jié) 373