深入理解計算機視覺：在邊緣端構建高效的目標檢測應用

目錄


第1篇 一階段目標檢測神經網絡的結構設計
第1章 目標檢測的競賽和數(shù)據集 2
1.1　計算機視覺坐標系的約定和概念 2
1.1.1 圖像的坐標系約定 2
1.1.2 矩形框的描述方法約定 3
1.2　PASCAL VOC競賽和數(shù)據集 6
1.2.1 PASCAL VOC競賽任務和數(shù)據集簡介 6
1.2.2 PASCAL VOC2007數(shù)據集探索 8
1.3　MS COCO挑戰(zhàn)賽和數(shù)據集 14
1.3.1 MS COCO挑戰(zhàn)賽的競賽任務 14
1.3.2 MS COCO數(shù)據集簡介 17
1.4　目標檢測標注的解析和統(tǒng)計 18
1.4.1 XML文件的格式 18
1.4.2 XML文件解析和數(shù)據均衡性統(tǒng)計 20
第2章 目標檢測神經網絡綜述 24
2.1　幾個著名的目標檢測神經網絡 24
2.1.1 R-CNN家族神經網絡簡介 25
2.1.2 YOLO和SSD神經網絡簡介 28
2.1.3 CenterNet神經網絡簡介 30
2.1.4 U-Net神經網絡簡介 31
2.2　目標檢測神經網絡分類和高階API資源 32
2.3　矩形框的交并比評價指標和實現(xiàn) 34
第3章 一階段目標檢測神經網絡的特征融合和中段網絡 40
3.1　一階段目標檢測神經網絡的整體結構 40
3.2　一階段目標檢測神經網絡的若干中段網絡介紹 41
3.2.1 單向融合的中段網絡 41
3.2.2 簡單雙向融合的中段網絡 43
3.2.3 復雜雙向融合的中段網絡 45
3.3　不同融合方案中段網絡的關系和應用 46
3.4 YOLO的多尺度特征融合中段網絡案例 47
3.4.1 YOLOV3的中段網絡及實現(xiàn) 48
3.4.2 YOLOV4的中段網絡PANet及實現(xiàn) 52
3.4.3 YOLOV3-tiny和YOLOV4-tiny版本的中段網絡及實現(xiàn) 58
3.5 神經網絡輸出的解碼 62
3.5.1 融合特征圖的幾何含義 62
3.5.2 矩形框中心點坐標的解碼 65
3.5.3 矩形框寬度和高度的解碼 67
3.5.4 前背景概率和分類概率的解碼 69
3.5.5 矩形框角點坐標和解碼函數(shù)整體輸出 70
第4章 一階段目標檢測神經網絡典型案例——YOLO解析 73
4.1　YOLO家族目標檢測神經網絡簡介 73
4.2　先驗錨框和YOLO神經網絡的檢測思路 74
4.2.1 用人為設定方式找到的先驗錨框 74
4.2.2 用聚類回歸方式找到的先驗錨框 76
4.2.3 YOLO的先驗錨框編號 79
4.2.4 YOLO的XYSCALE和縮放比參數(shù) 81
4.3　建立YOLO神經網絡 82
4.3.1 根據選擇確定YOLO神經網絡參數(shù) 83
4.3.2 建立骨干網絡、中段網絡和預測網絡 84
4.3.3 加上解碼網絡后建立完整的YOLO模型 86
4.4　YOLO神經網絡的遷移學習和權重加載 89
4.4.1 骨干網絡關鍵層的起止編號 89
4.4.2 中段網絡和預測網絡關鍵層的起止編號 93
4.4.3 YOLO模型的權重加載 100
4.5　原版YOLO模型的預測 107
4.5.1 原版YOLO模型的建立和參數(shù)加載 107
4.5.2 神經網絡的輸入/輸出數(shù)據重組 108
4.6　NMS算法的原理和預測結果可視化 111
4.6.1 傳統(tǒng)NMS算法原理 112
4.6.2 NMS算法的變種 116
4.6.3 預測結果的篩選和可視化 121
4.7　YOLO模型的多個衍生變種簡介 124
4.8　YOLO模型的發(fā)展與展望 127
第2篇 YOLO神經網絡的損失函數(shù)和訓練
第5章 將數(shù)據資源制作成標準TFRecord數(shù)據集文件 130
5.1　數(shù)據資源的加載 130
5.2　數(shù)據資源的解析和提取 135
5.3　TFRecord數(shù)據集文件的制作 139
5.4　單樣本的example對象制作 139
5.5　遍歷全部樣本制作完整數(shù)據集 144
5.6　從數(shù)據集提取樣本進行核對 145
第6章 數(shù)據集的后續(xù)處理 150
6.1　數(shù)據集的加載和打包 150
6.1.1 數(shù)據集的加載和矩陣化 150
6.1.2 圖像矩陣尺寸的標準化 153
6.1.3 真實矩形框標注矩陣尺寸的標準化 158
6.1.4 數(shù)據集的打包處理 159
6.2　將原始數(shù)據集打包為可計算數(shù)據集 163
6.2.1 計算真實矩形框與先驗錨框的匹配度排名 164
6.2.2 找到真實矩形框所對應的網格下的先驗錨框 169
6.2.3 可計算數(shù)據集測試 177
第7章 一階段目標檢測的損失函數(shù)的設計和實現(xiàn) 181
7.1　損失函數(shù)框架和輸入數(shù)據的合理性判別 182
7.2　真實數(shù)據和預測數(shù)據的對應和分解 184
7.3　預測矩形框的前背景歸類和權重分配 188
7.4　預測矩形框的誤差度量 192
7.4.1 用中心點表示的位置誤差 192
7.4.2 用寬度和高度表示的位置誤差 192
7.4.3 用通用交并比表示的矩形框誤差 194
7.4.4 用距離交并比表示的矩形框誤差 198
7.4.5 用完整交并比表示的矩形框誤差 200
7.4.6 用交并比量化矩形框預測誤差的實踐 206
7.5　前景和背景的預測誤差 208
7.5.1 前景誤差和背景誤差的定義 208
7.5.2 樣本均衡原理和Focal-Loss應用 209
7.6　分類預測誤差 212
7.7　總誤差的合并和數(shù)值合理性確認 213
第8章 YOLO神經網絡的訓練 217
8.1　數(shù)據集和模型準備 217
8.1.1 參數(shù)配置 217
8.1.2 數(shù)據集預處理 220
8.1.3 模型參數(shù)加載和凍結 223
8.2　動態(tài)模式訓練 225
8.2.1 監(jiān)控指標的設計和日志存儲 225
8.2.2 動態(tài)模式下神經網絡的訓練和調試 230
8.3　訓練中非法數(shù)值的監(jiān)控和調試 237
8.3.1 發(fā)現(xiàn)和監(jiān)控非法數(shù)值計算結果 237
8.3.2 計算結果出現(xiàn)非法數(shù)值的原因和對策 240
8.4　靜態(tài)模式訓練和TensorBoard監(jiān)控 244
第3篇 目標檢測神經網絡的云端和邊緣端部署
第9章 一階段目標檢測神經網絡的云端訓練和部署 250
9.1　一階段目標檢測神經網絡的推理模型設計 250
9.1.1 一階段目標檢測神經網絡的推理形態(tài) 250
9.1.2 推理場景下的數(shù)據重組網絡 251
9.1.3 構造推理場景下的YOLO模型函數(shù) 254
9.1.4 構造和測試YOLO推理模型 255
9.2　目標檢測推理模型的云端部署 256
9.2.1 亞馬遜EC2云計算實例選型 257
9.2.2 使用云端服務器部署模型并響應推理請求 257
9.3　在亞馬遜SageMakerStudio上訓練云計算模型 259
第10章 神經網絡的INT8全整數(shù)量化原理 262
10.1　神經網絡量化模型的基本概念 262
10.1.1 神經網絡量化模型速覽和可視化 262
10.1.2 浮點數(shù)值的量化存儲和計算原理 268
10.2　神經網絡量化模型的制作和分析 273
10.2.1 算子的映射和合并 273
10.2.2 量化參數(shù)搜索和代表數(shù)據集 276
10.2.3 TFLite量化模型的算子和張量分析 279
10.3　量化性能分析和量化模型的逐層調試 289
10.3.1 量化信噪比分析原理 289
10.3.2 量化模型的單層誤差調試 294
10.3.3 量化模型的誤差累積調試 296
10.4　不支持算子的替換技巧 300
10.4.1 大動態(tài)范圍非線性算子替換原理 301
10.4.2 大動態(tài)范圍非線性算子替換效果 303
第11章 以YOLO和Edge TPU為例的邊緣計算實戰(zhàn) 305
11.1　TensorFlow模型的量化 307
11.1.1 量化感知訓練獲得INT8整型模型 308
11.1.2 訓練后量化獲得INT8整型模型 313
11.2　神經網絡模型的編譯 315
11.2.1 模型編譯的工作原理 315
11.2.2 在Edge TPU上部署模型的注意事項 318
11.3　YOLO目標檢測模型的量化和編譯 321
11.3.1 YOLO變種版本選擇和骨干網絡修改 321
11.3.2 針對硬件限制進行解碼網絡的修改 322
11.3.3 預測矩陣的匯總重組 325
11.3.4 YOLO推理模型的建立 327
11.3.5 YOLO模型的量化 329
11.3.6 量化模型的測試和信噪比分析 331
11.4　YOLO量化模型的編譯和邊緣端部署 337
11.4.1 量化模型轉換為編譯模型 337
11.4.2 編寫邊緣端編譯模型推理代碼 341
第4篇 個性化數(shù)據增強和目標檢測神經網絡性能測試
第12章 個性化目標檢測數(shù)據集處理 346
12.1　農村公路占道數(shù)據的目標檢測應用 346
12.1.1 項目數(shù)據背景 346
12.1.2 數(shù)據的預處理 347
12.2　數(shù)據的增強 350
12.2.1 數(shù)據增強技術的概念和效果 350
12.2.2 基于空間變換的數(shù)據增強方法 351
12.2.3 基于顏色空間的數(shù)據增強方法 354
12.2.4 其他圖像數(shù)據的增強手法 357
12.2.5 圖像數(shù)據集的增強工具和探索工具 360
12.3　使用Albumentations進行數(shù)據增強 361
12.3.1 Albumentations的安裝和使用 361
12.3.2 幾何數(shù)據增強管道的配置 362
12.3.3 使用數(shù)據管道處理并保存數(shù)據 364
12.3.4 像素數(shù)據增強管道的配置 366
12.3.5 增強數(shù)據集的運用 367
第13章 模型性能的定量測試和決策閾值選擇 368
13.1　神經網絡性能量化的基本概念 368
13.1.1 神經網絡預測的混淆矩陣 368
13.1.2 神經網絡量化評估和P-R曲線 369
13.1.3 多分類目標檢測場景和平均精確率均值 371
13.1.4 F分數(shù)評估方法 372
13.2　餐盤識別神經網絡性能測試案例 373
13.2.1 項目背景 373
13.2.2 提取全部真實數(shù)據和預測結果 375
13.2.3 模擬不同決策閾值下的精確率和召回率 378
第14章 使用邊緣計算網關進行多路攝像頭目標檢測 385
14.1　邊緣計算網關的整體結構 385
14.1.1 核心TPU組件 385
14.1.2 計算卡和模組 386
14.1.3 下位機的操作系統(tǒng) 387
14.1.4 下位機的開發(fā)環(huán)境簡介 388
14.2　開發(fā)環(huán)境準備 392
14.2.1 上位機安裝Docker 392
14.2.2 上位機裝載鏡像和SDK開發(fā)包 393
14.2.3 神經網絡工具鏈和主要用途 397
14.2.4 針對TensorFlow模型的編譯方法 398
14.3　浮點32位模型部署的全流程 399
14.3.1 訓練主機將Keras模型轉換為單pb模型文件 399
14.3.2 上位機將單pb模型文件編譯為bmodel模型文件 400
14.3.3 下位機讀取和探索bmodel模型文件 402
14.3.4 下位機使用bmodel模型文件進行推理 406
14.4　邊緣端全整數(shù)量化模型部署 410
14.4.1 在上位機Docker內制作代表數(shù)據集 410
14.4.2 在上位機D