PyTorch自動駕駛視覺感知算法實戰(zhàn)

前言
第1章 卷積神經(jīng)網(wǎng)絡(luò)的理論基礎(chǔ)
1.1神經(jīng)網(wǎng)絡(luò)回顧
1.1.1神經(jīng)網(wǎng)絡(luò)模型
1.1.2神經(jīng)網(wǎng)絡(luò)的訓(xùn)練——反向傳播算法
1.1.3神經(jīng)網(wǎng)絡(luò)的擬合能力和泛化能力
1.2什么是卷積神經(jīng)網(wǎng)絡(luò)
1.2.1什么是卷積運算
1.2.2通道（Channel）和三維卷積
1.2.3為什么需要深度網(wǎng)絡(luò)
1.2.4什么是批次（Batch）
1.3卷積神經(jīng)網(wǎng)絡(luò)的組成細(xì)節(jié)
1.3.1卷積神經(jīng)網(wǎng)絡(luò)的輸入層
1.3.2神經(jīng)網(wǎng)絡(luò)的輸出層
1.3.3卷積層和轉(zhuǎn)置卷積層
1.3.4激活層
1.3.5歸一化層
1.3.6上采樣層和下采樣層
1.3.7池化層
1.3.8跳躍、空間注意力等特殊的連接方式
1.3.9構(gòu)建一個復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò)
1.4卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練
1.4.1常用損失函數(shù)
1.4.2常用的正則化方法
1.4.3常用的優(yōu)化器
1.4.4常用的訓(xùn)練學(xué)習(xí)率調(diào)整方法
第2章 深度學(xué)習(xí)開發(fā)環(huán)境及常用工具庫
2.1硬件和操作系統(tǒng)
2.1.1顯卡
2.1.2操作系統(tǒng)
2.2Python開發(fā)環(huán)境管理
2.2.1Anaconda虛擬環(huán)境的管理
2.2.2Python的包管理器pip
2.3常用的Python包
2.3.1NumPy——Python科學(xué)計算庫
2.3.2OpenCV——Python圖像處理庫
2.4GPU加速的深度學(xué)習(xí)和科學(xué)計算庫PyTorch
2.4.1GPU加速的科學(xué)計算功能
2.4.2PyTorch的自動求導(dǎo)功能
2.4.3PyTorch的優(yōu)化器
2.4.4PyTorch的數(shù)據(jù)加載
2.4.5用PyTorch搭建神經(jīng)網(wǎng)絡(luò)
2.4.6常用的輔助工具
2.4.7搭建一個神經(jīng)網(wǎng)絡(luò)并進(jìn)行訓(xùn)練
第3章 神經(jīng)網(wǎng)絡(luò)的特征編碼器——主干網(wǎng)絡(luò)
3.1什么是神經(jīng)網(wǎng)絡(luò)的主干網(wǎng)絡(luò)
3.1.1神經(jīng)網(wǎng)絡(luò)的元結(jié)構(gòu)
3.1.2神經(jīng)網(wǎng)絡(luò)的主干網(wǎng)絡(luò)及有監(jiān)督預(yù)訓(xùn)練
3.1.3主干網(wǎng)絡(luò)的自監(jiān)督預(yù)訓(xùn)練
3.2流行的主干網(wǎng)絡(luò)
3.2.1簡單直白的主干網(wǎng)絡(luò)——類VGG網(wǎng)絡(luò)
3.2.2最流行的主干網(wǎng)絡(luò)——ResNet系列網(wǎng)絡(luò)
3.2.3速度更快的輕量級主干網(wǎng)絡(luò)——MobileNet系列
3.2.4自由縮放的主干網(wǎng)絡(luò)——RegNet系列
3.3使用TorchVision模型庫提供的主干網(wǎng)絡(luò)
3.3.1構(gòu)建和加載模型
3.3.2修改主干網(wǎng)絡(luò)獲取多尺度特征圖
3.3.3不同主干網(wǎng)絡(luò)和預(yù)訓(xùn)練模型的訓(xùn)練對比
第4章 目標(biāo)檢測網(wǎng)絡(luò)——識別車輛
4.1目標(biāo)檢測基本概念
4.1.1Anchor
4.1.2NMS
4.1.3目標(biāo)檢測網(wǎng)絡(luò)的類別
4.2以Faster RCNN為代表的兩階段檢測方法
4.2.1RPN網(wǎng)絡(luò)
4.2.2ROI網(wǎng)絡(luò)
4.2.3使用TorchVision模型庫中的Faster RCNN
4.3以Yolo為代表的一階段檢測方法
4.3.1YoloV3的整體結(jié)構(gòu)
4.3.2Yolo的訓(xùn)練
4.3.3類Yolo的一階段檢測網(wǎng)絡(luò)
4.4以CenterNet為代表的Anchor-Free方法
4.4.1CenterNet的整體結(jié)構(gòu)
4.4.2用高斯模糊和Focal Loss訓(xùn)練CenterNet
4.4.3YoloX網(wǎng)絡(luò)
4.5Yolo的PyTorch實現(xiàn)
4.5.1樣本選擇算法的實現(xiàn)
4.5.2Yolo層的實現(xiàn)
4.5.3構(gòu)造損失函數(shù)
4.5.4NMS的實現(xiàn)
第5章 語義分割與實例分割——逐像素分類
5.1語義分割
5.1.1語義分割的網(wǎng)絡(luò)構(gòu)架和損失函數(shù)
5.1.2評價語義分割質(zhì)量的指標(biāo)
5.1.3使用OHEM和類別權(quán)重解決樣本不均衡問題
5.1.4語義分割的關(guān)鍵——信息融合
5.2使用PyTorch訓(xùn)練一個語義分割模型
5.2.1語義分割的數(shù)據(jù)加載
5.2.2加載Lite R-ASPP語義分割模型進(jìn)行訓(xùn)練
5.2.3計算混淆矩陣
5.2.4計算mIoU
5.3實例分割——分辨行人和車輛
5.3.1以Mask-RCNN為代表的兩階段實例分割方法
5.3.2以SOLO為代表的單階段實例分割方法
5.3.3基于CondInst的半監(jiān)督實例分割方法BoxInst
5.4安裝及使用OpenMMLab——以MMDetection為例
5.4.1安裝和配置MMDetection
5.4.2MMDetection介紹
5.4.3SOLO代碼解析
第6章 單目深度估計——重建三維世界
6.1計算機三維視覺基礎(chǔ)知識
6.1.1相機模型
6.1.2什么是深度圖
6.1.3相機運動模型
6.2單目深度估計的網(wǎng)絡(luò)構(gòu)架
6.2.1深度圖預(yù)測網(wǎng)絡(luò)
6.2.2基于相對視差的深度圖輸出編碼
6.2.3基于有序回歸的深度圖輸出編碼
6.2.4相機運動估計網(wǎng)絡(luò)
6.3無監(jiān)督學(xué)習(xí)的機制
6.3.1無監(jiān)督學(xué)習(xí)系統(tǒng)構(gòu)架
6.3.2將深度圖反投影為點云的PyTorch實現(xiàn)
6.3.3從相鄰幀采集RGB值并重投影的PyTorch實現(xiàn)
6.3.4無監(jiān)督單目深度推斷的損失函數(shù)
6.4可能存在的問題及解決方案
6.4.1用圖像梯度圖解決邊緣模糊問題
6.4.2用圖像一致性掩膜解決移動物體問題
6.4.3用速度損失解決尺度問題
第7章 通過控制網(wǎng)絡(luò)結(jié)構(gòu)提高速度和精度
7.1使用多任務(wù)網(wǎng)絡(luò)構(gòu)架提高速度和精度
7.1.1多任務(wù)網(wǎng)絡(luò)的設(shè)計
7.1.2多任務(wù)網(wǎng)絡(luò)的任務(wù)平衡問題
7.2用PyTorch搭建一個語義分割和目標(biāo)檢測雙任務(wù)網(wǎng)絡(luò)
7.2.1多任務(wù)數(shù)據(jù)加載
7.2.2多任務(wù)網(wǎng)絡(luò)的搭建
7.2.3多任務(wù)損失的平衡
7.3壓縮神經(jīng)網(wǎng)絡(luò)提高推理速度
7.3.1什么是神經(jīng)網(wǎng)絡(luò)壓縮
7.3.2幾種常見的通道剪枝方法
7.3.3在訓(xùn)練中使用L1正則化壓縮權(quán)重
7.3.4使用可微通道加權(quán)進(jìn)行通道剪枝
7.3.5網(wǎng)絡(luò)壓縮的流程
7.4用PyTorch實現(xiàn)可微網(wǎng)絡(luò)壓縮
7.4.1用PyTorch構(gòu)造可微通道選擇層
7.4.2利用通道選擇層確定壓縮方案
7.4.3對PyTorch模型進(jìn)行壓縮并對比運行速度
第8章 導(dǎo)出和部署神經(jīng)網(wǎng)絡(luò)模型
8.1配置開發(fā)環(huán)境
8.1.1Docker的使用
8.1.2配置C++開發(fā)環(huán)境
8.2使用LibTorch部署PyTorch模型
8.2.1導(dǎo)出TorchScript模型
8.2.2將LibTorch加入CMake項目
8.2.3將輸入圖像轉(zhuǎn)換為Tensor
8.2.4加載TorchScript模型并進(jìn)行推理
8.3用TensorRT部署模型