自動(dòng)駕駛BEV感知算法指南

前　言第1章　快速了解BEV感知
算法1　1.1　BEV感知算法解決的問題1
　1.2　BEV感知算法的常見范式7
　1.3　BEV感知算法的分類9
1.3.1　基于單應(yīng)性的方法9
1.3.2　基于深度估計(jì)的方法10
1.3.3　基于多層感知器的
方法12
1.3.4　基于Transformer的
方法13
　1.4　BEV感知算法的不足14
　1.5　本章小結(jié)16第2章　BEV感知算法的
數(shù)據(jù)集17　2.1　KITTI數(shù)據(jù)集18
　2.2　nuScenes數(shù)據(jù)集25
　2.3　nuScenes數(shù)據(jù)集常用的評(píng)測
指標(biāo)及計(jì)算方法39
2.3.1　檢測任務(wù)評(píng)測指標(biāo)計(jì)算
公式40
2.3.2　跟蹤任務(wù)評(píng)測指標(biāo)計(jì)算
公式42
2.3.3　其他輔助指標(biāo)計(jì)算公式42
　2.4　Waymo數(shù)據(jù)集46
　2.5　不同數(shù)據(jù)集之間的對(duì)比47
　2.6　本章小結(jié)48第3章　BEV感知算法的特征
提取49　3.1　圖像模態(tài)49
3.1.1　相機(jī)的內(nèi)外參數(shù)49
3.1.2　圖像特征提取和ResNet
原理54
　3.2　激光雷達(dá)模態(tài)中點(diǎn)云目標(biāo)
檢測的代表算法55
3.2.1　PointPillar算法55
3.2.2　PV-RCNN算法58
　3.3　本章小結(jié)61第4章　BEV感知算法的基本
模塊62　4.1　視角轉(zhuǎn)換模塊62
4.1.1　自動(dòng)駕駛中的坐標(biāo)系63
4.1.2　坐標(biāo)系轉(zhuǎn)換與視角轉(zhuǎn)換
模塊65
4.1.3　LSS原理69
4.1.4　LSS代碼實(shí)現(xiàn)與模型
運(yùn)行71
　4.2　BEV感知算法中的注意力
機(jī)制82
4.2.1　通道注意力機(jī)制82
4.2.2　空間注意力機(jī)制83
4.2.3　混合注意力機(jī)制83
4.2.4　BEV感知算法中的時(shí)序
融合83
　4.3　本章小結(jié)86第5章　顯式視角轉(zhuǎn)換的BEV
感知算法87　5.1　基于LSS方法的顯式視角轉(zhuǎn)換的
BEV感知算法89
5.1.1　BEVDet89
5.1.2　BEVDet4D91
　5.2　BEVDet中的視角轉(zhuǎn)換過程91
　5.3　BEVDet4D中的時(shí)序?qū)R93
　5.4　本章小結(jié)94第6章　隱式視角轉(zhuǎn)換的BEV
感知算法95　6.1　傳統(tǒng)目標(biāo)檢測方法與DETR
類方法95
6.1.1　傳統(tǒng)目標(biāo)檢測方法的
局限性96
6.1.2　DETR類方法的優(yōu)點(diǎn)97
　6.2　主要的隱式視角轉(zhuǎn)換的BEV
感知算法98
6.2.1　BEVFormer98
6.2.2　DETR3D102
6.2.3　PETR103
　6.3　DETR3D計(jì)算過程106
6.3.1　圖像特征提取106
6.3.2　特征查詢模塊107
6.3.3　二分圖匹配108
6.3.4　DETR和DETR3D的
異同108
　6.4　隱式轉(zhuǎn)換DETR、DETR3D和
PETR的主要差別109
　6.5　本章小結(jié)110第7章　BEVFusion實(shí)踐111　7.1　原理詳解111
7.1.1　網(wǎng)絡(luò)架構(gòu)112
7.1.2　圖像支路113
7.1.3　點(diǎn)云支路114
7.1.4　融合模塊115
　7.2　代碼詳解116
7.2.1　nuScenes數(shù)據(jù)集
處理116
7.2.2　模型訓(xùn)練過程131
　7.3　環(huán)境搭建149
7.3.1　搭建PyTorch環(huán)境149
7.3.2　安裝 *BEVFusion150
7.3.3　編譯BEVFusion
環(huán)境151
7.3.4　訓(xùn)練和測試
BEVFusion152
　7.4　本章小結(jié)153第8章　BEVFormer實(shí)踐154　8.1　代碼詳解154
8.1.1　數(shù)據(jù)處理155
8.1.2　模型訓(xùn)練過程156
　8.2　環(huán)境搭建190
8.2.1　創(chuàng)建虛擬環(huán)境190
8.2.2　安裝*BEVFormer191
　8.3　模型部署192
　8.4　本章小結(jié)192第9章　大模型在自動(dòng)駕駛領(lǐng)域
的應(yīng)用193　9.1　端到端的自動(dòng)駕駛系統(tǒng)
UniAD194
9.1.1　UniAD的提出背景194
9.1.2　UniAD架構(gòu)196
　9.2　賦能自動(dòng)駕駛數(shù)據(jù)生產(chǎn)和
模型訓(xùn)練197
9.2.1　輔助標(biāo)注數(shù)據(jù)198
9.2.2　模型蒸餾給小模型
賦能200
9.2.3　將多個(gè)小模型合并成
大模型201
9.2.4　自動(dòng)駕駛的重建和數(shù)據(jù)
生成201
　9.3　視覺大模型的難點(diǎn)202
9.3.1　視覺大模型發(fā)展相對(duì)落后
的原因202
9.3.2　視覺大模型的技術(shù)挑戰(zhàn)與
實(shí)踐難點(diǎn)203
　9.4　本章小結(jié)204