38一区二区,一男一女91

基于Lidar的object檢測(cè)模型包括Point-based [PointRCNN(CVPR19), IA-SSD(CVPR22)等], Voxel-based [PointPillars(CVPR19), CenterPoint(CVPR21)等]，Point-Voxel-based [PV-RCNN(CVPR20), HVPR(CVPR21)等]和Multi-view-based[PIXOR(CVPR18)等]等。本博客主要記錄，作為菜鳥(niǎo)的我，在KITTI數(shù)據(jù)集上(3類(lèi))基于PyTorch實(shí)現(xiàn)PointPillars的一些學(xué)習(xí)心得, 訓(xùn)練和測(cè)試的pipeline如Figure 1所示。這里按照深度學(xué)習(xí)算法的流程進(jìn)行展開(kāi): 數(shù)據(jù) + 網(wǎng)絡(luò)結(jié)構(gòu) + 預(yù)測(cè)/可視化 + 評(píng)估，和實(shí)現(xiàn)的代碼結(jié)構(gòu)是一一對(duì)應(yīng)的，完整代碼已更新于github//github.com/zhulf0804/PointPillars [說(shuō)明 - 代碼的實(shí)現(xiàn)是通過(guò)閱讀mmdet3dv0.18.1源碼, 加上自己的理解完成的。因?yàn)椴粫?huì)寫(xiě)cuda, 所以cuda代碼和少量代碼是從mmdet3dv0.18.1復(fù)制過(guò)來(lái)的。]

一、KITTI 3D檢測(cè)數(shù)據(jù)集

1.1 數(shù)據(jù)集信息:

·KITTI數(shù)據(jù)集論文:Are we ready for autonomous driving? the kitti vision benchmark suite[CVPR 2012] 和Vision meets robotics: The kitti dataset[IJRR 2013]·KITTI數(shù)據(jù)集下載(下載前需要登錄): point cloud(velodyne, 29GB), images(image_2, 12 GB), calibration files(calib, 16 MB)和labels(label_2, 5 MB)。數(shù)據(jù)velodyne, calib 和 label_2的讀取詳見(jiàn)utils/io.py。

1.2 ground truth label信息 [file]

對(duì)每一幀點(diǎn)云數(shù)據(jù), label是 n個(gè)15維的向量, 組成了8個(gè)維度的信息。

1)訓(xùn)練時(shí)主要用到的是類(lèi)別信息(type) 和3d bbox 信息 (location, dimension, rotation_y).2)觀測(cè)角(alpha)和旋轉(zhuǎn)角(rotation_y)的區(qū)別和聯(lián)系可以參考博客blog.csdn.net/qq_161375。

1.3 坐標(biāo)系的變換

因?yàn)間t label中提供的bbox信息是Camera坐標(biāo)系的，因此在訓(xùn)練時(shí)需要使用外參等將其轉(zhuǎn)換到Lidar坐標(biāo)系; 有時(shí)想要把3d bbox映射到圖像中的2d bbox方便可視化，此時(shí)需要內(nèi)參。具體轉(zhuǎn)換關(guān)系如Figure 2。坐標(biāo)系轉(zhuǎn)換的代碼見(jiàn)utils/process.py。

1.4 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)應(yīng)該是Lidar檢測(cè)中很重要的一環(huán)。發(fā)現(xiàn)其與2D檢測(cè)中的增強(qiáng)差別較大，比如3D中會(huì)做database sampling(我理解的是把gt bbox進(jìn)行cut-paste), 會(huì)做碰撞檢測(cè)等。在本庫(kù)中主要使用了采用了5種數(shù)據(jù)增強(qiáng), 相關(guān)代碼在dataset/data_aug.py。

采樣gt bbox并將其復(fù)制到當(dāng)前幀的點(diǎn)云
- 從Car, Pedestrian, Cyclist的database數(shù)據(jù)集中隨機(jī)采集一定數(shù)量的bbox及inside points, 使每類(lèi)bboxes的數(shù)量分別達(dá)到15, 10, 10.
- 將這些采樣的bboxes進(jìn)行碰撞檢測(cè), 通過(guò)碰撞檢測(cè)的bboxes和對(duì)應(yīng)labels加到gt_bboxes_3d, gt_labels
- 把位于這些采樣bboxes內(nèi)點(diǎn)刪除掉, 替換成bboxes內(nèi)部的點(diǎn).
bbox 隨機(jī)旋轉(zhuǎn)平移
- 以某個(gè)bbox為例, 隨機(jī)產(chǎn)生num_try個(gè)平移向量t和旋轉(zhuǎn)角度r, 旋轉(zhuǎn)角度可以轉(zhuǎn)成旋轉(zhuǎn)矩陣(mat).
- 對(duì)bbox進(jìn)行旋轉(zhuǎn)和平移, 找到num_try中第一個(gè)通過(guò)碰撞測(cè)試的平移向量t和旋轉(zhuǎn)角度r(mat).
- 對(duì)bbox內(nèi)部的點(diǎn)進(jìn)行旋轉(zhuǎn)和平移.
- 對(duì)bbox進(jìn)行旋轉(zhuǎn)和平移.
隨機(jī)水平翻轉(zhuǎn)
- points水平翻轉(zhuǎn)
- bboxes水平翻轉(zhuǎn)
整體旋轉(zhuǎn)/平移/縮放
- object旋轉(zhuǎn), 縮放和平移
- point旋轉(zhuǎn), 縮放和平移
對(duì)points進(jìn)行shuffle: 打亂點(diǎn)云數(shù)據(jù)中points的順序。

Figure3是對(duì)上述前4種數(shù)據(jù)增強(qiáng)的可視化結(jié)果。

二、網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練

2.2 GT值生成

Head的3個(gè)分支基于anchor分別預(yù)測(cè)了類(lèi)別, bbox框(相對(duì)于anchor的偏移量和尺寸比)和旋轉(zhuǎn)角度的類(lèi)別, 那么在訓(xùn)練時(shí), 如何得到每一個(gè)anchor對(duì)應(yīng)的GT值呢 ? 相關(guān)代碼見(jiàn)model/anchors.py

2.3 損失函數(shù)和訓(xùn)練

現(xiàn)在知道了類(lèi)別分類(lèi)head, bbox回歸head和朝向分類(lèi)head的預(yù)測(cè)值和GT值, 接下來(lái)介紹損失函數(shù)。相關(guān)代碼見(jiàn)loss/loss.py。

總loss = 1.0*類(lèi)別分類(lèi)loss + 2.0*回歸loss + 2.0*朝向分類(lèi)loss。模型訓(xùn)練: 優(yōu)化器torch.optim.AdamW(), 學(xué)習(xí)率的調(diào)整torch.optim.lr_scheduler.OneCycleLR(); 模型共訓(xùn)練160epoches。

三、單幀預(yù)測(cè)和可視化

基于Head的預(yù)測(cè)值和anchors, 如何得到最后的候選框呢 ? 相關(guān)代碼見(jiàn)model/pointpillars.py。一般經(jīng)過(guò)以下幾個(gè)步驟:基于預(yù)測(cè)的類(lèi)別分?jǐn)?shù)的scores, 選出nms_pre (100) 個(gè)anchors: 每一個(gè)anchor具有3個(gè)scores, 分別對(duì)應(yīng)屬于每一類(lèi)的概率, 這里選擇這3個(gè)scores中最大值作為該anchor的score; 根據(jù)每個(gè)anchor的score降序排序, 選擇anchors。

3. 逐類(lèi)進(jìn)行以下操作:

過(guò)濾掉類(lèi)別score 小于 score_thr (0.1) 的bboxes
基于nms_thr (0.01), nms過(guò)濾掉重疊框:

另外, 基于Open3d實(shí)現(xiàn)了在Lidar和Image里3d bboxes的可視化, 相關(guān)代碼見(jiàn)test.py和utils/vis_o3d.py。下圖是對(duì)驗(yàn)證集中id=000134的數(shù)據(jù)進(jìn)行可視化的結(jié)果。

四、模型評(píng)估

評(píng)估指標(biāo)同2D檢測(cè)類(lèi)似, 也是采用AP, 即Precison-Recall曲線下的面積。不同的是, 在3D中可以計(jì)算3D bbox, BEV bbox 和 (2D bbox, AOS)的AP。先說(shuō)明一下AOS指標(biāo)和Difficulty的定義。

Difficulty: 根據(jù)2d框的高度, 遮擋程度和截?cái)喑潭? 把bbox分為 difficulty=0, 1, 2 或其它。相關(guān)定義具體查看代碼pre_process_kitti.py#L16-32。這里以3D bbox為例, 介紹類(lèi)別=Car,difficulty=1AP的計(jì)算。注意, difficulty=1的數(shù)據(jù)實(shí)際上是指difficulty<=1的數(shù)據(jù); 另外這里主要介紹大致步驟, 具體實(shí)現(xiàn)見(jiàn)evaluate.py。1.計(jì)算3D IoU (utils/process.pyiou3d(bboxes1, bboxes2)), 用于判定一個(gè)det bbox是否和gt bbox匹配上 (IoU > 0.7)。2.根據(jù)類(lèi)別=Car,difficulty=1選擇gt bboxes和det bboxes。

gt bboxes: 選擇類(lèi)別=Car,difficulty<=1的bboxes;
det bboxes: 選擇預(yù)測(cè)類(lèi)別=Car的bboxes。

3. 確定P-R曲線中的點(diǎn)對(duì)(Pi, Ri)對(duì)應(yīng)的score閾值。

五、總結(jié)點(diǎn)云檢測(cè), 相比于點(diǎn)云中其它任務(wù)(分類(lèi), 分割和配準(zhǔn)等), 邏輯和代碼都更加復(fù)雜, 但這并不是體現(xiàn)在網(wǎng)絡(luò)結(jié)構(gòu)上, 更多的是體現(xiàn)在數(shù)據(jù)增強(qiáng), Anchors和GT生成, 單幀推理等。點(diǎn)云檢測(cè), 相比于2D圖像檢測(cè)任務(wù), 不同的是坐標(biāo)系變換, 數(shù)據(jù)增強(qiáng)(碰撞檢測(cè), 點(diǎn)是否在立方體判斷等), 斜長(zhǎng)方體框IoU的計(jì)算等; 評(píng)估方式因?yàn)榭紤]到DontCare, difficulty等, 也更加復(fù)雜一些.初次接觸基于KITTI的3D檢測(cè), 如有理解錯(cuò)誤的, 還請(qǐng)指正; 內(nèi)容太多了, 如有遺漏, 待以后補(bǔ)充。審核編輯：李倩

聲明：本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。舉報(bào)投訴