阿里達摩院自動駕駛新突破,實現 3D 物體檢測精度與速度兼得 | CVPR 2020 論文解讀
近期,阿里巴巴達摩院的一篇論文入選計算機視覺頂會 CVPR 2020,該論文提出了一個通用、高效能的自動駕駛檢測器,首次實現 3D 物體檢測精度與速度的兼得,有效提升自動駕駛系統安全效能。
3D 目標檢測需輸出物體類別及在三維空間中的長寬高、旋轉角等資訊
與普通的 2D 影像識別應用不同,自動駕駛系統對精度和速度的要求更高,檢測器不僅需要快速識別周圍環境的物體,還要對物體在三維空間中的位置做精準定位。然而,目前主流的單階段檢測器和兩階段檢測器均無法平衡檢測精度和速度,這極大地限制了自動駕駛安全效能。
此次,達摩院在論文中提出了新的思路即將兩階段檢測器中對特徵進行細粒度刻畫的方法整合到單階段檢測器。具體來說,達摩院在訓練中利用一個輔助網路將單階段檢測器中的體素特徵轉化為點級特徵,並施加一定的監督訊號,同時在模型推理過程中輔助網路無需參與計算,因此,在保障速度的同時又提高了檢測精度。
以下是第一作者 Chenhang He 對該論文做出的解讀:
1. 背景
目標檢測是計算機視覺領域的傳統任務,與影像識別不同,目標檢測不僅需要識別出影像上存在的物體,給出對應的類別,還需要將該物體透過 Bounding box 進行定位。根據目標檢測需要輸出結果的不同,一般將使用 RGB 影像進行目標檢測,輸出物體類別和在影像上 2D bounding box 的方式稱為 2D 目標檢測。而將使用 RGB 影像、RGB-D 深度影像和鐳射點雲,輸出物體類別及在三維空間中的長寬高、旋轉角等資訊的檢測稱為 3D 目標檢測。
從點雲資料進行 3D 目標檢測是自動駕駛(AV)系統中的的關鍵元件。與僅從影像平面估計 2D 邊界框的普通 2D 目標檢測不同,AV 需要從現實世界估計更具資訊量的 3D 邊界框,以完成諸如路徑規劃和避免碰撞之類的高階任務。這激發了最近出現的 3D 目標檢測方法,該方法應用卷積神經網路(CNN)處理來自高階 LiDAR 感測器的點雲資料。
目前基於點雲的 3D 物體檢測主要有兩種架構:
- 單階段檢測器 (single-stage): 將點雲編碼成體素特徵 (voxel feature), 並用 3D CNN 直接預測物體框, 速度快但是由於點雲在 CNN 中被解構, 對物體的結構感知能力差, 所以精度略低。
- 兩階段檢測器 (two-stage): 首先用 PointNet 提取點級特徵, 並利用候選區域池化點雲 (Pooling from point cloud) 以獲得精細特徵. 通常能達到很高的精度但速度很慢。
2. 方法
目前業界主要以單階段檢測器為主,這樣能保證檢測器能高效地在實時系統上進行。 我們提出的方案將兩階段檢測器中對特徵進行細粒度刻畫的思想移植到單階段檢測中,透過在訓練中利用一個輔助網路將單階段檢測器中的體素特徵轉化為點級特徵,並施加一定的監督訊號,從而使得卷積特徵也具有結構感知能力,進而提高檢測精度。而在做模型推斷時,輔助網路並不參與計算(detached), 進而保證了單階段檢測器的檢測效率。另外我們提出一個工程上的改進,Part-sensitive Warping (PSWarp), 用於處理單階段檢測器中存在的 “框 - 置信度 - 不匹配” 問題。
主體網路
用於部署的檢測器, 即推斷網路, 由一個骨幹網路和檢測頭組成。骨幹網路用 3D 的稀疏網路實現,用於提取含有高語義的體素特徵。檢測頭將體素特徵壓縮成鳥瞰圖表示,並在上面執行 2D 全卷積網路來預測 3D 物體框。
輔助網路
在訓練階段,我們提出一個輔助網路來抽取骨幹網路中間層的卷積特徵,並將這些特徵轉化成點級特徵 (point-wise feature)。在實現上,我們將卷積特徵中的非零訊號對映到原始的點雲空間中, 然後在每個點上進行插值,這樣我們就能獲取卷積特徵的點級表示。 令 {():j=0,…,M} 為卷積特徵在空間中的表示, {:i=0,…,N}為原始點雲, 則卷積特徵在原始點上的表示 等於
輔助任務
我們提出兩種基於點級特徵的監督策略來幫助卷積特徵獲得很好的結構感知力,一個前景分割任務,一箇中心點回歸任務。
具體來說,相比於 PointNet 特徵提取器 (a), 卷積網路中的卷積操作和下采樣會造成點雲結構的破壞(b)使得特徵對物體的邊界與內部結構不敏感。我們利用分割任務來保證部分卷積特徵在下采樣時不會被背景特徵影響 ©,從而加強對邊界的感知。我們利用中心點回歸任務來加強卷積特徵對物體內部結構的感知能力 (d),使得在少量點的情況下也能合理的推斷出物體的潛在大小、形狀。我們使用 focal loss 和 smooth-l1 對分割任務與中心迴歸任務分辨進行最佳化。
3. 工程上的改進
在單階段檢測中, feature map 和 anchor 的對齊問題是普遍存在的問題, 這樣會導致預測出來的邊界框的定位質量與置信度不匹配,這會影響在後處理階段(NMS)時, 高置信度但低定位質量的框被保留, 而定位質量高卻置信度低的框被丟棄。在 two-stage 的目標檢測演算法中,RPN 提取 proposal,然後會在 feature map 上對應的的位置提取特徵(roi-pooling 或者 roi-align),這個時候新的特徵和對應的 proposal 是對齊的。我們提出了一個基於 PSRoIAlign 的改進,Part-sensitive Warping (PSWarp), 用來對預測框進行重打分。
如上圖, 我們首先修改最後的分類層以生成 K 個部分敏感的特徵圖,用{X_k:k = 1,2,…,K}表示,每個圖都編碼物件的特定部分的資訊。例如,在 K = 4 的情況下,會生成 {左上,右上,左下,右下} 四個區域性敏感的特徵圖。同時,我們將每個預測邊界框劃分為 K 個子視窗,然後選擇每個子視窗的中心位置作為取樣點。這樣,我們可以生成 K 個取樣網格{S^k:k = 1,2,…,K},每個取樣網格都與該區域性對應的特徵圖相關聯。如圖所示,我們利用取樣器, 用生成的取樣網格在對應的區域性敏感特徵圖上進行取樣,生成對齊好的特徵圖。最終能反映置信度的特徵圖則是 K 個對齊好特徵圖的平均。
4. 效果
我們提出的方法 (黑色) 在 KITTI 資料庫上的 PR Curve, 其中實線為兩階段方法, 虛線為單階段方法。 可以看到我們作為單階段方法能夠達到兩階段方法才能達到的精度。
在 KITTI 鳥瞰 (BEV) 和 3D 測試集的效果。優點是在保持精度的同時,不增加額外的計算量,能達到 25FPS 的檢測速度。
作者介紹:
第一作者為達摩院研究實習生 Chenhang He,其他作者分別分別為達摩院高階研究員、IEEE Fellow 華先勝,達摩院高階研究員、香港理工大學電子計算學系講座教授、IEEE Fellow 張磊,達摩院資深演算法專家黃建強及達摩院研究實習生 Hui Zeng。
原文連結: https://developer.aliyun.com/article/752688
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69956605/viewspace-2684961/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- CVPR2020 | 阿里達摩院自動駕駛新成果,3D物體檢測精度與速度的兼得阿里自動駕駛3D
- 輪廓檢測論文解讀 | 整體巢狀邊緣檢測HED | CVPR | 2015巢狀
- 阿里雲與達摩院合作 AHPA 彈性預測論文被頂會 ICDE 錄用阿里
- FCOS論文復現:通用物體檢測演算法演算法
- CVPR 2017論文解讀:用於單目影象車輛3D檢測的多工網路3D
- CVPR 2017論文解讀:用於單目影像車輛3D檢測的多工網路3D
- 論文導讀 | OpenAI的實體消歧新發現OpenAI
- 輪廓檢測論文解讀 | Richer Convolutional Features for Edge Detection | CVPR | 2017
- CVPR 2019|PoolNet:基於池化技術的顯著性檢測 論文解讀
- EMNLP 2020 | 微軟亞洲研究院精選論文解讀微軟
- 阿里自動駕駛有了新突破!讓車輛擁有更好的夜間“視力”阿里自動駕駛
- 購物網站的設計與實現論文網站
- [論文閱讀]阿里DIN深度興趣網路之總體解讀阿里
- OPCV 移動物體檢測
- 阿里DMR論文閱讀阿里
- 新經濟、新動能:阿里研究院解讀政府工作報告阿里
- PTAV:實時高精度目標追蹤框架 | ICCV 2017論文解讀框架
- 自動駕駛中的障礙物行為預測自動駕駛
- CVPR 2017論文解讀:特徵金字塔網路FPN特徵
- 80篇CVPR 2020論文分方向整理:目標檢測/影像分割/姿態估計等
- [論文閱讀]阿里DIEN深度興趣進化網路之總體解讀阿里
- 突破傳統缺陷檢測的界限,"Defect Spectrum"首次實現超高精度豐富語義的工業缺陷檢測
- 30秒輕鬆實現TensorFlow物體檢測
- AI每日精選:北京啟動自動駕駛載人載物測試;阿里AI聚焦家庭場景AI自動駕駛阿里
- CVPR 2022 | 美團技術團隊精選論文解讀
- INTERFACE空降上海, Momenta解讀自動駕駛技術與挑戰自動駕駛
- 自動駕駛資料閉環:實現高階自動駕駛的必由之路自動駕駛
- 一文讀懂目標檢測模型(附論文資源)模型
- 醫學AI論文解讀 |Circulation|2018| 超聲心動圖的全自動檢測在臨床上的應用AI
- 3D物體檢測、行為預測和運動檢測全涵蓋,一文解析鐳射雷達中時序融合的研究現狀和發展方向3D
- 速度與精度的結合 - EfficientNet 詳解
- Halcon缺陷檢測例項轉OpenCV實現(三) 物體凸缺陷檢測OpenCV
- 先把一兩個量子位元的精度做到極致:阿里達摩院量子實驗室剛剛破了項世界紀錄阿里
- 【直播預告】阿里雲明星導師帶你走進人工智慧,解讀達摩院阿里人工智慧
- 【CVPR2018】物體檢測中的結構推理網路
- 當資料庫遇上"自動駕駛",阿里雲 DAS 在自治診斷的突破資料庫自動駕駛阿里
- 中國信通院:2020年全球自動駕駛戰略與政策觀察(附下載)自動駕駛
- 『論文精讀』Vision Transformer(VIT)論文解讀ORM