資料標註案例分享：車輛前置攝像頭資料採集標註專案丨曼孚科技

在自動駕駛技術中，感知是最基礎的部分，沒有對車輛周圍三維環境的定量感知，就猶如人沒有了眼睛，無人駕駛的決策系統就無法正常工作。

與其他應用場景相比，自動駕駛的應用場景相對複雜，尤其面對複雜多變的路況環境，感知技術的突破需要依賴相應的資料採集標註專案的支援。

一.專案背景

車輛前置道路資訊採集主要解決兩個個關鍵需求：

1. 障礙物的距離資訊;2. 相對速度向量。

透過對障礙物的連續追蹤，根據距離的變化和時間間隔得到相對速度資訊，以滿足自動駕駛相關業務的需求。

多城市多道路，會帶來不同的路況，訊號燈種類，人流和車流情況變化，多天氣資料會影響影像識別精度。

二.專案方案

☆鐳射雷達+毫米波雷達+單目攝像頭。

透過鐳射雷達採集點雲資料，生成點雲連續幀資料。在點雲中標註每個障礙物的位置、標籤、ID。鐳射資料可以精確測量障礙物距離本身的距離資訊，同時透過前後幀的同ID車輛位置變化，計算出障礙物相對速度向量資訊。

透過毫米波雷達，同樣可以獲得周圍環境的點雲資料，然後透過對連續幀的標註取得距離和相對速度資訊。

三.採集方案

☆採集資料+既有資料收集。

對於鐳射、毫米雷達波和單目攝像頭資料，需要採集新資料。

現有的行車記錄儀資料收集，可以收集多城市，多道路，多天氣下的資料，按照需求的比例分佈。然後根據單目測距的方式進行標註和結果匯出。行車記錄儀收集的資料可以作為單目攝像頭的演算法驗證。

四.標註規範

☆標註順序：

從正前方開始找物體——在3D上標註並調框(腦補大小和方向)——在出現的其他方位裡標註對應物——選擇型別、狀態、可見度——順時針回到正前方。

☆標註物件：車、人、物

-乘用車(設計用來載人的車輛)

-卡車(設計用來拉貨的車輛，包括小型皮卡車)

-卡車頭

-拖斗(無論有沒有被拖車連線都要標註，如：油罐，集裝箱)

-巴士(10人以上載客巴士)

-摩托車(有人)

-摩托車(無人)

-腳踏車(有人)

-腳踏車(無人)

-腳踏車架

-集裝箱

-其他交通工具(除以上型別車輛、車上有車的情況)

-成年人

-未成年人

-嬰兒車

-輪椅

-動物

-交通錐桶

-臨時路障

-臨時交通標誌/路標

-可推拉物體

-雜物和垃圾

-帶物體的行人

☆屬性：

-3D可見度

0%-25%

26%-50%

51%-75%

76%-100%

☆車輛狀態：

1)停放(長時間停放，沒有即將運動的趨勢)。

2)停止(如等紅燈，隨時有可能移動的車輛)。

3)運動(正在移動的車輛)。

☆特殊規則：

框體和腦補：

1)緊緻貼合掃描完整的邊緣，不完整的邊緣需要腦補。

2)如果原始點雲只掃描到物體的一部分，需要腦補出合理的尺寸。

3)當點陣不完整，框體應貼合離採集車最近的一側。

4)框體不允許懸空，或是陷入地面。

5)框體不包括車的後視鏡、天線。

3D標註範圍：

1)可行駛區域 120米(採集車可以開到的區域，人行道)。

2)不可行駛區域 90米(被牆體隔離的停車場等)。

標註原則：

1)任何可能危及採集車行駛安全的物體都要標註。

最小3D點陣：

1)大於等於5個點，並且只要可以確定該物體是我們需要標註的物件。

最小2D框體：

1)20x20 pixels(由於過遠導致的，如果腦補超過20x20仍需要標註)。

2)截斷(out of image)超過50%仍要標註(只要2D中出現一點點就要標註)。

五.標註物件型別詳解

需要標註的物件有21種：

乘用小型車、卡車、卡車頭、拖斗、巴士、摩托車、腳踏車、腳踏車架、集裝箱、其他交通工具、成人行人、未成年行人、嬰兒車、輪椅、動物、帶物體的行人、雜物或垃圾、交通錐或交通杆、臨時路障、臨時交通標誌/路標、可推拉的物體。

以下選取部分內容簡單介紹：

1.乘用小型車

主要給個人使用的機動車。例如：轎車、兩廂車、小貨車、廂式貨車、mini貨車、SUV以及吉普車。

1)10座以上叫公交。

2)被設計主要用來拉貨物的叫卡車。

2.卡車

主要設計用來拉貨的大型機動車。

包括：皮卡、半掛車、卡車、牽引車。在牽引車後的拖斗需要被獨立標為“拖斗”。

3.成人行人

注意：框需要包含行人的四肢、動作。例如坐著或站著的成人或小孩。

4.未成年行人

5.交通錐或交通杆

1)所有型別的交通錐標和交通杆。

2)方向朝著採集車，不用太精準。

6.可推拉的物體

物體被設計來讓行人推或拉的。例如手推車、手推車、可推式垃圾箱或購物車。通常這些車不是被設計成載人的。

六.硬體平臺

☆裝置清單：

☆裝置配置方案：

☆感測器引數：

鐳射雷達

GPS/IMU單元

七.軟體平臺

☆軟體開發：

☆軟體功能：

本系統由4個鐳射雷達、ECU融合器、同步時鐘等裝置組成。每個雷達對點雲資料進行預處理、分割、特徵提取處理後，將訊號送入ECU融合器內進行資料融合、目標跟蹤、分類等，最終輸出目標序列。