自動駕駛系列（二）——環境感知之行人檢測技術

環境感知作為自動駕駛車輛實現自主行駛的基礎和前提，透過對環境資訊和車內資訊的採集、處理與分析，最終得到車輛周邊三維空間中全景分割結果。

一、什麼是自動駕駛行人檢測技術

行人檢測技術是利用計算機視覺技術判斷影像或者影片序列中是否存在行人並給予精確定位。

二、行人檢測的難點

l 外觀差異大。包括視覺、姿態、服飾和附著物、光照、成像距離等。行人不同的運動姿態、角度，都會顯示出不同的外觀，而且成像距離遠近不一，也會造成外觀大小不同。

l 會出現遮擋問題，在行人密集的地方，會發生行人被遮擋的問題，或者是被周圍的建築物遮擋住。

l 背景複雜，有些物體的外觀、造型、顏色、紋理等會比較接近人體，例如雕塑或人像廣告牌、假人等。

l 檢測速度，行人檢測一般使用了比較複雜的模型，運算量相當大，要達到實時非常困難，需要進行大量的最佳化。

三、行人資料標註的主要型別和標註規則

行人檢測是監督學習任務，模型訓練需要行人在影像中的分類和位置資訊，首先對行人資訊進行標註，然後用標註資訊訓練目標檢測模型。

1. 主要型別

l Pedestrian：行人（站立），路邊的人，坐著的人，蹲著的人或彎腰的人。

l Rider：二輪車騎行者，騎摩托⻋/大電動⻋的人，騎自行⻋的人。

l PersonSitting：坐著的人，蹲著的人或彎腰的人。

l MotorCyclist：騎摩托⻋/大電動⻋的人。

l BiCyclist：騎自行⻋的人。

2. 標註規則

2D拉框：

l 物體大小要求：標註短邊大於10畫素且長邊大於20畫素的物體。

l 遮擋截斷要求：標註遮擋小於75%的物體。

l 對於行人頭部以下被遮擋、不完整的行人，要預測其真實大小。由於行人行走於地面，則邊框從頭部延伸至地面。

3D拉框：

l 3D框內需要包含目標主體所有點雲，不可漏點，但不應包含噪點。

l 若目標物體邊界清晰，則3D框邊界距離目標主體真實邊界最多不能大於10cm。

l 如目標因掃描不全而導致點雲缺失，需根據標尺功能輔助與影像中主體的實際關係來腦補缺失面邊界。

l 行人距離過近時，行人框可能有一定程度的重疊，此時正常標註即可。

l 行人若攜帶小物體，比如雨傘、揹包等情況，行人的3D框需要包含這些小物體。

l 要注意三檢視是否貼合；注意正前方方向是否正確。

l 所有地面上的目標物體其3D標註框底部須貼合地面，不能高於地面或低於地面。

l 當目標距離過遠導致目標所在區域點雲稀疏、沒有地面點或者難以確定3D框下底面高度的情況時，可參考最近的地面點雲線的高度和點雲中距離最近的3D框來確定大致高度。

l 對於不能準確估計旋轉⻆度的行人，旋轉⻆度誤差標準適當放寬。

3. 注意事項

l 不遺漏框，不誤標框，不多標框

l 車上的人需要單獨標註，如二輪車三輪車騎手、四輪車的司機、站在貨車車廂上的人等都需要單獨標註；但點雲中若車內人的框完全在車的點雲框內，車內人的框不用單獨框出來。

l 人攜帶物（人打傘 ，人拉行李箱等）只標人的主體部分；人抱小孩，連小孩一起標一個框；人拉小孩，人和小孩兩個框。

l 人坐在輪椅上，只標人，不標輪椅。人坐在輪椅/嬰兒車上，能看到明顯的人的就標人，不用標車，從輪椅/嬰兒車後面看不清人的就標註車為未知車輛。

景聯文科技｜AI基礎資料服務｜資料採集｜資料標註｜假指紋製作｜指紋防偽演算法

助力人工智慧技術加速數字經濟相關產業質量變革，賦能傳統產業智慧化轉型升級

著作權歸景聯文科技所有，商業轉載請聯絡景聯文科技獲得授權，非商業轉載請註明出處。