什麼是3D點雲資料？該如何標註它？| 資料標註

自動駕駛汽車嚴重依賴輸入資料來做出駕駛決策。 一般來 講，資料越詳細，車輛做出的決策就越好 車輛行駛的也就 更安全。雖然現代相機可以捕獲非常詳細的 資料 表示，但輸出仍然是 2D的，它限制了我們可以提供給操作車輛的神經網路的資訊 。 相機捕捉資訊的能力有限 ， 相機可能無法在所有環境或情況下工作。例如，下雨可能會使影像幾乎無用，而鐳射雷達仍 可以獲取 資訊。

 

 

鐳射雷達到底是什麼？

鐳射雷達 代表光 檢測和 測距。簡而言之，它是一種遙感技術，使用鐳射脈衝形式的光來測量感測器和目標物體之間的距離和尺寸。在自動駕駛汽車的背景下，鐳射雷達感測器用於檢測和查明物體相對於車輛的位置，例如其他汽車、行人和建築物。人工神經網路的日益普及使鐳射雷達比以前更有用。

鐳射雷達技術自 1960年代以來一直被使用，當時它被安裝在飛機上以掃描它們飛過的地形。隨著GPS的出現，LiDAR在1980年代變得越來越流行，當時它開始被用於構建真實世界位置的3D模型。

 

鐳射雷達如何工作？

大多數 LiDAR系統由四個元素組成：

1) 鐳射： 向物體傳送光脈衝（通常是紫外線或近紅外線）。

2) 掃描器： 調節鐳射掃描目標物體的速度和鐳射到達的最大距離。

3) 感測器： 測量來自鐳射的光從目標物體反彈並返回系統所需的時間（從而測量距離）。

4)  GPS： 跟蹤鐳射雷達系統的位置，以確保距離測量的準確性。

現代 LiDAR系統通常每秒可以傳送高達500k的脈衝。源自這些脈衝的測量值被聚合成一個點雲，它本質上是一組座標，代表系統已感應到的物件。點雲用於建立LiDAR周圍空間的3D模型。

每種顏色代表一個不同的語義類別。

有兩種一般型別的 LiDAR系統：機載和地面。由於我們感興趣的用例是自動駕駛汽車，我們將主要關注地面鐳射雷達。地面鐳射雷達附著在固定在地面上的物體上，並在所有可見方向上進行掃描。它們可以是靜態的（例如，連線到不動的三腳架或建築物上）或移動的（例如，連線到汽車或火車上）。

使用鐳射雷達資料進行深度學習

考慮到 LiDAR系統生成的輸出型別，將它們與神經網路相結合似乎是一種自然而然的選擇，事實上，在點雲上執行的神經網路已被證明是有效的。鐳射雷達點雲在自動駕駛汽車上的應用可以分為 兩類 ：

·  以物件檢測和場景理解為目的的實時環境感知和處理。

·  生成用於物件定位和參考的高畫質地圖和城市模型。

這聽起來可能很複雜，但實際上它只是意味著 LiDAR 資料用於 語義分割 、 物件檢測 /定位 和物件分類，唯一的區別是現在我們在 3D中進行，這使得我們的模型有更多的細微差別.

對於在 LiDAR資料上執行的神經網路來說，一個有趣的挑戰是，基於掃描時間、天氣條件、感測器型別、距離、背景和大量其他因素，存在大量變化。由於鐳射雷達的工作方式，物體的密度和強度變化很大。再加上感測器經常有噪聲，尤其是LiDAR資料通常不完整（由於某些材料的低表面 反射率 和城市背景雜亂等因素），處理 LiDAR資料的神經網路需要能夠處理很多變化。3D資料的另一個問題是，與2D影像不同，LiDAR感測器的點沒有直觀的順序，這就需要 置換和方向不變性 在我們的模型中，並非所有架構都滿足。

 

為處理 LiDAR資料而提出的四個有趣的架構系列如下：

1） 基於點雲的方法： 這些網路使用不同的方法直接在點雲上執行。

2) 基於體素的方法： 3D資料被劃分為體素的3D網格（本質上是立方體網格），並且在類似 CNN 的架構中應用 3D卷積 和池化。

3） 基於圖的方法： 這些方法使用點雲中存在的固有幾何來構建圖，並應用常見的 GNN架構，如圖 CNN和圖注意網路 （它們也恰好滿足前面提到的置換不變性條件）。

4) 基於檢視的方法： 這些方法依賴於使用來自 2D計算機視覺的久經考驗的架構建立點雲的2D投影。在這種情況下，可以幫助提高模型效能的一種策略是從不同角度建立多個投影並投票支援最終預測。

標註 LiDAR資料

正如我們現在所知，鐳射雷達資料上最常見的深度學習任務是語義分割、物件檢測和分類的變體。因此， LiDAR標註與為這些任務標註影像非常相似。人工標註非常常見，但由於LiDAR資料更復雜且可能令人困惑的性質，公司正試圖使用預先訓練的網路儘可能地自動化該過程。

由於我們正在處理 3D資料，由於其3D特性，對其進行 標註 似乎會變得很麻煩。情況不一定如此。對於 3D語義分割和3D物件分類，鑽頭與2D對應物幾乎相同，除了我們現在處理的空間中的稀疏點比2D影像中的畫素要多。至於3D物件檢測，唯一增加的複雜性 標註 是除了物件的位置之外，我們還需要 標註 它的方向，也就是物件所面對的方向。

可以看出， LiDAR資料標註的主要障礙並不是真正源於其3D特性。只是LiDAR資料看起來不像常規影像那樣簡單直觀，因此 標註 可能需要更長的時間，尤其是對於不熟悉此類資料的人。

如前所述， LiDAR是一種使用鐳射脈衝和感測器構建感測器周圍環境的3D檢視的技術。雖然它自1960年代以來一直在使用，但如今最常見的用例之一是將LiDAR資料與自動駕駛汽車的神經網路相結合。常見的神經架構已被用於對LiDAR資料進行操作，儘管需要進行一些必要的調整。雖然LiDAR生成的點雲的性質使得資料格式與2D影像截然不同，但LiDAR 標註 過程並沒有太大變化。

AI基礎資料服務｜資料採集｜資料標註｜假指紋製作｜指紋防偽演算法

助力人工智慧技術加速數字經濟相關產業質量變革，賦能傳統產業智慧化轉型升級