一、背景
近年來，3D 點雲分析在自動駕駛和機器人等領域有著諸多的應用，因此得到了各界廣泛的關注。主流的點雲分析任務都需要對點雲的 3D 形狀進行高階別的理解，比如點雲識別。但從不規則分佈的 3D 點中很難推理學習其隱含的 3D 形狀。隨著以卷積神經網路（CNN）為代表的深度學習方法的興起，大量的研究工作致力於將 CNN 在影象分析上的巨大成功複製到點雲處理領域。然而由於點雲資料的不規則性，經典的影象網格卷積難以適用。
一般來說，在點雲上進行卷積學習主要面臨三大挑戰：
點雲由無序的點集構成，因此卷積需要對點的輸入順序具有置換不變性。
點雲分佈於 3D 幾何空間，因此卷積應當對點雲的剛體變換具有魯棒性，比如平移、旋轉等。
點雲形成一個隱含的形狀，因此卷積得到的表徵應當具備有區分力的「形狀意識」。
本文提出 Relation-Shape CNN（RS-CNN）來緩解上述挑戰。RS-CNN 的核心是從幾何關係中推理學習 3D 形狀，因為在本文看來，3D 點之間的幾何關係能夠有表現力的編碼其隱含的形狀資訊。所提出的 RS-CNN 在點雲分類、部件分割和法向估計三個任務上均達到了最佳水平。並且得益於對幾何關係的建模，RS-CNN 能夠自然地實現置換不變性以及剛體變換魯棒性。為了驗證 RS-CNN 的幾何形狀推理能力，本文還在 3D 點雲的 2D 投影空間中做了測試，實驗表明，RS-CNN 依然具備優秀的形狀識別效能。
二、Relation-Shape CNN（RS-CNN）
RS-CNN 的基本卷積運算元如圖 2 所示。為了實現區域性卷積歸納學習，我們將區域性點雲子集 
建模為一個球形鄰域，該鄰域的中心點為取樣點 xi，其餘點作為 xi 的鄰居點
。在該鄰域上，我們構建了一個一般性的卷積操作方法：
其中 x 是三維點，f 是特徵向量，dij 是點 xi 和 xj 的 3D 歐式距離，r 是球半徑。卷積結果 f Psub 通過首先使用函式 τ 對鄰域中每一個點進行特徵變換，然後使用函式 A 聚集變換後的特徵，最後經過非線性 σ 啟用後獲得。注意到僅當 A 是對稱函式，並且函式 τ 對鄰域中每一個點均共享引數時，f Psub 對輸入點的順序具有置換不變性。
在經典網格卷積中，特徵變換函式實現為
，其中 wj 為可學習的卷積權重，•表示按元素相乘。該卷積方法在點雲資料上操作時會有兩個缺陷：1）由於 wj 不共享引數，因此該卷積對輸入點集不具備置換排列不變性。2）在反向傳播中 wj 的梯度僅與孤立點 xj 相關，因此該卷積難以捕捉到點間關係。
為了克服上述問題，我們將卷積轉換為從幾何關係中學習。在方法上，我們將 wj 替換為 wij，並讓 wij 從幾何關係向量 hij 中學習一個高維的對映函式 M。hij 是預先定義的點 xi 和 xj 之間的幾何先驗。該過程可以描述為：
其中對映函式 M 的目標是從幾何先驗中學習一個高維的、有表現力的關係表達，以編碼 3D 點集的空間佈局，這裡我們使用共享的多層感知器（MLP）實現對映函式 M。以這種方式，wj 巧妙地轉換為 wij，它的梯度由預定義的幾何先驗 hij 決定，且與點 xi 和 xj 均幾何相關。於是，公式（1）中的 f Psub 變為：
該卷積方法聚集了點 xi 和所有鄰居點 
之間的幾何關係表達，因此可以對 3D 點的空間分佈進行顯式的推理，進而有區分力的反映其隱含的 3D 形狀。其中幾何先驗 hij 可以靈活設定，因為對映函式 M 能將 hij 對映為高維的關係向量，以實現與特徵 fxj 進行通道對齊。在經典影象 CNN 中，隨著影象解析度的降低，特徵通道數會逐漸增加以提升表達能力。基於此，我們在 f Psub 上增加共享的 MLP 以實現通道提升對映。
圖 3 為經典 2D 網格卷積的示意圖。注意到 wj 總是隱含著 xi 和 xj 的一個固定位置關係，也就是說，wj 在學習過程中受到了限制，實際上編碼了一種規則的網格關係。因此，我們所提出的關係卷積方法具有通用性，它也能夠建模經典的 2D 柵格卷積。
圖 4 展示了 RS-CNN 應用於點雲分類和點雲分割的網路框架。將所提出的幾何關係卷積方法搭配均勻的點雲下采樣演算法，可以很容易實現類似影象 CNN 的多層神經網路，相關操作簡單高效。
三、實驗
為了驗證 RS-CNN 的有效性，我們在主流的點雲分析任務上進行了測試，包括點雲分類、部件分割和法向預測。ModelNet40 上的分類結果如表 1 所示，在僅使用 3D 座標 xyz 和 1k 個稀疏點作為輸入的情況下，RS-CNN 仍然實現了最佳分類效果。
ShapeNet part 上的分割效果如圖 6 所示。儘管點雲所形成的形狀多種多樣，並且很容易產生混淆，RS-CNN 依然可以準確地將部件分割出來。
ModelNet40 上的法向預測結果如圖 7 所示。與 PointNet 以及 PointNet++相比，RS-CNN 可以取得更加準確的法向預測結果。儘管如此，RS-CNN 仍然難以有效推理棘手的形狀，比如旋轉樓梯以及錯綜複雜的植物。
公式（3）中的幾何先驗 可以進行靈活地定義，我們在 ModelNet40 上測試了五個比較直觀的例子，結果如表 6 所示。可以看到，僅僅使用 3D 歐式距離作為低維幾何關係（model A），RS-CNN 依然能夠取得 92.5% 的精度，這很讓人印象深刻。此外，為了測試 RS-CNN 的幾何形狀推理能力，我們強制置零某一維的座標值，即將 3D 點雲投影到 2D 空間（model E，圖 9），得到的分類精度均接近 92.2。這證明了 RS-CNN 不僅可以從 3D 點雲中學習 3D 形狀，還能從 2D 投影空間中推理 3D 形狀。
為了驗證所提出的幾何關係卷積的魯棒性，我們設定幾何先驗 hij 為 3D 歐式距離，然後在 ModelNet40 上進行魯棒性測試，結果如表 7 所示。雖然幾何關係 hij 能夠做到旋轉不變，但網路初始輸入的特徵 xyz 仍然會受到旋轉的影響。針對這一問題，我們引入法向將每一個區域性點集旋轉到以法向和取樣點確定的區域性座標系中，實現了旋轉不變。但該旋轉會給形狀識別帶來困難，因此分類精度會有所下降。
論文：Relation-Shape Convolutional Neural Network for Point Cloud Analysis
論文地址：https://arxiv.org/abs/1904.07601
專案主頁：https://yochengliu.github.io/Relation-Shape-CNN/
摘要：點雲分析非常具有挑戰性，因為從一系列不規則點中很難捕捉其隱含的形狀。在本文中，我們提出了 RS-CNN，即 Relation-ShapeConvolutionalNeuralNetwork，它致力於擴充經典的規則網格 CNN 至不規則的配置以進行點雲分析。RS-CNN 的核心是從關係中學習，也就是學習 3D 點間的幾何拓撲約束。具體來說，區域性點集的卷積權重被轉換為從幾何先驗中學習一個高維的關係表達，該幾何先驗由點集中的一個取樣點和剩餘點預先定義而來。這樣，歸納後的區域性卷積表示可以對 3D 點的空間佈局進行顯式的推理，進而獲得有區分力的形狀意識和良好的魯棒性。使用該卷積可以搭建一個分層的架構 RS-CNN，以實現具有上下文形狀意識的學習方法來進行點雲分析。在具有挑戰性的基準資料上，橫跨三個任務的大量實驗研究表明，RS-CNN 達到了當前最佳水平。
注：作者正在維護一個「點雲處理最新論文集」專案，感興趣的讀者可檢視以下連結：https://github.com/Yochengliu/awesome-point-cloud-analysis