物體姿態估計在許多現實世界應用中起到至關重要的作用，例如具身智慧、機器人靈巧操作和擴增實境等。
在這一領域中，最先受到關注的任務是例項級別 6D 姿態估計，其需要關於目標物體的帶標註資料進行模型訓練，使深度模型具有物體特定性，無法遷移應用到新物體上。後來研究熱點逐步轉向類別級別 6D 姿態估計，用於處理未見過的物體，但要求該物體屬於已知的感興趣類別。
而零樣本 6D 姿態估計是一種更具泛化性的任務設定，給定任意物體的 CAD 模型，旨在場景中檢測出該目標物體，並估計其 6D 姿態。儘管其具有重要意義，這種零樣本的任務設定在物體檢測和姿態估計方面都面臨著巨大的挑戰。
圖 1. 零樣本 6D 物體姿態估計任務示意
最近，分割一切模型 SAM [1] 備受關注，其出色的零樣本分割能力令人矚目。SAM 透過各種提示，如畫素點、包圍框、文字和掩膜等，實現高精度的分割，這也為零樣本 6D 物體姿態估計任務提供了可靠的支撐， 展現了其前景的潛力。
因此，來自跨維智慧、香港中文大學（深圳）、華南理工大學的研究人員提出了一個新穎的零樣本 6D 物體姿態估計框架 SAM-6D。該論文目前已被 CVPR 2024 接受。
論文連結: https://arxiv.org/pdf/2311.15707.pdf
程式碼連結: https://github.com/JiehongLin/SAM-6D
SAM-6D 透過兩個步驟來實現零樣本 6D 物體姿態估計，包括例項分割和姿態估計。相應地，給定任意目標物體，SAM-6D 利用兩個專用子網路，即例項分割模型（ISM）和姿態估計模型（PEM），來從 RGB-D 場景影像中實現目標；其中，ISM 將 SAM 作為一個優秀的起點，結合精心設計的物體匹配分數來實現對任意物體的例項分割，PEM 透過區域性到區域性的兩階段點集匹配過程來解決物體姿態問題。SAM-6D 的總覽如圖 2 所示。
圖 2. SAM-6D 總覽圖
總體來說，SAM-6D 的技術貢獻可概括如下：
SAM-6D 是一個創新的零樣本 6D 姿態估計框架，透過給定任意物體的 CAD 模型，實現了從 RGB-D 影像中對目標物體進行例項分割和姿態估計，並在 BOP [2] 的七個核心資料集上表現優異。
SAM-6D 利用分割一切模型的零樣本分割能力，生成了所有可能的候選物件，並設計了一個新穎的物體匹配分數，以識別與目標物體對應的候選物件。
SAM-6D 將姿態估計視為一個區域性到區域性的點集匹配問題，採用了一個簡單但有效的 Background Token 設計，並提出了一個針對任意物體的兩階段點集匹配模型；第一階段實現粗糙的點集匹配以獲得初始物體姿態，第二階段使用一個新穎的稀疏到稠密點集變換器以進行精細點集匹配，從而對姿態進一步最佳化。
例項分割模型 (ISM)
SAM-6D 使用例項分割模型（ISM）來檢測和分割出任意物體的掩膜。
給定一個由 RGB 影像表徵的雜亂場景，ISM 利用分割一切模型（SAM）的零樣本遷移能力生成所有可能的候選物件。對於每個候選物件，ISM 為其計算一個物體匹配分數，以估計其與目標物體之間在語義、外觀和幾何方面的匹配程度。最後透過簡單設定一個匹配閾值，即可識別出與目標物體所匹配的例項。
物體匹配分數的計算透過三個匹配項的加權求和得到:
語義匹配項 —— 針對目標物體，ISM 渲染了多個視角下的物體模板，並利用 DINOv2 [3] 預訓練的 ViT 模型提取候選物件和物體模板的語義特徵，計算它們之間的相關性分數。對前 K 個最高的分數進行平均即可得到語義匹配項分數，而最高相關性分數對應的物體模板視為最匹配模板。
外觀匹配項 —— 對於最匹配模板，利用 ViT 模型提取影像塊特徵，並計算其與候選物件的塊特徵之間的相關性，從而獲得外觀匹配項分數，用於區分語義相似但外觀不同的物體。
幾何匹配項 —— 鑑於不同物體的形狀和大小差異等因素，ISM 還設計了幾何匹配項分數。最匹配模板對應的旋轉與候選物件點雲的平均值可以給出粗略的物體姿態，利用該姿態對物體 CAD 模型進行剛性變換並投影可以得到邊界框。計算該邊界框與候選邊界框的交併比（IoU）則可得幾何匹配項分數。
姿態估計模型 (PEM)
對於每個與目標物體匹配的候選物件，SAM-6D 利用姿態估計模型（PEM）來預測其相對於物體 CAD 模型的 6D 姿態。
將分割的候選物件和物體 CAD 模型的取樣點集分別表示為 和
，其中 N_m 和 N_o 表示它們點的數量；同時，將這兩個點集的特徵表示為
和
，C 表示特徵的通道數。PEM 的目標是得到一個分配矩陣，用於表示從 P_m 到 P_o 之間的區域性到區域性對應關係；由於遮擋的原因，P_o 只部分與匹配 P_m，而由於分割不準確性和感測器噪聲，P_m 也只部分與匹配 P_o。
為了解決兩個點集非重疊點的分配問題，ISM 為它們分別配備了 Background Token，記為 和
，則可以基於特徵相似性有效地建立區域性到區域性對應關係。具體來說，首先可以計算注意力矩陣如下：
接著可得分配矩陣
和
分別表示沿著行和列的 softmax 操作，
表示一個常數。
中的每一行的值（除了首行），表示點集 P_m 中每個點 P_m 與背景及 P_o 中點的匹配機率，透過定位最大分數的索引，則可以找到與 P_m 匹配的點（包括背景）。
一旦計算獲得 ，則可以聚集所有匹配點對 {(P_m,P_o)} 以及它們的匹配分數，最終利用加權 SVD 計算物體姿態。
圖 3. SAM-6D 中姿態估計模型 (PEM) 的示意圖
利用上述基於 Background Token 的策略，PEM 中設計了兩個點集匹配階段，其模型結構如圖 3 所示，包含了特徵提取、粗略點集匹配和精細點集匹配三個模組。
粗糙點集匹配模組實現稀疏對應關係，以計算初始物體姿態，隨後利用該姿態來對候選物件的點集進行變換，從而實現位置編碼的學習。
精細點集匹配模組結合候選物件和目標物體的取樣點集的位置編碼，從而注入第一階段的粗糙對應關係，並進一步建立密集對應關係以得到更精確的物體姿態。為了在這一階段有效地學習密集互動，PEM 引入了一個新穎的稀疏到稠密點集變換器，它實現在密集特徵的稀疏版本上的互動，並利用 Linear Transformer [5] 將增強後的稀疏特徵擴散回密集特徵。
實驗結果
對於 SAM-6D 的兩個子模型，例項分割模型（ISM）是基於 SAM 構建而成的，無需進行網路的重新訓練和 finetune，而姿態估計模型（PEM）則利用 MegaPose [4] 提供的大規模 ShapeNet-Objects 和 Google-Scanned-Objects 合成資料集進行訓練。
為驗證其零樣本能力，SAM-6D 在 BOP [2] 的七個核心資料集上進行了測試，包括了 LM-O，T-LESS，TUD-L，IC-BIN，ITODD，HB 和 YCB-V。表 1 和表 2 分別展示了不同方法在這七個資料集上的例項分割和姿態估計結果的比較。相較於其他方法，SAM-6D 在兩個方法上的表現均十分優異，充分展現其強大的泛化能力。
表 1. 不同方法在 BOP 七個核心資料集上的例項分割結果比較
表 2. 不同方法在 BOP 七個核心資料集上的姿態估計結果比較
圖 4 展示了 SAM-6D 在 BOP 七個資料集上的檢測分割以及 6D 姿態估計的視覺化結果，其中 (a) 和 (b) 分別為測試的 RGB 影像和深度圖，(c) 為給定的目標物體，而 (d) 和 (e) 則分別為檢測分割和 6D 姿態的視覺化結果。
圖 4. SAM-6D 在 BOP 的七個核心資料集上的視覺化結果。
關於 SAM-6D 的更多實現細節， 歡迎閱讀原論文.
參考文獻：
[1] Alexander Kirillov et. al.,“Segment anything.”
[2] Martin Sundermeyer et. al.,“Bop challenge 2022 on detection, segmentation and pose estimation of specific rigid objects.”
[3] Maxime Oquab et. al.,“Dinov2: Learning robust visual features without supervision.”
[4] Yann Labbe et. al.,“Megapose: 6d pose estimation of novel objects via render & compare.”
[5] Angelos Katharopoulos et. al., “Transformers are rnns: Fast autoregressive
transformers with linear attention.”