左：在場景空間劃分中路由靜態畫素(綠色)和剔除動態畫素(紅色)
右：相機運動軌跡預測值(藍色)與真實值(綠色)對比
01 研究背景
相機重定位研究在已知環境中根據 RGB-D 影像推算相機的位置姿態，是實現場景建模、擴增實境、機器人導航等技術的基礎。近年來，最先進的研究工作通常 (A) 先記憶和推測所觀測到不同物件的位置；(B) 再透過這些物件位置的相對關係反算自身位姿。對於 (A)，被觀測物件的位置資訊通常表示為影像畫素座標和場景世界座標之間的對應關係（2D/3D-3D correspondences），使用決策樹、神經網路等機器學習模型實現；對於 (B)，通常表示為區域性座標系與世界座標系之間的剛體變換，使用 Perspective-n-Point、orthogonal Procrustes 等非機器學習演算法求解。
相機位姿和觀測得到的RGB-D影像
02 核心問題
現實環境中包含著多種多樣的動態成分，造成場景日新月異的變化。這些動態變化給相機重定位帶來了麻煩：一方面，動態變化引入噪聲導致對應關係匹配失敗；另一方面，匹配正確的物件可能由於位置變化導致相機位姿求解錯誤。由於動態變化難以預料、無法窮盡，所以不易使用監督學習的方法直接學習場景中的動態變化。即使應用 RANSAC 等魯棒估計演算法，也難以準確求解動態場景下的相機位姿。因此，動態變化場景中的相機重定位面臨挑戰。
日常生活中動態變化的室內場景：傢俱移動，光照變化等
03 本文方法
為解決上述問題，我們提出基於空間劃分的神經路由演算法 NeuralRouting。我們的直觀見解是，場景中的動態變化通常表現為幾何物件的三維位置改變。於是，我們從幾何角度出發建模場景空間。
首先，我們將場景三維空間進行層次劃分構建樹形結構（space partition tree），樹的每個節點對應場景中的一個區域。隨著樹的層次加深，場景區域劃分由粗粒度走向細粒度。基於區域劃分，我們使用神經網路學習影像畫素在樹中的路由（routing），從而記憶視覺物件在不同粒度場景空間中的位置。得益於空間劃分，透過顯式地設定錯誤路由（模擬三維位置改變），我們可以構造動態變化物件的標註，以此學習場景中的動態變化，將其作為一個額外的路由分類，稱為離群節點（outlier）。如果一個畫素屬於靜態區域，它將被路由到樹的葉子節點，以該節點對應的場景區域作為預測結果；如果一個畫素屬於動態區域，它將被路由到離群節點，被視為噪聲點拒絕進行區域預測。因此，影像中的每個畫素如果不被拒絕，那麼就會被對映到場景空間，從而建立了影像畫素和場景空間之間魯棒的對應關係。透過這些對應關係，我們使用基於 Kabsch 演算法的 RANSAC 框架求解相機位姿。
以二維場景和3層4叉樹作為例子，展示空間劃分和路由模型
04 實驗結論
具體地，我們使用 n 層 k 叉樹對場景進行劃分。其中 k=2^z，對應於 z 次座標軸二分。例如，當 z=3 時，x, y, z 軸的依次二分使我們得到經典的八叉樹模型。對於樹的每一層，路由表示為類別數量為 k+1 的分類任務，對應當前節點的 k 個子節點和1個離群節點。由於樹的各層分別對應於不同粒度的場景區域，在每一層的路由中我們使用相應尺度的感受野，從而兼顧全域性和區域性特徵。在實驗中，我們使用5層16叉樹預測畫素和場景的對應關係，使用 preemptive RANSAC 求解相機位姿。RIO-10（動態場景）和 7-Scenes（靜態場景）資料集的實驗結果證明，我們提出的 NeuralRouting 演算法在動態場景中的相機重定位能力顯著超越所有相關方法，在靜態場景中也達到一流水平。
RIO-10和7-Scenes資料集的實驗結果，紅色標註最優，藍色標註次優
05 總 結
針對室內動態變化場景，我們提出可以感知動態點的相機重定位演算法 NeuralRouting。該方法 (1) 透過三維空間劃分建模場景幾何，(2) 使用神經網路記憶靜態視覺物件的空間位置，(3) 感知並去除動態視覺物件的干擾。實驗證明，該方法有效地提升了動態變化場景中相機重定位效果。
圖文 | 董思言
Visual Computing and Learning (VCL)