今天跟大家分享一篇ICCV 2019 跟蹤的論文：Deformable Surface Tracking by Graph Matching，國內AR（擴增實境）公司亮風臺提出使用基於圖匹配的可變形表面跟蹤演算法，能夠充分探索可變形表面的結構資訊，顯著提高跟蹤效能。
該文作者資訊：
作者來自亮風臺公司、北京交通大學、Stony Brook University。
所提出的方法透過圖結構之間的成對投影誤差解決了特徵對應和形狀恢復問題，並採用軟匹配鬆弛來提高計算效率。
與現有先進演算法進行廣泛比較後，實驗結果表明，新方法可以對不同型別紋理的曲面實現穩健的跟蹤結果，並且在跟蹤精度和計算效率方面一般優於其它演算法。
新提出的基於圖的可變形表面目標的跟蹤演算法，主要貢獻在三個方面：
透過軟匹配鬆弛和精心設計的候選匹配濾波策略，將圖模型和圖匹配引入到可變形表面跟蹤中;
設計統一的最佳化框架，探索區域性外觀，空間關係和變形模型的全部資訊，以獲得準確的形狀重建;
構造了一個帶有註釋的新的真實世界資料集，用於在不同型別的紋理的情景中評估可變形表面跟蹤演算法。
以下為論文的詳解：
1. 綜述
該文解決了跟蹤具有已知初始3D形狀（即模板）的通用可變形表面目標以及在單眼透視投影下在影片序列中恢復其3D形狀的問題。模板可以被提前手動提供，或者使用從運動中恢復形狀的方法從影片序列的數幀中計算模板。
與通常分別處理特徵對應關係，去除異常值和形狀重建的傳統方法不同，該文將這些過程整合到一個統一的基於圖的框架中，並提出迭代地解決求解對應關係和求解變形的最佳化問題。
考慮到計算效率，該文將傳統圖匹配問題中的強匹配約束放寬到松匹配約束。這種松匹配約束使該演算法能夠保持更多匹配細節，從而產生更精確的形狀，並且透過在軟匹配約束下開發的新穎匹配演算法也極大地提高了計算效率。
伴隨著精心設計的候選匹配過濾策略，該文的基於圖的方法能夠在幾秒內處理數千個點，這比傳統的基於圖的演算法快得多。
為了進行全面評估，該文將提出的方法與幾個最近提出的方法在兩個資料集上進行比較：
一個是提供的跟蹤存在遮擋的表面（TSO）基準，包括存在目標被遮擋現象的兩個影片序列；
另一個是新收集的資料集，包括使用不同表面在顯著形變的條件下記錄的11個影片序列，其中這些目標具有豐富，不明顯或重複的紋理。
實驗結果表明，該文的方法可以為所有影片序列提供最佳或近乎最佳的跟蹤結果。在計算效率方面，該文的方法在兩個資料集上的表現也通常優於參與比較的演算法。
（CV君：由於微信不支援公式插入，故以下內容使用圖片展示）
4. 實驗
4.1. 新收集的資料集
最近，幾個資料集被提供來用於評估可變形表面目標的跟蹤。但是，它們中的大多數缺少帶註釋的真實結果(groundtruth)網格頂點。
而且，這些資料集是使用非常有限的表面型別的目標收集的，不足以評估可變形表面目標跟蹤演算法的有效性。
為了全面評估所提出的演算法與基準演算法的比較，該文建立了一個新的資料集用於可變形表面跟蹤，稱為可變形表面跟蹤(DeSurT)。
使用Kinect相機收集此資料集，以評估各種變形和不同光照條件下的跟蹤效能。它包含11個影片流和3,361個幀，顯示幾種不同型別表面的各種變形，包括七種不同內容的列印影像(分別是校園，磚，布，鵝卵石，景色，石頭和日落)，兩個報紙和兩個靠墊。
如圖所示，這些表面大致分為三類：
(1)紋理良好的表面，包括校園，鵝卵石，景色，報紙1，報紙2和坐墊1;
(2)重複紋理表面，包括磚，布和墊子2;
(3)弱紋理表面，包括石頭和日落。
為了評估重建精度，該文使用Kinect點雲來構建真實網格，並計算從重建網格到真實網格中頂點到頂點的平均距離。
因此，除了每個幀的深度資訊之外，所有影片都在每幀中有手動標註的真實網格頂點(列印圖片和報紙中使用130個頂點標註，坐墊用121個頂點標註)。
為了測試所提出的演算法對遮擋的魯棒性，該文還報告了演算法在公共資料集(跟蹤具有遮擋的表面(TSO)上的跟蹤結果，這個資料集包括兩個分別有著紋理良好和紋理不良的可變形表面目標的影片流，總共394個幀，並且資料集中存在人為和現實的遮擋。
4.2 結果比較與分析
在本節中，該文報告了所提演算法與幾種最先進的基線演算法的比較結果，包括DIR，LM和LLS：
LM採用SIFT匹配進行特徵對應，然後進行迭代異常值拒絕步驟，然後透過求解線性系統重建形狀，該線性系統是使用擴充套件的拉普拉斯形式從退化的線性系統轉換而來。
LLS僅關注形狀重建步驟，並將關鍵點對應關係作為輸入。在該文的實驗中，(在異常值拒絕之後)使用從LM派生的關鍵點對應作為LLS的輸入。
DIR是一種基於畫素的方法，採用密集模板對齊進行形狀重建。它在很大程度上取決於形狀的初始估計，該文將其初始化為上一幀的解。
文中固定並分別公佈了N=1000和N=2000兩組實驗結果。
表1. 平均跟蹤誤差(mm)
表2. 平均計算時間(s)
如表1所示，該文的演算法對於具有豐富，弱或重複紋理的不同型別的表面是魯棒的，並且即使在從每個表面提取相對較少的關鍵點(N=1000)以構建對應關係時也顯著地優於所有基線演算法。
對於遮擋表面(TSO資料集)，DIR在精心設計的遮擋檢測策略的幫助下實現了最佳跟蹤結果。
有趣的是，在沒有任何指定的遮擋表面過程的情況下，該文的演算法在TSO資料集上達到了與DIR相當的結果，並且一般優於LM和LLS。當將N上升到2000時，該文的演算法的跟蹤精度在兩個資料集上都得到了顯著的改善。
考慮到計算時間(表2)，DIR在兩個資料集上都是最耗時的。該文的演算法在N=1000時在兩個資料集上擊敗其他演算法。
當將關鍵點的數量增加到2000時，在TSO資料集上仍然是最有效的，但在DeSurT資料集上比LM慢。
圖3至圖6表明了由被比較演算法提供的各種型別表面跟蹤的幾個代表性樣本。對於結構良好的表面(圖3)，所有演算法都能夠提供合理的跟蹤結果，但該文的演算法可以更好地處理細節。
如圖4和圖5所示，所有比較的基線演算法都受到弱紋理和重複紋理化表面的影響，但該文的演算法能夠在幀間提供準確的跟蹤結果。
此外，該文演算法以及DIR對於遮擋是穩健的(圖6)，而LM和LLS在存在一定程度的遮擋時可能無法跟蹤到物件。
論文地址：
https://www3.cs.stonybrook.edu/~hling/publication/deformable%20surface-19.pdf
資料連結：
https://www3.cs.stonybrook.edu/~hling/data/DeSurT.rar （~2G）
因為之前工作相關，對亮風臺這家公司還是比較瞭解的。亮風臺是國內為數不多的持續深耕AR底層技術的公司，之前52CV也報導過他們的技術。
他們圍繞AR開源了不少演算法：包括圖匹配演算法（PAMI 2018a），2D AR跟蹤演算法（PAMI 2018b），投影補償演算法（CVPR 2019），單目標跟蹤演算法（ICCV 2017、CVPR2019）等等。
相信研究跟蹤的同學肯定也瞭解一些他們曾經發布的資料集，TC-128，POT-210，LaSOT。其中TC-128是國際上第一個彩色跟蹤評測集，POT-128是目前國際上最大的AR跟蹤資料評測集，LaSOT是目前國際上最大的單目標跟蹤評測集。
