PTAV：實時高精度目標追蹤框架 | ICCV 2017論文解讀

Paper_weekly發表於2018-03-20
框架


640?wxfrom=5&wx_lazy=1


在碎片化閱讀充斥眼球的時代，越來越少的人會去關注每篇論文背後的探索和思考。


在這個欄目裡，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。


點選本文底部的「閱讀原文」即刻加入社群，檢視更多最新論文推薦。

這是 PaperDaily 的第 52 篇文章

關於作者：陳泰紅，小米高階演算法工程師，研究方向為人臉檢測識別，手勢識別與跟蹤。


■ 論文 | Parallel Tracking and Verifying

■ 連結 | https://www.paperweekly.site/papers/1613

■ 原始碼 | http://tinyurl.com/y94wn2yg


論文動機


目標追蹤是視訊分析的基本任務，比目標識別更為複雜：目標追蹤可以把每一幀看作單獨的圖片，再進行識別，但目標追蹤不會這樣做，因為沒有考慮視訊幀之間的冗餘資訊，效率低且慢。


目標追蹤一直有兩大陣營，CF 相關濾波和 CNN，當然也可以 CF+CNN 融合。

 

本文基於以下動機： 


1. 物體運動時，大部分時間運動平緩，外觀改變較慢。但是對於偶然發生的劇烈運動，需要複雜資訊處理，需要單獨驗證。 


2. CV 領域已經普及多執行緒計算，尤其 SLAM（Simultaneous localization and mapping、同步定位於地圖構建）領域。PTAM 演算法的一個關鍵觀點是每一幀不是有必要構建地圖。對於目標追蹤而言，每一幀圖片也不需要單獨的驗證。 


3. tracking performance 和 efficiency 之間需要達到一種平衡。 


論文將 tracking 過程分解為兩個並行但是相互協作的部分：一個用於快速的跟蹤（fast tracking），另一個用於準確的驗證（accurate verification）。 


其實作者之前釋出的論文版本 [1] 已被 ICCV 2017 錄用，此版本在原文基礎上做了進一步的修訂。本文所有討論以 2018 年 1 月 在 arXiv 上釋出的版本為準。


該版本在原文基礎上做了以下改進： 


1. 使用更具有魯棒性的跟蹤器（Staple）提升效能。 


2. 動態目標模板池用於自適應驗證，放置目標外觀的變化。 


3. PTAV 的 V 和 T 進行了多方面驗證，比如 T 使用 VGGNet 和 AlexNet ，V 使用 KCF、fDSST 和 Staple。 


4. 使用更多實時性演算法和基準，進行更徹底實驗驗證和分析。


論文模型


PTAV 演算法架構包括三部分：Base Tracker T，Base Verifier V，以及它們之間的協調環節。


對於 T，論文選擇的是 Staple 演算法 [2]。驗證環節 V 則選擇採用 Siamese network 驗證目標之間的相似性。對於協調環節，T 在合適的頻率傳送結果給 V，保證足夠的時間驗證。


為了改善 PTAV 的精度和速率，論文使用 k 均值聚類用於保持動態目標模板池用於自適應驗證。


640


實驗


論文的實驗資料詳實，在主要資料集 OTB2015，TC128，UAV20L 和 VOT2016 上均和典型演算法進行了對比。


從精度和實時性考慮各個模型，如圖所示，OTB2015 資料集顯示效果。


640


640


640


640


總結


PTAV 的假設是大部分時間目標運動平滑，位置改變很慢。而較難的情況是運動的無規律性。論文提出的 verifying 時刻並不一定是運動改變的時刻，具有偶然性，所以對“打架鬥毆”等運動劇烈的情況會失敗。10 幀更新速率對 verifying 不是最好的選擇。 


對於同樣視訊序列處理的 video segmentation，可以同樣考慮。因為視訊的逐幀操作比較耗費時間，這種間隔性的驗證可大量節約資源。但是，對於劇烈變化的活動，更新會滯後。是否存在自使用速率變化的方法，這樣的坑可以繼續填。


參考文獻


[1] Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy Visual Tracking (ICCV2017)

[2] Staple: Complementary Learners for Real-Time Tracking


本文由 AI 學術社群 PaperWeekly 精選推薦，社群目前已覆蓋自然語言處理、計算機視覺、人工智慧、機器學習、資料探勘和資訊檢索等研究方向，點選「閱讀原文」即刻加入社群！

640?

640?


640?#榜 單 公 布 #


2017年度最值得讀的AI論文 | NLP篇 · 評選結果公佈

2017年度最值得讀的AI論文 | CV篇 · 評選結果公佈



  我是彩蛋 


解鎖新功能：熱門職位推薦！


PaperWeekly小程式升級啦


今日arXiv√猜你喜歡√熱門職位√


找全職找實習都不是問題

 

 解鎖方式 

1. 識別下方二維碼開啟小程式

2. 用PaperWeekly社群賬號進行登陸

3. 登陸後即可解鎖所有功能


 職位釋出 

請新增小助手微信（pwbot01）進行諮詢

 

長按識別二維碼，使用小程式

*點選閱讀原文即可註冊


640?


           



關於PaperWeekly


PaperWeekly 是一個推薦、解讀、討論、報導人工智慧前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號後臺點選「交流群」，小助手將把你帶入 PaperWeekly 的交流群裡。


640?

▽ 點選 | 閱讀原文 | 檢視原論文

相關文章