PTAV:實時高精度目標追蹤框架 | ICCV 2017論文解讀

Paper_weekly發表於2018-03-20


640?wxfrom=5&wx_lazy=1


在碎片化閱讀充斥眼球的時代,越來越少的人會去關注每篇論文背後的探索和思考。


在這個欄目裡,你會快速 get 每篇精選論文的亮點和痛點,時刻緊跟 AI 前沿成果。


點選本文底部的「閱讀原文」即刻加入社群,檢視更多最新論文推薦。

這是 PaperDaily 的第 52 篇文章

關於作者:陳泰紅,小米高階演算法工程師,研究方向為人臉檢測識別,手勢識別與跟蹤。


■ 論文 | Parallel Tracking and Verifying

■ 連結 | https://www.paperweekly.site/papers/1613

■ 原始碼 | http://tinyurl.com/y94wn2yg


論文動機


目標追蹤是視訊分析的基本任務,比目標識別更為複雜:目標追蹤可以把每一幀看作單獨的圖片,再進行識別,但目標追蹤不會這樣做,因為沒有考慮視訊幀之間的冗餘資訊,效率低且慢。


目標追蹤一直有兩大陣營,CF 相關濾波和 CNN,當然也可以 CF+CNN 融合。

 

本文基於以下動機: 


1. 物體運動時,大部分時間運動平緩,外觀改變較慢。但是對於偶然發生的劇烈運動,需要複雜資訊處理,需要單獨驗證。 


2. CV 領域已經普及多執行緒計算,尤其 SLAM(Simultaneous localization and mapping、同步定位於地圖構建)領域。PTAM 演算法的一個關鍵觀點是每一幀不是有必要構建地圖。對於目標追蹤而言,每一幀圖片也不需要單獨的驗證。 


3. tracking performance 和 efficiency 之間需要達到一種平衡。 


論文將 tracking 過程分解為兩個並行但是相互協作的部分:一個用於快速的跟蹤(fast tracking),另一個用於準確的驗證(accurate verification)。 


其實作者之前釋出的論文版本 [1] 已被 ICCV 2017 錄用,此版本在原文基礎上做了進一步的修訂。本文所有討論以 2018 年 1 月 在 arXiv 上釋出的版本為準


該版本在原文基礎上做了以下改進: 


1. 使用更具有魯棒性的跟蹤器(Staple)提升效能。 


2. 動態目標模板池用於自適應驗證,放置目標外觀的變化。 


3. PTAV 的 V 和 T 進行了多方面驗證,比如 T 使用 VGGNet 和 AlexNet ,V 使用 KCF、fDSST 和 Staple。 


4. 使用更多實時性演算法和基準,進行更徹底實驗驗證和分析。


論文模型


PTAV 演算法架構包括三部分:Base Tracker T,Base Verifier V,以及它們之間的協調環節。


對於 T,論文選擇的是 Staple 演算法 [2]。驗證環節 V 則選擇採用 Siamese network 驗證目標之間的相似性。對於協調環節,T 在合適的頻率傳送結果給 V,保證足夠的時間驗證。


為了改善 PTAV 的精度和速率,論文使用 k 均值聚類用於保持動態目標模板池用於自適應驗證。


640


實驗


論文的實驗資料詳實,在主要資料集 OTB2015,TC128,UAV20L 和 VOT2016 上均和典型演算法進行了對比。


從精度和實時性考慮各個模型,如圖所示,OTB2015 資料集顯示效果。


640


640


640


640


總結


PTAV 的假設是大部分時間目標運動平滑,位置改變很慢。而較難的情況是運動的無規律性。論文提出的 verifying 時刻並不一定是運動改變的時刻,具有偶然性,所以對“打架鬥毆”等運動劇烈的情況會失敗。10 幀更新速率對 verifying 不是最好的選擇。 


對於同樣視訊序列處理的 video segmentation,可以同樣考慮。因為視訊的逐幀操作比較耗費時間,這種間隔性的驗證可大量節約資源。但是,對於劇烈變化的活動,更新會滯後。是否存在自使用速率變化的方法,這樣的坑可以繼續填。


參考文獻


[1] Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy Visual Tracking (ICCV2017)

[2] Staple: Complementary Learners for Real-Time Tracking


本文由 AI 學術社群 PaperWeekly 精選推薦,社群目前已覆蓋自然語言處理、計算機視覺、人工智慧、機器學習、資料探勘和資訊檢索等研究方向,點選「閱讀原文」即刻加入社群!

640?

640?


640?#榜 單 公 布 #


2017年度最值得讀的AI論文 | NLP篇 · 評選結果公佈

2017年度最值得讀的AI論文 | CV篇 · 評選結果公佈



  我是彩蛋 


解鎖新功能:熱門職位推薦!


PaperWeekly小程式升級啦


今日arXiv√猜你喜歡√熱門職位


找全職找實習都不是問題

 

 解鎖方式 

1. 識別下方二維碼開啟小程式

2. 用PaperWeekly社群賬號進行登陸

3. 登陸後即可解鎖所有功能


 職位釋出 

請新增小助手微信(pwbot01)進行諮詢

 

長按識別二維碼,使用小程式

*點選閱讀原文即可註冊


640?


           



關於PaperWeekly


PaperWeekly 是一個推薦、解讀、討論、報導人工智慧前沿論文成果的學術平臺。如果你研究或從事 AI 領域,歡迎在公眾號後臺點選「交流群」,小助手將把你帶入 PaperWeekly 的交流群裡。


640?

▽ 點選 | 閱讀原文 | 檢視原論文

相關文章