CVPR 2019 | 驚豔的SiamMask：開源快速同時進行目標跟蹤與分割演算法

作者 | 周強（CV君）

來源 | 我愛計算機視覺（公眾號id：aicvml）

責編 | Jane

上面這張Gif圖演示了 SiamMask 的效果，只需要滑鼠滑動選擇目標的包圍框，即可同時實現目標跟蹤與分割。

這種視訊裡目標的畫素級標註，很有用，比如給視訊疊加特效可以不覆蓋目標人物，或者視訊編輯中扣掉特定目標。想想前段時間浙江衛視和北京衛視如果有了這套軟體，讓某吳姓演員從節目中消失就簡單多了，是不是？

近日，CVPR 2019 的接收論文《Fast Online Object Tracking and Segmentation: A Unifying Approach》作者Qiang Wang開源了這套SiamMask程式碼，引起了極大關注。我們一起來看看吧。

論文作者資訊：

論文作者團隊來自中科院自動化所、牛津大學、Five AI公司。

感謝～

研究目的

以往大多數目標跟蹤得到的結果是目標的包圍框，而作者希望將跟蹤與分割結合起來，演算法“實時“給出目標的畫素級標註。

上圖中，左側是初始化的操作，在視訊第一幀給出目標的包圍框，右側的多張影像為普通的跟蹤演算法計算得到估計的包圍框和SiamMask估計的目標的分割mask。

演算法原理

作者是在近年出現的 SiamFC 跟蹤演算法基礎上做的改進。

下圖展示了其整天演算法流程。左側上面影像為框出來的目標影像，左側下面影像為要搜尋目標位置的視訊中的一幀，經過卷積網路，生成Row（response of a candidate window，候選視窗響應），網路後面有三個head，除了在SiamFC法中已經存在的預測box（目標位置）的head和預測響應score（目標出現概率）的head，作者增加了預測目標mask（目標二值掩碼）的head。

另外也可以直接去掉預測box的head，提高計算速度，包圍框也可以通過mask計算得到。網路結構如下：

下圖展示了使用SiamMask演算法計算得到的影像中不同位置的score值。

實驗結果

作者在VOT-2016、VOT-2018資料集上測試跟蹤精度，在DAVIS-2016、DAVIS-2017資料集上測試了目標分割的精度。

下圖是與普通的跟蹤演算法的結果比較：

SiamMask 相比之前的跟蹤演算法的 state-of-the-art 精度又改進不少。

下圖是與現有的視訊目標分割演算法的精度的比較：

雖然SiamMask精度並不是最高的，但速度卻比其他演算法快1到2個數量級！在真實應用中更有價值。

下圖為mIoU-速度的散點圖：

一些視訊目標分割示例（請點選檢視大圖）：

重點來了！程式碼地址：

https://github.com/foolwood/SiamMask

（本文為AI科技大本營轉載文章，轉載請微信作者）

近期 CVPR 2019 論文解讀推薦：

• 首發 | 曠視14篇CVPR 2019論文，都有哪些亮點？

• CVPR 2019審稿滿分論文：中國博士提出融合CV與NLP的視覺語言導航新方法

• CVPR2019 | 微軟、中科大開源基於深度高分辨表示學習的姿態估計演算法

如果你也想分享自己的論文，歡迎投稿，可掃描下方二維碼與營長聯絡：

推薦閱讀：

• 300道Python面試題，備戰春招！
  

• 2018中國開發者真實現狀：40歲不做開發，演算法工程師最稀缺！
  

• 人生苦短，Python之父要解開這個困惑
  

• 從起源、變體到評價指標，一文解讀NLP的注意力機制
  

• 女子偷師男子學校，變身區塊鏈開發工程師，卻說： “這次女人不會再缺席了！”
  

• 雲漫圈 | 如何給女朋友解釋什麼是HTTP

• 從程式媛到全球研發副總裁，技術女神進擊史！
  

• 楊超越杯程式設計大賽上熱搜：不懂技術真不敢追星女子偷師男子學校，變身區塊鏈開發工程師，卻說： “這次女人不會再缺席了！”
  

• 為啥程式設計師下班後只關顯示器從不關電腦？

❤點選“閱讀原文”，檢視歷史精彩文章。