CVPR 2019 | 驚豔的SiamMask:開源快速同時進行目標跟蹤與分割演算法
作者 | 周強(CV君)
來源 | 我愛計算機視覺(公眾號id:aicvml)
責編 | Jane
上面這張Gif圖演示了 SiamMask 的效果,只需要滑鼠滑動選擇目標的包圍框,即可同時實現目標跟蹤與分割。
這種視訊裡目標的畫素級標註,很有用,比如給視訊疊加特效可以不覆蓋目標人物,或者視訊編輯中扣掉特定目標。想想前段時間浙江衛視和北京衛視如果有了這套軟體,讓某吳姓演員從節目中消失就簡單多了,是不是?
近日,CVPR 2019 的接收論文《Fast Online Object Tracking and Segmentation: A Unifying Approach》作者Qiang Wang開源了這套SiamMask程式碼,引起了極大關注。我們一起來看看吧。
論文作者資訊:
論文作者團隊來自中科院自動化所、牛津大學、Five AI公司。
感謝~
研究目的
以往大多數目標跟蹤得到的結果是目標的包圍框,而作者希望將跟蹤與分割結合起來,演算法“實時“給出目標的畫素級標註。
上圖中,左側是初始化的操作,在視訊第一幀給出目標的包圍框,右側的多張影像為普通的跟蹤演算法計算得到估計的包圍框和SiamMask估計的目標的分割mask。
演算法原理
作者是在近年出現的 SiamFC 跟蹤演算法基礎上做的改進。
下圖展示了其整天演算法流程。左側上面影像為框出來的目標影像,左側下面影像為要搜尋目標位置的視訊中的一幀,經過卷積網路,生成Row(response of a candidate window,候選視窗響應),網路後面有三個head,除了在SiamFC法中已經存在的預測box(目標位置)的head和預測響應score(目標出現概率)的head,作者增加了預測目標mask(目標二值掩碼)的head。
另外也可以直接去掉預測box的head,提高計算速度,包圍框也可以通過mask計算得到。網路結構如下:
下圖展示了使用SiamMask演算法計算得到的影像中不同位置的score值。
實驗結果
作者在VOT-2016、VOT-2018資料集上測試跟蹤精度,在DAVIS-2016、DAVIS-2017資料集上測試了目標分割的精度。
下圖是與普通的跟蹤演算法的結果比較:
SiamMask 相比之前的跟蹤演算法的 state-of-the-art 精度又改進不少。
下圖是與現有的視訊目標分割演算法的精度的比較:
雖然SiamMask精度並不是最高的,但速度卻比其他演算法快1到2個數量級!在真實應用中更有價值。
下圖為mIoU-速度的散點圖:
一些視訊目標分割示例(請點選檢視大圖):
重點來了!程式碼地址:
https://github.com/foolwood/SiamMask
(本文為AI科技大本營轉載文章,轉載請微信作者)
近期 CVPR 2019 論文解讀推薦:
如果你也想分享自己的論文,歡迎投稿,可掃描下方二維碼與營長聯絡:
推薦閱讀:
❤點選“閱讀原文”,檢視歷史精彩文章。
相關文章
- opencv的目標跟蹤演算法OpenCV演算法
- 目標跟蹤演算法概述演算法
- CVPR 2019:中科院、牛津等提出SiamMask網路,視訊跟蹤最高精度
- CVPR 2018 目標跟蹤相關論文
- 目標跟蹤演算法分類演算法
- 運動目標檢測與跟蹤
- 目標跟蹤演算法----KCF進階(基於KCF改進的演算法總結)演算法
- KCF目標跟蹤方法分析與總結
- 挑戰目標跟蹤演算法極限,商湯開源SiamRPN系列演算法解讀演算法
- 基於MeanShift的目標跟蹤演算法、實現演算法
- [AI開發]目標跟蹤之速度計算AI
- 飛槳Tracking目標跟蹤庫開源!涵蓋業界主流的VOT演算法,精準檢測動態目標軌跡演算法
- 目標跟蹤:KCF執行流程圖(matlab版本)流程圖Matlab
- 商湯開源最大目標跟蹤庫PySOT,程式碼已正式上線!
- 高通Vuforia優化目標檢測與跟蹤穩定性優化
- SQLServer進行SQL跟蹤SQLServer
- 對session進行跟蹤Session
- 一個令人驚豔的ChatGPT專案,開源了!ChatGPT
- 有效資源跟蹤的8個指標指標
- 多目標跟蹤全解析,全網最全
- 如何在非同步結果返回時進行跟蹤非同步
- 利用目標跟蹤來提高實時人臉識別處理速度
- 4個開源的Bug跟蹤工具
- 計算機視覺中,究竟有哪些好用的目標跟蹤演算法(上)計算機視覺演算法
- 計算機視覺中,究竟有哪些好用的目標跟蹤演算法(下)計算機視覺演算法
- 深度學習|基於MobileNet的多目標跟蹤深度學習演算法深度學習演算法
- 互動式多模型(IMM)的自適應機動目標跟蹤演算法模型演算法
- 目標跟蹤:KCF--調通C++程式碼C++
- 多目標跟蹤論文及程式碼總結
- 2017年度30大最驚豔的開源機器學習專案機器學習
- 2017年30個驚豔的Python開源專案Python
- 使用 YOLO 進行實時目標檢測YOLO
- Zipkin開源分散式跟蹤系統分散式
- Revival 的演算法跟蹤演算法
- 使用OpenCV進行ROS 2的循線跟蹤OpenCVROS
- 視覺目標跟蹤漫談:從原理到應用視覺
- CVPR2021 | 開放世界的目標檢測
- 微軟部門整合與裁員同時進行微軟