CVPR2019|微軟、中科大開源基於深度高分辨表示學習的姿態估計演算法

 

作者 | 周強（CV君）

來源 | 我愛計算機視覺（公眾號id：aicvml）

 

如何挑戰百萬年薪的人工智慧！

https://edu.csdn.net/topic/ai30?utm_source=csdn_bw

 

昨天arXiv出現了好幾篇被CVPR 2019接收的論文。

 

其中來自微軟和中國科技大學研究學者的論文《Deep High-Resolution Representation Learning for Human Pose Estimation》和相應程式碼甫一公佈，立刻引起大家的關注，不到一天之內，github上已有將近50顆星。

 

今天就跟大家一起來品讀此文妙處。

 

該文作者資訊：

 

 

該文為第一作者Ke Sun在微軟亞洲研究院實習期間發明的演算法。

 

基本思想

 

作者觀察到，現有姿態估計演算法中往往網路會有先降低解析度再恢復高解析度的過程，比如下面的幾種典型網路。

 

為便於表達，在下面的a、b、c、d四幅圖中，同一水平線上的特徵圖為相同解析度，越向下解析度越小，在最終的高解析度特徵圖heatmap中計算姿態估計的關鍵點。

 

 

Hourglass

 

 

Cascaded pyramid networks

 

 

Simple baseline

 

 

Combined with dilated convolutions

 

 

其中的網路結構說明如下：

 

 

 

作者希望不要有這個解析度恢復的過程，在網路各個階段都存在高解析度特徵圖。

 

下圖簡潔明瞭地表達作者的思想。

 

 

在上圖中網路向右側方向，深度不斷加深，網路向下方向，特徵圖被下采樣解析度越小，相同深度高解析度和低解析度特徵圖在中間有互相融合的過程。

作者描述這種結構為不同解析度子網路並行前進。

 

關鍵點的heatmap是在最後的高解析度特徵圖上計算的。

 

網路中不同解析度子網路特徵圖融合過程如下：

 

 

主要是使用strided 3*3的卷積來下采樣和up sample 1*1卷積上取樣。

 

這麼做有什麼好處？

作者認為：

1）一直維護了高解析度特徵圖，不需要恢復解析度。

2）多次重複融合特徵的多解析度表示。

 

實驗結果

 

該演算法在COCO姿態估計資料集的驗證集上測試結果：

 

 

與目前的state-of-the-art比較，取得了各個指標的最高值。相同解析度的輸入影像，與之前的最好演算法相比增長了3個百分點！

 

在COCO test-dev資料集上，同樣一騎絕塵！

 

 

在MPII test 資料集上，同樣取得了最好的結果！

 

 

作者進一步與之前最好模型比較了引數量、計算量，該文發明的HRNet-W32在精度最高的同時，計算量最低！

 

如下圖：

 

 

在PoseTrack2017姿態跟蹤資料集上的結果比較：

 

 

同樣取得了最好的結果。

 

下圖是演算法姿態估計的結果示例：

 

（請點選檢視大圖）

 

不僅僅是姿態估計

 

作者在官網指出，深度高解析度網路不僅對姿態估計有效，也可以應用到計算機視覺的其他任務，諸如語義分割、人臉對齊、目標檢測、影像分類中，期待更多具有說服力的結果公佈。

 

 

 

論文地址：

http://cn.arxiv.org/pdf/1902.09212.pdf

專案主頁：

https://jingdongwang2017.github.io/Projects/HRNet/PoseEstimation.html

程式碼地址：

https://github.com/leoxiaobin/deep-high-resolution-net.pytorch

 

（本文為AI科技大本營轉載文章，轉載請微信聯絡原作者）

 

人工智慧的現狀及今後發展趨勢如何？ 

https://edu.csdn.net/topic/ai30?utm_source=csdn_bw

群招募

 

掃碼新增小助手微信，回覆：公司+研究方向（學校+研究方向），邀你加入技術交流群。技術群稽核較嚴，敬請諒解。

 

推薦閱讀：

• 90後美女學霸傳奇人生：出身清華姚班，成史丹佛AI實驗室負責人高徒

• 如今，你感受到記憶體技術的“思維速度”了嗎？

• 暴雪遊戲遭遇AI“實力”坑隊友：四處遊走，還不參與戰鬥

• 我用Python分析了翟天臨的論文，學術還是要認真做啊

• 快速上手爬蟲，有哪些方便實用的工具和服務？

• C++ 開發者怒了：這個無用的模組設計最終會害死 C++！

• 程式設計師寫程式碼沒激情該怎麼破？

• 以太坊升級完成你也做不出爆款應用, 就因為你不知道這個！

• 剛剛，阿里釋出了一個重磅技術炸彈，70%的程式設計師受影響！

                         

點選“閱讀原文”，檢視歷史精彩文章。