人體姿態估計——PBN

論文：《Does Learning Specific Features for Related Parts Help Human Pose Estimation?》

• CVPR2019, Wei Tang and Ying Wu

1.主要思想：

論點： 人體姿態估計（HPE）本質上是一個同質的多工學習問題，每個身體部位的定位都是一個不同的任務。
目前HPE方法普遍採用的是利用CNN來學習所有身體部位的完全共享特徵，從中以空間座標或熱圖的形式對關節點位置進行線性迴歸。

作者通過分析表明並不是所有的關節部分都是相互關聯的，不相關的任務不再共享高維特徵表示，希望避免負遷移所帶來的不利影響。

2.Related body parts

相關身體部位
（1）識別相關部位最直接的方法是利用人體結構
(1)head top, upper neck and thorax, (2) left wrist, left elbow and left shoulder, (3) right wrist, right elbow and right shoulder, (4) left knee and left ankle, (5) right knee and right ankle, (6) left hip, right hip and pelvis.
（2）利用關節點間的互資訊計算獲取（本文采用）
統計結果：

（a)不同joint之間的相關性！圖(b)關節點的分組。

3.Part-based branching network (PBN)

基於特點關節點的分支網路設計

其中，灰色和藍色矩形分別表示輸入影像和預測的熱圖。黃色和綠色矩形分別表示共享和特定的特徵。通道號包含在每個彩色矩形中。利用MSE損失將預測的熱圖與真實熱圖進行損失計算。

作者又設計了mutli stage的版本，作為一種refine機制。

4.實驗結果

5.結論

通過大量的基準實驗和消融研究，作者得出結論：學習相關身體部位的特定特徵可以顯著提高被遮擋部位的定位能力，從而有利於人體姿態估計。