Temporal Extension Module for Skeleton-Based Action Recognition

作者 | Yuya Obinata and Takuma Yamamoto
單位 | FUJITSU LABORATORIES LTD
論文地址｜https://arxiv.org/abs/2003.08951
ICPR2020

在st-gcn的基礎上開發了一個模組，在幀與幀之間相鄰的關節點之間也新增連線，好處在於和其他網路結合起來很方便，對於效能也有一定的提高

但其實很多sota的模型都已經考慮過幀間關節點的連結，同時擴充套件到了多個尺度，不僅僅是幀間鄰居關節點相連

方法

提出了一個用於基於骨架的動作識別的的時域擴充套件模組

現有的方法試圖在幀內表示更合適的空間圖，但忽略了幀間時間圖的優化

具體來說，這些方法只連線幀間同一關節對應的頂點。在這篇論文中，著重於在幀間新增與相鄰多個頂點的連線

是提取人體運動中多個關節的相關特徵的一種簡單而有效的方法

主要貢獻如下

• 提出了一個時間擴充套件模組，用於幀間時態圖的擴充套件。該模組在提取人體運動中連線的多個相鄰關節的相關特徵時簡單而有效。
• 在消融實驗中的展示了TEM有效性
• 達到了SOTA

相關工作

時空圖卷積網路（ST-GCN）是第一個使用GCN對骨架序列進行動作識別的方法

ST-GCN包括一個空間圖和一個時間圖，直接輸入一個骨架序列，並從幀內和幀間的關節處提取特徵

在這項工作中，著重於擴充套件時間圖，連線相鄰的多個頂點以及幀間（右）上的同一個頂點。在幀內提出了更合適的空間圖，效能得到了顯著提高。然而，這些方法忽略了幀間時間圖的優化

傳統的GCN方法將只對應於同一關節的頂點之間的時間維連線起來，該方法對於提取同一關節軌跡特徵具有一定的效果，然而，由於過於簡單不太能夠提取幀間各關節間相關運動的特徵

研究目標
優化空間圖和時間圖，以進一步提高效能
TEM模組不僅直接將邊新增到同一個頂點，而且還直接向相鄰的多個頂點新增邊，並基於幀間相同的多個頂點計算卷積

時間擴充套件模組

在ST-GCN中加入了這個方法的模組，ST-GCN包括多層時空圖卷積操作，將TEM放在空間卷積和時間卷積層中

以同樣的方式很容易地TEM模組實現到基於時空圖卷積的網路中

實驗

加上這個模組後有一定的效能提升