光看走路就知道你在想什麼！AI步態識別情緒系統

大資料文摘出品

來源：yellrobot

編譯：張大筆茹、張秋玥

普京走路的樣子大家應該都見過，大開大合，每一步都寫著霸氣，很有戰鬥民族的特色。

但是有一次普京走路卻讓人感覺好像和平常不一樣，步伐有點匆忙，頭也比平時要低一些，看上去似乎心事重重。

原來這一天是普京的柔道啟蒙教練阿納託利·拉赫林的葬禮。參加完葬禮後，本該乘車離開的普京決定獨自在空曠的街上走一會，以排解心中的悲痛。

不同的人走路姿勢不同，但是同一個人在不同的時候，走路姿勢也有變化。從普京的例子中似乎可以看出，一個人的情緒似乎可以從他走路的姿勢中看出端倪。

來自北卡羅來納大學教堂山分校和馬里蘭大學的科學家們就開發了一個這樣的AI軟體，可以通過人走路姿勢來判斷他的情緒。

AI通過走路識別一個人的情緒

研究人員在文中指出，由於快樂、悲傷、憤怒和中性這四種情緒的特徵更加離散，所以研究只設定了這四種分類，但是以後可以通過這四種情緒的組合來表示其他情緒。

研究方法概述：

首先，研究人員使用多個步態資料集來提取視訊幀中的情緒特徵，這些情緒特徵是根據心理學家的研究來進行標註的，包括體態特徵和動作特徵。同時，研究人員還通過LSTM網路來提取深度特徵。

然後，研究人員將情緒特徵和深度特徵串聯起來，用一個隨機森林分類器（Random Forest classifier）進行情緒分類。

研究最後的實際效果可以針對一個給定的人走路的RGB視訊利用三維人體定位技術來提取一組3D步態，然後從步態中提取上述特徵，最後用隨機森林分類器進行情感分類，準確率可達80%。

情感特徵計算

情感特徵計算包括兩方面：姿態特徵和運動特徵。

姿態特徵包括：Volume、Angle、Distance、Area 四個向量。

運動特徵包括：Speed、Acceleration Magnitude、Movement Jerk、Time四個向量。

最後將姿態特徵和運動特徵結合起來，生成情緒特徵。

資料集

訓練所使用的資料集一共有六個：

• Human3.6M

• CMU

• ICT 

• BML

• SIG

• EWalk

其中EWalk（Emotion Walk）是研究人員新自己採集的資料，他們從大學招募了24名志願者，並且讓他們模擬不同的情緒走路，再用相機記錄下來。收集後的資料還可以使用GANs來生成新的人類動作的關節序列。

監督分類

研究人員使用了LSTM（Long Short-Term Memory）網路來監督分類。

LSTM網路是具有特殊“記憶單元”的神經網路，它可以儲存任意時間步長的資料序列中特定時間步的資料值。因此，LSTMs對於捕獲資料序列中的時間模式，然後在預測和分類任務中使用這些模式非常有用。

為了監督分類，LSTMs像其他神經網路，是用一組訓練資料以及相應的類標籤來訓練的。然而,與在訓練資料中學習結構模式的傳統前饋神經網路不同，LSTMs學習的是訓練資料中編碼模式的特徵向量。

LSTMs通過訓練一個或多個“隱藏”Cell來實現這一點，其中每個Cell的每個時間步的輸出依賴於當前輸入和前一個時間步的輸出。這些LSTM Cell的輸入和輸出是由一組門控制。LSTMs通常有三個門:輸入門、輸出門和遺忘門。

通過LSTM的最後一層可以得到較深的特徵，基於LSTM的深度特徵也準確地對每一幀的人體關節之間相對位置進行了建模，同時也捕捉到了手和腿的週期性運動。

之後，將情緒特徵和基於LSTM的深度特徵進行歸一化，再將它們串聯起來，利用隨機森林分類器進行分類，從而得出快樂、悲傷、憤怒或者中性的情緒的概率。

不僅僅用於常規監控的步態識別

研究步態識別技術並不是什麼新鮮事兒。十多年來，美國、日本和英國的科學家一直在研究這項技術。

無論是用於監視並及時阻止罪犯行為，還是幫助零售業公司鎖定不滿的顧客，有的科學家們都試圖採用相對複雜的面部識別系統。

但是根據研究，只通過一個人的面部表情並不能完全準確看出一個人的情緒，許多人傾向於用身體表達情緒。

或許以後結合面部表情與步態的情緒識別才是主流。

而基於走路姿勢的情緒識別研究除了可用於常規的監控任務，還能夠被應用於識別可能患有未確診的身體或精神疾病的人，以及用來開發具有更強理解能力以及更像人類的互動能力的機器人。

“這項研究可以有很多應用，包括使機器人和自動駕駛車輛更理解人類，以及在增強虛擬現實遊戲中提供更具人性化的體驗。”UNC的研究教授Aniket Bera說。

論文地址：

https://arxiv.org/pdf/1906.11884.pdf

相關報導：