深度學習下的微表情研究：困難、進展及趨勢 | CNCC 2019

人是善於通過表情偽裝情緒的動物，但心理學家卻能夠通過“微表情”來揭示人們試圖隱藏的真實情緒。

所謂微表情，是一種持續時間極短、在人們試圖掩飾自己真實情緒時洩露出來的面部動作。

如果看過美劇《Lie to Me》，應該對微表情不會陌生。男主卡爾•萊特曼是一個微表情專家，他不需要藉助測謊儀之類的裝置，也不需要收集各種證據，甚至不需要對話，只需要觀察細微的表情變化便可以判斷一個人是否說謊。

之所以能夠這樣，是因為人們在體驗情緒時會有一系列肌肉動作不自覺地表現出來。

例如人們在憤怒時，眉毛會緊皺下垂，，眼瞼和嘴脣緊張：

或者一個人在對事物表示驚訝時，下顎會自然下垂，嘴脣和嘴巴放鬆，眼睛張大，眼瞼和眉毛會微微上抬：

當然，我們知道面部表情是可以受主觀意識控制，例如一個人可能因其知識、閱歷、能力等原因，在內心波濤洶湧的時候做到面不改色。然而，微表情是面部肌肉條件反射地表現出情緒所對應的行為。正是因為如此，微表情往往能夠揭示人類試圖隱藏的真實情緒。

但正如對微表情的定義，微表情持續時間短暫、變化幅度微弱和動作區域較少，很多時候人們很難注意到其存在。只有那些經過大量訓練的專家才能準確地檢測，而且不同的專家還往往會判斷不一致。靠人工來觀察微表情真的是一個耗費人力、耗費時間，而且準確度低的事情！

停！

耗費人力物力、工作機械、需要大量專家……這不正是機器學習所擅長的嗎？事實上，目前已有許多學者在用機器學習的方法進行微表情研究了。

一、方法

對微表情的研究，在方法上事實上類似於人臉識別，一般包含檢測和識別兩個具體問題。

對於人臉識別，一般都是先進行人臉檢測，然後對檢測到的人臉進行識別。這個過程同樣也適用於微表情識別：先從一段長視訊中把發生微表情的視訊片段檢測出來，然後識別該微表情屬於哪一類微表情。

人臉檢測和微表情檢測

微表情檢測，就是指在一段視訊流中，檢測出是否包含微表情，並標記微表情的起點(onset)、峰值(apex)和終點(offset)。起點(onset) 是指微表情出現的時間；峰值(apex) 是指微表情幅度最大的時間; 終點(offset) 是指微表情消失的時間。 

微表情識別是指給定一個已經分割好的微表情片斷，通過某種演算法，識別該微表情的情緒種類（例如厭惡、悲傷、驚訝、憤怒、恐懼、快樂等）。如同三維動態表情識別一樣，其處理的物件是視訊片斷，而不只是單幅影象。對其處理過程中，不僅要考慮空間上的模式，還要考慮時間上的模式。所以許多微表情識別的演算法都考慮了時空模式。

相對於微表情檢測來說，微表情識別的難度要小一點。所以對微表情的研究一般從微表情識別開始入手。

不過對微表情的檢測和定位往往會更有實用價值。如果能在一段視訊中準確地檢測和定位到某個時間點有微表情出現，那麼就說明這個人在這個時間點上可能會有異常。

二、資料集

事實上對於微表情研究，最難的是如何收集足夠多的、質量高的微表情資料集。

目前微表情資料庫並不多，已知的有：USF-HD資料庫，Polikovsky資料庫， SMIC資料庫, CASME資料庫, CASME II資料庫，SAMM資料庫，CAS(ME)2資料庫。在這八個資料庫中，前兩個都是非自然誘發的，且非公開的。

另外5個資料集，CASME、CASME II、CAS(ME)2是中國科學院心理研究所傅小蘭團隊所建立，SMIC是由芬蘭奧魯大學趙國英團隊建立。各個資料集的細節如下表所示：

五個公開發表的微表情資料庫

需要強調的是，這些資料庫的樣本量都非常小，到目前為止，公開發表的微表情樣本只有不到800個。是典型的小樣本問題。這就造成當前基於深度學習的方法在微表情問題上無法完全發揮出它應有的威力。雷鋒網 (公眾號：雷鋒網)

事實上，微表情資料庫的建立非常困難。一個原因是微表情的誘發很難，研究者往往要求被試觀看情緒視訊，激發他們的情緒同時要求他們偽裝自己的表情。有些被試可能並沒有出現微表情或者出現得很少。

另一方面，微表情的編碼也十分費時費力。微表情的編碼依賴於肉眼，需要觀察者慢速觀看視訊，並且選擇臉部運動的起始、高峰、結束並計算他們的時長。而且對於微表情的情緒標定，目前沒有統一的標準。

微表情資料庫面臨的另外的問題。因為微表情的運動幅度非常小，並且相對於常規表情常常是區域性的運動，導致在情緒分類上並不是很明確，所以不同資料庫的情緒標定標準不一樣，所以相似的運動被作為不同類的微表情而不同的運動被視作為同類的表情。這一特點導致使用各種資料庫進行微表情識別演算法訓練得出的結果並不一致。

此外，由於微表情持續時間短、強度低且經常是區域性運動，現在的許多微表情資料庫視訊質量並不能滿足微表情識別分析的需要，這需要具有更高的時間和空間解析度的視訊片段才能進一步改進目前的識別演算法。

一句話：微表情建庫，重要性非常高 ，問題非常多，困難非常大。

三、現狀

近幾年來，微表情受到越來越多學者們的關注。 

2009-2016年電腦科學領域中微表情論文發文量的統計（資料來自Scopus）

上圖對2009-2016年電腦科學領域中微表情論文發文量進行了統計。可以看出，近三年來，有關微表情論文的發文量在急劇增長。2009-2016年一共發文81篇，其中2016年就發文30篇，佔總數37%。特別是2013年兩個微表情資料庫（CASME和SMIC）公開發布以後，微表情相關的論文發文量逐年遞增。

目前，國外做的較好的以芬蘭奧魯大學趙國英團隊為主，他們為微表情識別提出了一個系統的框架，並且公開以布了一個微表情資料庫SMIC。其他包括馬來西亞Multimedia大學的John See團隊、英國曼徹斯特都會大學的Moi Hoon Yap團隊、美國南佛羅里達大學的Shreve、日本筑波大學的Polikovsky和日本早稻田大學Yao等。

而國內做微表情檢測和識別的科研機構主要有中國科學院心理研究所傅小蘭團隊，前面提到的三個資料庫都是他們建立的。其次還有東南大學鄭文明團隊、山東大學賁晛燁團隊、復旦大學張軍平團隊、清華大學劉永進團隊、中山大學的鄭偉詩團隊等。可以看出，國內在這方面有相對較多的研究隊伍。

從微表情論文發文數量可以看出，微表情檢測和識別的研究屬於一個小眾的研究。其限制的主要原因在於大規模、高質量、公開的資料資源的稀缺。所以，用機器學習方法做微表情研究，面臨的一個重要的問題便是：如何建立大規模、高質量的資料庫資源。這面臨著從硬體，到軟體，到標準的一系列嚴峻挑戰。

四、論道

在國內，關於微表情研究的會議或論壇並不是很多，大多隻是小圈子內一些研究者之間的相互交流，其他研究人員以及大眾對於這方面的研究進展知之甚少。

為了推廣國內學者以及大眾對該領域的關注，中科院心理所副研究員、2018年第八屆吳文俊人工智慧科學技術獎一等獎獲得者王甦菁博士將在CNCC 2019大會上舉辦一場主題為“微表情檢測和識別”的論壇，並邀請現任兒童發展與學習科學教育部重點實驗室主任鄭文明教授、西安交通大學特聘研究員洪曉鵬博士、京東數字科技顏文靖副教授、江西中醫藥大學申尋兵副教授、山東大學賁晛燁副教授等，共同論道微表情檢測和識別的現狀及未來，理論與應用。論壇上也會介紹中國科學院心理研究所搭建的微表情編碼與共享平臺（http://mecss.psych.ac.cn/）。

屆時會擦出什麼樣的火花呢？值得期待。

論壇概述： 微表情是一種持續時間極短的、在人們試圖掩飾自己真實的情緒時洩露出來的面部動作。這種無法壓制的屬性使微表情成為欺騙檢測的重要線索。人們欺騙他人時，個體會有眾多反映內心真正情緒體驗的訊號出現（如害怕欺騙被發現導致的恐懼、愚弄他人的快樂等)。相對於研究較多的持續時間較長的巨集表情，對微表情的產生、識別（自動識別）及相應的認知神經機制都有待進一步探索。微表情不可自主控制的屬性使其可以應用到國家安全（安檢）、司法實踐（審訊）、臨床醫學（醫患溝通）、廣告與消費（監測消費者的真實態度）等等各個行業領域的真實意圖檢測。本論壇邀請心理學和計算機專家，從兩個學科的角度對微表情檢測和識別分別給出報告。

主席： 王甦菁，IEEE,CCF高階會員。中國科學院心理研究所副研究員，從事微表情檢測和識別的研究，採用計算機視覺技術，對微表情檢測和識別展開了卓有成效的工作。通過電腦科學與心理學學科交叉研究，在自發微表情誘發、微表情檢測和微表情識別等方面取得了系統性的創新成果。“微表情識別方法”榮獲2018年第八屆吳文俊人工智慧科學技術獎一等獎。

講者1：賁晛燁

題目：M2MEW：跨源面部巨集/微表情資料庫

賁晛燁，副教授，碩士\博士生導師，山東大學未來計劃學者。主要研究方向為影象處理、模式識別。 獲得哈爾濱工程大學優秀博士學位論文獎，黑龍江省優秀畢業生榮譽稱號，入選教育部“全國博士後特別資助計劃”。2010年4月至2012年5月在哈爾濱工業大學交通訊息與控制專業流動站做博士後，2011年11月進入山東大學資訊科學與工程學院影象處理與模式識別技術研究所工作，2015年1月至2015年12月在澳大利亞悉尼科技大學人工智慧中心（全澳排名第一）陶大程教授研究組訪問交流學習一年。主持國家自然科學基金面上、青年基金、科技部國家重點研發計劃子課題、山東省重點研發計劃、教育部博士點基金，博士後一等資助專案以及博士後特別資助等專案。

講者2：顏文靖

題目：微表情資料庫的現狀與未來

顏文靖，心理學博士，畢業於中國科學院心理研究所。原溫州大學心理系主任、副教授、碩士生導師、韓國全南大學兼職博士生導師。長期開展心理學與計算機的交叉研究，研究興趣主要包括表情與姿態、欺騙以及心理健康，建立了國際上使用最多的微表情資料庫CASME。現在京東數字科技開展心理學與人工智慧結合的應用研究。

講者3：鄭文明

題目：人的智慧發展評測與心理生理資訊感知計算

鄭文明，二級教授，博士生導師，現任兒童發展與學習科學教育部重點實驗室主任、IEEE高階會員、中國認知科學學會理事。2004年9月博士畢業於東南大學無線電工程系訊號與資訊處理專業。先後在微軟亞洲研究院、香港中文大學、美國伊利諾伊大學香檳分校、劍橋大學從事訪問研究。主要研究方向為多模態情感計算、神經資訊處理、計算機視覺，機器學習。2005年入選教育部新世紀優秀人才支援計劃，先後獲首屆微軟青年教授獎、全國優秀博士學位論文提名獎、江蘇省傑出青年基金等榮譽。擔任IEEE Transactions on Affective Computing、Neurocomputing、The Visual Computer、《圖學學報》等國內外期刊編委。主持了科技部973課題、國家自然科學基金重點專案、江蘇省傑出青年基金專案等，獲國家技術發明二等獎1項、教育部自然科學二等獎2項和江蘇省科技進步二等獎1項。

講者4：申尋兵

題目：欺騙檢測的情緒洩露線索

申尋兵，副教授，碩導，美國邁阿密大學（牛津）訪問學者。近五年該同志主持省部級以上專案6項（其中國家自然科學基金與教育部人文社科專案各1項）；發表論文16篇 （其中第一作者或通訊作者SCI/SSCI論文4篇、 CSSCI論文2篇、EI論文5篇、CPCI （ISTP）論文1篇）；參與寫作教材或著作3部，參編國家級規劃教材1部；獲校級教學成果二等獎1項（排名第1），獲得授權發明專利1項（排名第二）。兼任《科學通報》、《心理學報》、《心理科學》審稿人，《Frontiers in Psychology》客座編輯、審稿人，世界中醫藥聯合會中醫心理學專業委員會常務理事，江西省心理學會常務理事，江西省社會心理學會理事，江西省中西醫結合學會循證醫學專業委員會委員，江西省中西醫結合學會循證醫學專業委員會委員，中國人工智慧學會人工心理與人工情感專業委員會委員，江西省公共資源交易中心評標專家，江西省養老服務標準化技術委員會委員。

講者5：洪曉鵬

題目：自動微表情分析：從手工特徵到深度學習

洪曉鵬博士，現為西安交通大學電信學部特聘研究員、博導。曾獲得芬蘭奧盧大學博士生導師(Docent)頭銜。他在高文院士指導下於2010年在哈爾濱工業大學獲得計算機應用與技術專業工學博士學位。他目前的研究興趣包括微表情識別、醫學檢查、小樣本學習及物體跟蹤等。洪曉鵬博士已在包括IEEE T-PAMI、T-IP、CVPR和ACM UbiComp等CCF A類學術刊物在內的國際權威期刊和會議上以主要作者身份發表了逾30篇文章，獲授權發明專利一項。所發表文章Google Scholar引用超過800次，單篇所載刊物最高影響因子9.455。其中在瞬時情感分析方面的相關工作受到了包括美國《麻省理工技術評論》和英國《每日郵報》在內的國際權威媒體專文報導。自2011年起主持了芬蘭奧盧市資訊科技學會(Infotech Oulu) 博士後科研基金專案一項，共同主持芬蘭科學院ICT2023專題專案一項，並先後參與多項芬蘭科學院基金專案和中國國家自然科學基金專案。

參考文章： https://mp.weixin.qq.com/s/bMwVZN6sCcbVdU0F4ulagQ

https://www.leiphone.com/news/201907/Ycsh3df6ahlyBObt.html

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/29829936/viewspace-2652840/，如需轉載，請註明出處，否則將追究法律責任。