如何讓聊天機器人懂情感

PaperWeekly發表於2017-04-27


當你悲傷的時候,機器人可以安慰你;當你高興的時候,機器人為你高興。悲你所悲,喜你所喜,真正的情感撫慰和陪伴,就需要這種情緒化的聊天技巧。


清華大學計算機系朱小燕、黃民烈老師團隊研發的 ECM(Emotional Chatting Machine:情緒化聊天機器人)開始具備這樣的能力。

 

近年來,隨著深度學習的發展,應用於開放領域的對話系統正在受到越來越多的關注。與之前基於資訊檢索的對話系統不同,基於深度學習的生成式對話系統可以從大規模的語料中學習到潛在的回覆模式,從而可以生成語料中從未出現過的回覆語句,在適用性與擴充套件性上都比基於資訊檢索的對話系統有了極大的提升。之前,大量的生成式對話系統的工作都致力於提升對話系統生成語句的語言質量,包括語法性、多樣性以及話題相關性等等,卻缺乏對人類情感的理解。然而,很多研究表明,情感智力(Emotion Intelligence)對人機對話系統的表現有著至關重要的影響,是一個成功的對話系統不可或缺的重要組成部分。

 

朱小燕、黃民烈老師團隊近期釋出的論文「 Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memory」(作者:周昊、黃民烈、張天揚、朱小燕、劉兵)首次將情感因素引入了基於深度學習的生成式對話系統,提出了基於記憶網路的情感對話系統 Emotional Chatting Machine (ECM) ,在傳統的 Sequence to Sequence 模型的基礎上,ECM 使用了靜態的情感向量嵌入表示,動態的情感狀態記憶網路和情感詞外部記憶的機制,使得 ECM 可以根據使用者的輸入以及指定情感分類輸出相應情感的回覆語句。實驗表明,ECM 可以在語言和情感兩個維度上生成恰當的回覆,並且通過人工實驗驗證了人們偏好於引入了情感因素的對話系統。作為第一篇將情感因素引入基於深度學習的生成式對話系統的論文,該工作受到了包括 MIT Technology Review 和 NVIDIA DEVELOPER 的關注(報導連結詳見文末)。其中,MIT Technology Review 的評價:“Chatbots have never been able to empathize. That looks set to change, thanks to a Chinese team that has built a chatbot capable of conveying specific emotions.”


如何讓聊天機器人懂情感

▲ 圖1:ECM 模型框架


模型的總體框架如圖 1 所示,使用者問題輸入為“What a lovely day!”,通過 Encoder  將其編碼為隱向量表示 h,然後通過注意力機制,結合 decoder 的狀態向量 s 在生成不同的詞時,對問題的隱向量表示 h 的不同部分的資訊選擇性的加強,得到向量 c。指定情感類別為“Happiness”,經過索引得到情感類別嵌入向量,初始的情感狀態記憶向量和相應的情感詞表。decoder 接受經過注意力機制的問題向量 c,情感類別嵌入向量和初始的情感狀態記憶向量作為輸入,通過迴圈神經網路生成下個詞的生成概率 o,之後再經過情感詞表對情感詞和非情感詞的加權,得到最終詞的生成概率,通過取樣即可得到輸出“Haha, so happy today!”。


如何讓聊天機器人懂情感

▲ 圖2:ECM 生成的對話樣例,與經典 Seq2Seq 模型的比較

 

ECM 生成的對話樣例如圖所示,對大部分在語料中出現較多的情感類別,ECM 都能生成相應情感的回覆,但是對於在語料中出現較少的情感類別(如最後 2 行),ECM 回覆的質量會有所降低。


MIT Technology Review:


https://www.technologyreview.com/s/604157/emotional-chatting-machine-assesses-your-emotion-and-copies-it/ 


NVIDIA DEVELOPER:


https://news.developer.nvidia.com/emotional-chatting-chatbot/


檢視完整版論文:


Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memory






黃民烈

清華大學老師

關注自然語言處理、人機對話情感分析等方向

aihuang@tsinghua.edu.cn


相關文章