本次推薦了三篇關於情感生成、情感分析、遷移學習、機器翻譯雙向解碼的論文。
一、
推薦組：SA
推薦人：吳洋（研究方向：情感分析）
論文題目：Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memory
作者：Hao Zhou, Minlie Huang, Tianyang Zhang, Xiaoyan Zhu, Bing Liu
出處：AAAI 2018
論文主要相關：情感生成
簡評：
這篇論文探索了“如何控制生成文字中的情感”這一問題，是中文情感生成領域的前沿工作。
論文模型中encoder部分採用傳統的encoder，decoder部分進行了多處具有創新的改動。一是加入了Internal Memory部分，該部分是受到心理學理論的啟發而設計的，即人的情感強度隨著表達不斷衰減。二是加入了External Momory部分，該部分將情感詞與情感詞分開進行softmax計算機率，並用係數來調整當前對兩類詞的輸出偏好。三是加入Emotion Category Embedding部分旨在讓解碼器每一步都能得到要生成情感的指示資訊。
Decoder部分的大體流程是一開始透過指定的情感得到對應的Emotion Category Embedding，與此同時在Internal Memory部分計算讀出門和寫入門的值，讀出門的值點乘情感單元的值得到要輸出到解碼單元中的向量，寫入門的值點乘情感單元的值即是下一個時間步情感單元的值。當前時間步的解碼單元得到情感單元輸出值和Emotion Category Embedding之後，將其與context向量拼接，計算出當前解碼單元的輸出，利用輸出向量透過External Momory來計算輸出詞的機率分佈。
評價方式採取了兩種方式，第一種使用生成的文字與規定的情感極性是否一致，即計算accuracy。第二種，使用人工的方式，對文字的內容和情感打分，在這個過程中，採取一些統計學方法說明人工打分沒有偏見。最終結果表明，三處的改動均起到提升的作用。
論文連結：
https://arxiv.org/pdf/1704.01074.pdf
二、
推薦組：SP
推薦人：石乾坤（研究方向：股市預測）
論文題目：End-to-End Adversarial Memory Network for Cross-domain Sentiment Classification
作者：Zheng Li, Yu Zhang, Ying Wei, Yuxiang Wu, Qiang Yang
出處：IJCAI 2017
論文主要相關：情感分析，遷移學習
簡評：情感分析指的是對一句話的情感傾向（表揚/批評）進行分析，自然語言處理領域中，學者們經常使用亞馬遜商品評論作為該領域的標準資料集，這些評論包括電子用品評論、書籍評論、DVD評論等。
情感分析任務中，一個針對A領域（如針對電子用品的評論）訓練出的模型，如果用來判別其他領域（如針對書籍的評論）的情感傾向，模型的表現往往較差，這種特點被稱為領域獨立。該特點使得訓練一個針對各領域通用的模型較為困難，而針對每種評論都訓練出一個模型又需要大量標註資料，耗時耗力。為解決這個問題，學者們提出了遷移學習模型。
本文提出了Adversarial Memory Network（AMN）模型以進行領域遷移，該模型中的Attention機制可以自動捕捉文字中的關鍵詞，模型中的一個Memory network用於情感分析，另一個Memory network結合Gradient Reversal Layer用於領域混淆。針對上文中提到亞馬遜商品評論資料集，該模型的表現顯著超過了baseline模型，取得了State of the art的效果。除此之外，該模型還可以顯式的給出文字中表達情感的關鍵詞（如great, terrible等），其模型的可解釋性也優於其他的深度學習模型。
論文連結：
https://www.ijcai.org/proceedings/2017/311
三、
推薦組：TG
推薦人：耿昕偉（研究方向：文字生成技術研究）
論文題目：Asynchronous Bidirectional Decoding for Neural Machine Translation
作者：Xiangwen Zhang, Jinsong Su, Yue Qin, Yang Liu, Rongrong Ji , Hongji Wang
出處：AAAI 2018
論文主要相關：機器翻譯雙向解碼
簡評：傳統的機器翻譯模型在解碼過程中由於使用RNN，所以其只能進行從左到右或者從右向左的單方向的解碼。然而實際中發現從左到右和從右向左兩種解碼方式可以實現資訊的互補，例如現在經常使用的雙向RNN進行編碼。
本文首先使用一個從右向左的backward decoder對輸入進行解碼，在此過程中生成解碼端隱含層序列，其包含相應的解碼端上下文資訊。然後使用另外一個從左到右的forward decoder進行二次解碼，在解碼每一步，其用當前的隱含層表示不僅attend編碼器生成的隱含層序列，而且也使用backward decoder的隱含層序列獲取有用的解碼端上下文資訊。實驗顯示，該模型相比傳統的NMT模型在中英和英德機器翻譯任務上分別取得3.14和1.38個BLEU提升。
論文連結：
https://arxiv.org/pdf/1801.05122.pdf
本文來源於哈工大SCIR
