作者 | 朱軍楠、張家俊

編輯 | 叢末

多模態自動文摘是指利用計算機實現從含有兩種或兩種以上模態（如圖片、文字等）的資訊中生成圖文式摘要的過程。該技術可以廣泛應用於新聞推送、跨境電商、產品描述自動生成等多個領域，具有重要的研究價值和豐富的應用場景。

近年來，隨著計算機視覺以及自然語言處理技術的發展，多模態自動文摘技術逐漸成為學術界和工業界研究的熱點。當前的多模態自動文摘受限於資料集本身的原因只能採用文字模態的負對數似然損失作為目標函式訓練整個網路，同時利用注意力機制來輔助挑選圖片。

這種做法容易帶來模態偏差的問題，即整個網路會傾向於最佳化文字生成的質量而忽視了圖片的挑選過程，如圖1所示。若只考慮文字模態的損失，B摘要是要優於A摘要的，但是很顯然B摘要中的圖片的人物對應關係不對；而當我們引入圖片選擇的損失時，我們可以明顯的判斷出A摘要是優於B摘要的，並且這也符合基本事實。

圖 1 模態偏差的示例

論文方法

針對於上述問題，中科院自動化所自然語言處理組博士生朱軍楠、周玉研究員、張家俊研究員、宗成慶研究員等提出了多模態基準指導的多模態自動文摘方法。基本想法是最佳化多模態摘要訓練的目標函式，即在文字損失的基礎上增加圖片選擇的損失函式。

如圖2所示，該方法由三部分組成：

• （1）首先利用資料集本身的特徵將只有文字基準的訓練資料擴充套件至多模態基準，主要採用兩種方式，即直接使用輸入圖片的順序對圖片進行排序或者使用圖片的文字描述與標準文字摘要參考答案之間的ROUGE值大小對輸入圖片進行排序；

• （2）在模型上新增圖片判別器用於訓練圖片挑選的過程，模型的損失函式也由文字的損失函式及圖片挑選的損失函式加權求和而成；

• （3）透過資料集中的圖片和文字描述構造文字-圖片對齊片段從而用來訓練能夠更好地評價多模態片段的評價模型，具體而言我們將兩對圖片-描述的文字部分（或影像部分）進行交換去構造兩個匹配的多模態片段，如圖3所示。

圖 2 多模態基準指導的多模態自動文摘框架圖

圖 3 多模態匹配片段構造示意圖

實驗結果

目前多模態自動文摘的資料集還比較匱乏，我們之前釋出了一個公開資料集MSMO，這項工作也在該資料集上進行實驗驗證。在對比摘要方法的效能之前，我們首先需要明確應該採用哪種評價指標。

在之前的工作中，圖文式摘要的評價 關注三個方面的指標：圖片準確率(IP)、文字摘要的ROUGE值(ROUGE-L)以及系統輸出中圖片文字的相關度(Msim)。

在我們的方法中，我們引入一個新的自動評價指標MRmax用來直接度量兩個多模態資訊之間的相似度（輸出和參考答案的最大相似度）。MMAE是對IP、ROUGE和Msim的組合，MMAE++是IP、ROUGE、Msim和MRmax四個自動評價指標的組合。我們利用與人工打分之間的相關度來對比不同的自動評價指標。

表 1 不同評價指標與人工打分之間的相關度（分值越高、效能越好）

表1給出了不同的自動評價指標與人工打分的相關度，可以看出融入了直接測量多模態片段的評價指標MR之後，新的自動評價模型MMAE++相比於MMAE在與人工打分的相關度上有一個顯著的提升。

為了衡量我們提出的多模態基準指導的模型，我們同多個強基線模型進行了對比，包括融入全域性或者區域性視覺特徵的多模態注意力機制的生成式自動文摘模型（ATG、ATL）、層次化的多模態自動文摘模型（HAN）以及基於圖模型的抽取式自動文摘模型（GR）。

表 2 不同模型生成的圖文式摘要的質量對比（MOF表示多模態基準指導的方法、RR表示透過ROUGE值對圖片排序，OR表示透過輸入圖片的順序對圖片排序，enc表示利用編碼器隱層狀態選擇圖片，dec表示利用解碼器隱層狀態選擇圖片）

表2給出了不同模型生成的圖文式摘要的質量對比。可以看出在引入多模態基準指導後，模型的圖片挑選質量（IP）得到了顯著的改善，並且文字生成質量也有略微改進，從而生成更高質量的圖文摘要。相對於使用編碼器隱層狀態而言，採用解碼器隱層狀態去進行圖片選擇效果會更好

。

另一方面，使用圖片描述與文字摘要之間ROUGE值的大小對圖片排序獲得的多模態基準對於模型的指導作用更加明顯。

表 3 圖片選擇的損失函式的權重大小

我們也對比了不同的圖片選擇損失函式權重對於模型效能的影響，可以看到當圖片和文字的損失函式的權重都相同時，圖文摘要的質量是最好的。

表 4 計算圖片損失中考慮的圖片的數量的影響

我們對比了在計算圖片損失中考慮的圖片數量（即top-K圖片作為gold standard）所帶來的影響，並且發現當 K=3的時候，模型取得了最好的效果。

相關細節可參考發表於人工智慧頂級學術 會議AAAI 2020的論文：

Junnan Zhu, Yu Zhou, Jiajun Zhang, Haoran  Li, Chengqing Zong, Changliang Li. Multimodal Summarization with Guidance of Multimodal Reference. AAAI-2020.