京東商城背後AI技術揭祕（一）——基於關鍵詞導向的生成式句子摘要

本文所介紹的是基於關鍵詞指導的生成式句子摘要方法，該方法融合了抽取式自動文摘和生成式自動文摘，在Gigaword句子摘要資料集上與對比模型相比，取得了更好的效能。

論文連結：http://box.jd.com/sharedInfo/B2234BB08E365EEC

1、生成式句子摘要

生成式句子摘要(Abstractive Sentence Summarization)任務的輸入是一個較長的句子，輸出是該輸入句子的簡化短句。

我們注意到，輸入句子中的一些重要詞語（即關鍵詞）為摘要的生成提供了指導線索。另一方面，當人們在為輸入句子創作摘要時，也往往會先找出輸入句子中的關鍵詞，然後組織語言將這些關鍵詞串接起來。最終，生成內容不僅會涵蓋這些關鍵詞，還會確保其流暢性和語法正確性。我們認為，相較於純粹的抽取式自動文摘和生成式自動文摘，基於關鍵詞指導的生成式自動文摘更接近於人們創作摘要時的習慣。

我們舉一個簡單的句子摘要的例子。如圖1所示，我們可以大致將輸入句子和參考摘要的重疊的詞（停用詞除外）作為關鍵詞，這些重疊的詞語覆蓋了輸入句子的要點。例如，我們通過關鍵詞“世界各國領導人”“關閉”和“切爾諾貝利” ，可以獲取輸入句子的主旨資訊，即“世界各國領導人呼籲關閉切爾諾貝利”，這與實際的參考摘要 “世界各國領導人敦促支援切爾諾貝利核電站關閉計劃”是相吻合的。這種現象在句子摘要任務中很常見：在Gigaword句子摘要資料集上，參考摘要中的詞語超過半數會出現在輸入句子中。

2、模型概述

句子摘要任務的輸入為一個較長的句子，輸出是一個簡短的文字摘要。我們的動機是，輸入文字中的關鍵詞可以為自動文摘系統提供重要的指導資訊。首先，我們將輸入文字和參考摘要之間重疊的詞（停用詞除外）作為Ground-Truth關鍵詞，通過多工學習的方式，共享同一個編碼器對輸入文字進行編碼，訓練關鍵詞提取模型和摘要生成模型，其中關鍵詞提取模型是基於編碼器隱層狀態的序列標註模型，摘要生成模型是基於關鍵詞指導的端到端模型。關鍵詞提取模型和摘要生成模型均訓練收斂後，我們利用訓練好的關鍵詞提取模型對訓練集中的文字抽取關鍵詞，利用抽取到的關鍵詞對摘要生成模型進行微調。測試時，我們先利用關鍵詞提取模型對測試集中的文字抽取關鍵詞，最終利用抽取到的關鍵詞和原始測試文字生成摘要。

（1）多工學習

文字摘要任務和關鍵詞提取任務在某種意義上非常相似，都是為了提取輸入文字中的關鍵資訊。不同點在於其輸出的形式：文字摘要任務輸出的是一段完整的文字，而關鍵詞提取任務輸出的是關鍵詞的集合。我們認為這兩個任務均需要編碼器能夠識別出輸入文字中的重要資訊的能力。因此，我們利用多工學習框架，共享這兩個任務編碼器，提升編碼器的效能。

（2）基於關鍵詞指導的摘要生成模型

我們受Zhou等人工作[1]的啟發，提出了一種基於關鍵詞指導的選擇性編碼。具體來說，由於關鍵詞含有較為重要的資訊，通過關鍵詞的指導，我們構建一個選擇門網路，其對輸入文字的隱層語義資訊進行二次編碼，構造出一個新的隱層。基於這個新的隱層進行後續的解碼。

我們的解碼器基於Pointer-Generator網路[2]，即融合了複製機制的端到端模型。對於Generator模組，我們提出直連、門融合和層次化融合的方式對原始輸入文字和關鍵詞的上下文資訊進行融合；對於Pointer模組，我們的模型可以選擇性地將原始輸入和關鍵詞中的文字複製到輸出摘要中。

3、實驗與分析

（1）資料集

在本次實驗中，我們選擇在Gigaword資料集上進行實驗，該資料集包含約380萬個訓練句子摘要對。我們使用了8000對作為驗證集，2000對作為測試集。

（2）實驗結果

表1顯示了我們提出的模型比沒有關鍵詞指導的模型表現更好。我們測試了不同的選擇性編碼機制，分別是輸入文字的自選擇，關鍵詞選擇和互選擇，實驗結果顯示互選擇的效果最佳；對於Generator模組，我們發現層次化融合的方式要優於其他兩種融合方式；我們的雙向Pointer模組比原始的僅能從輸入文字中複製的模型表現更好。

4、總結

本文致力於生成式句子摘要的任務，即如何將一個長句子轉換成一個簡短的摘要。我們提出的模型可以利用關鍵詞作為指導，生成更加優質的摘要，獲得了比對比模型更好的效果。

1）通過採用了多工學習框架來提取關鍵詞和生成摘要；

2）通過基於關鍵字的選擇性編碼策略，在編碼過程中獲取重要的資訊；

3）通過雙重注意力機制，動態地融合了原始輸入句子和關鍵詞的資訊；

4）通過雙重複制機制，將原始輸入句子和關鍵詞中的單詞複製到輸出摘要中。

在標準句子摘要資料集上，我們驗證了關鍵詞對句子摘要任務的有效性。

註釋：