對話摘要技術在美團的探索（SIGIR）

隨著網際網路產生的文字資料越來越多，文字資訊過載問題日益嚴重，對各類文字進行一個“降維”處理顯得非常必要，而文字摘要就是其中一個重要的手段。本文首先介紹了經典的文字摘要方法，包括抽取式摘要方法和生成式摘要方法，隨後分析了對話摘要的模型，並分享了美團在真實對話摘要場景中面臨的挑戰。希望能給從事相關工作的同學帶來一些啟發或者幫助。

1. 對話摘要技術背景

文字摘要^[65-74]旨在將文字或文字集合轉換為包含關鍵資訊的簡短摘要，是緩解文字資訊過載的一個重要手段。文字摘要按照輸入型別，可分為單文件摘要和多文件摘要。單文件摘要從給定的一個文件中生成摘要，多文件摘要從給定的一組主題相關的文件中生成摘要。按照輸出型別可分為抽取式摘要和生成式摘要。抽取式摘要從源文件中抽取關鍵句和關鍵片語成摘要，摘要資訊全部來源於原文。生成式摘要根據原文，允許生成新的詞語、短語來組成摘要。此外，按照有無監督資料，文字摘要可以分為有監督摘要和無監督摘要。根據輸入資料領域，文字摘要又可以分為新聞摘要、專利摘要、論文摘要、對話摘要等等。

自動文字摘要可以看作是一個資訊壓縮的過程，我們將輸入的一篇或多篇文件自動壓縮為一篇簡短的摘要，該過程不可避免地存在資訊損失，但要求保留儘可能多的重要資訊。自動文摘系統通常涉及對輸入文件的理解、要點的篩選以及文摘合成這三個主要步驟。其中，文件理解可淺可深，大多數自動文摘系統只需要進行比較淺層的文件理解，例如段落劃分、句子切分、詞法分析等，也有文摘系統需要依賴句法解析、語義角色標註、指代消解，甚至深層語義分析等技術。

對話摘要是文字摘要的一個特例，其核心面向的是對話類資料。對話類資料有著不同的形式，例如：會議、閒聊、郵件、辯論、客服等等。不同形式的對話摘要在自己的特定領域有著不同的應用場景，但是它們的核心與摘要任務的核心是一致的，都是為了捕捉對話中的關鍵資訊，幫助快速理解對話的核心內容。與文字摘要不同的是，對話摘要的關鍵資訊常常散落在不同之處，對話中的說話者、話題不停地轉換。此外，當前也缺少對話摘要的資料集，這些都增大了對話摘要的難度^[64]。

基於實際的場景，本文提出了閱讀理解的距離監督Span-Level對話摘要方案《Distant Supervision based Machine Reading Comprehension for Extractive Summarization in Customer Service》（已發表在SIGIR 2021），該方法比強基準方法在ROUGE-L指標和BLEU指標上提升了3%左右。

2. 文字摘要與對話摘要經典模型介紹

文字摘要從生成方式上可分為抽取式摘要和生成式摘要兩種模式。抽取式摘要通常使用演算法從源文件中提取現成的關鍵詞、句子作為摘要句。在通順度上，一般優於生成式摘要。但是，抽取式摘要會引入過多的冗餘資訊，無法體現摘要本身的特點。生成式摘要則是基於NLG（Natural Language Generation）技術，根據源文件內容，由演算法模型生成自然語言描述，而非直接提取原文的句子。

目前，生成式摘要很多工作都是基於深度學習中的Seq2Seq模型^[44]。最近在以BERT^[34]為代表的大量預訓練模型出世後，也有很多工作集中在如何利用預訓練模型來做NLG任務。下面分別介紹上述兩種模式下的經典模型。

2.1 抽取式摘要模型

抽取式摘要從原文中選取關鍵詞、關鍵句組成摘要。這種方法天然在語法、句法上錯誤率低，保證了一定的效果。傳統的抽取式摘要方法使用圖方法、聚類等方式完成無監督摘要。目前流行的基於神經網路的抽取式摘要，往往將問題建模為序列標註和句子排序兩類任務。下面首先介紹傳統的抽取式摘要方法，接著簡述基於神經網路的抽取式摘要方法。

傳統抽取式摘要方法

Lead-3

一般來說，文件常常會在標題和文件開始就表明主題，因此最簡單的方法就是抽取文件中的前幾句作為摘要。常用的方法為Lead-3^[63]，即抽取文件的前三句作為文件的摘要。Lead-3方法雖然簡單直接，但卻是非常有效的方法。

TextRank

TextRank^[58] 演算法仿照PageRank，將句子作為節點，使用句子間相似度，構造無向有權邊。使用邊上的權值迭代更新節點值，最後選取N個得分最高的節點，作為摘要。

聚類

基於聚類的方法，將文件中的句子視為一個點，按照聚類的方式完成摘要。例如Padmakumar和Saran ^[11]將文件中的句子使用Skip Thought Vectors和Paragram Embeddings兩種方式進行編碼，得到句子級別的向量表示。然後再使用K均值聚類^[59]和Mean-Shift聚類^[60]進行句子聚類，得到N個類別。最後從每個類別中，選擇距離質心最近的句子，得到N個句子，作為最終的摘要。

基於神經網路的抽取式摘要方法

近年來神經網路風靡之後，基於神經網路的抽取式摘要方法比傳統的抽取式摘要方法效能明顯更高。基於神經網路的抽取式摘要方法主要分為序列標註方式和句子排序方式，其區別在於句子排序方式使用句子收益作為打分方式，考慮句子之間的相互關係。

序列標註方式

這種方法可以建模為序列標註任務進行處理，其核心想法是：為原文中的每一個句子打一個二分類標籤（0或1），0代表該句不屬於摘要，1代表該句屬於摘要。最終摘要由所有標籤為1的句子構成。

這種方法的關鍵在於獲得句子的表示，即將句子編碼為一個向量，根據該向量進行二分類任務，例如SummaRuNNer模型^[48]，使用雙向GRU分別建模詞語級別和句子級別的表示（模型如下圖1所示）。藍色部分為詞語級別表示，紅色部分為句子級別表示，對於每一個句子表示，有一個0、1標籤輸出，指示其是否是摘要。

該模型的訓練需要監督資料，現有資料集往往沒有對應的句子級別的標籤，可以通過啟發式規則進行獲取。具體方法為：首先選取原文中與標準摘要計算ROUGE得分最高的一句話加入候選集合，接著繼續從原文中進行選擇，保證選出的摘要集合ROUGE得分增加，直至無法滿足該條件。得到的候選摘要集合對應的句子設為1標籤，其餘為0標籤。

句子排序方式

抽取式摘要還可以建模為句子排序任務，與序列標註任務的不同點在於，序列標註對於每一個句子表示打一個0、1標籤，而句子排序任務則是針對每個句子輸出其是否是摘要句的概率，最終依據概率，選取Top K個句子作為最終摘要。雖然任務建模方式（最終選取摘要方式）不同，但是其核心關注點都是對於句子表示的建模。

序列標註方式的模型在得到句子的表示以後對於句子進行打分，這就造成了打分與選擇是分離的，先打分，後根據得分進行選擇，沒有利用到句子之間的關係。NeuSUM^[49]提出了一種新的打分方式，使用句子收益作為打分方式，考慮到了句子之間的相互關係。其模型NeuSUM如下圖2所示：

句子編碼部分與之前基本相同。打分和抽取部分使用單向GRU和雙層MLP完成。單向GRU用於記錄過去抽取句子的情況，雙層MLP用於打分，如下公式所示：

2.2 生成式摘要模型

抽取式摘要在語法、句法上有一定的保證，但是也面臨了一定的問題，例如：內容選擇錯誤、連貫性差、靈活性差等問題。生成式摘要允許摘要中包含新的詞語或短語，靈活性較高。隨著近幾年神經網路模型的發展，序列到序列（Seq2Seq）模型被廣泛地用於生成式摘要任務，並取得一定的成果。下面介紹生成式摘要模型中經典的Pointer-Generator^[50]模型和基於要點的生成式摘要模型Leader+Writer^[4]。

Pointer-Generator模型

僅使用Seq2Seq來完成生成式摘要存在如下問題：①未登入詞問題（OOV）；②重複生成問題。Pointer-Generator^[50]在基於注意力機制的Seq2Seq基礎上增加了Copy和Coverage機制，有效地緩解了上述問題。其模型結構如下圖3所示：

該模型基於注意力機制的Seq2Seq模型，使用每一步解碼的隱層狀態與編碼器的隱層狀態計算權重，最終得到Context向量，利用Context向量和解碼器隱層狀態計算輸出概率。

兩個創新

• Copy機制：在解碼的每一步計算拷貝或生成的概率，因為詞表是固定的，該機制可以選擇從原文中拷貝詞語到摘要中，有效地緩解了未登入詞（OOV）的問題。
• Coverage機制：在解碼的每一步考慮之前步的注意力權重，結合Coverage損失， 避免繼續考慮已經獲得高權重的部分。該機制可以有效緩解生成重複的問題。

Leader-Writer模型

Leader-Writer模型主要通過挖掘對話中存在的要點 (例如背景、結論等) 來生成摘要。作者總結了生成式摘要現存的幾個問題：①邏輯性，例如在客服對話中，背景應該在結論之前；②完整性，即對話中存在的各個要點都應該在摘要中存在；③關鍵資訊正確，例如“使用者同意”和“使用者不同意”雖然只有一字之差，但含義完全相反；④摘要過長問題。為了解決這些問題，本文提出瞭如下解決方案：

1. 引入要點序列預測輔助任務，並利用對話的要點序列資訊引導模型生成具有邏輯性、完整性、關鍵資訊正確的摘要。如下圖4所示，Leader-Writer模型用一個層次的Transformer 編碼器編碼每個話語，用Leader解碼器對每個話語的要點進行分類，並使用Writer解碼器進行摘要生成。Leader解碼器解碼的輸出作為Writer解碼器初始狀態的輸入，以利用不同對話片段的要點資訊。
2. 引入Pointer-Generator模型，以生成更長、資訊更豐富的摘要。

2.3 對話摘要模型

對話具有關鍵資訊散落、低資訊密度、多領域、話題轉換、說話者角色經常轉換等特點，因此可以直接將文字摘要應用於對話摘要，一些研究工作也致力於解決這些問題。下面介紹2個有代表性的對話摘要模型：SPNet^[53]和TDS-SATM^[54]。

Scaffold Pointer Network (SPNet)

針對對話摘要面臨的3個問題：①說話者眾多；②難以正確總結關鍵實體資訊；③對話領域眾多、領域特性大。為此，本文提出了3個解決方案：

1. 使用Pointer-generator進行生成式的摘要提取，同時引入不同編碼器編碼不同的說話者角色。
2. 針對地名、時間等實體資訊，在編碼器的輸入用統一的符號代替，如時間都用[time]代替。
3. 引入對話領域分類的輔助損失，增加了多個領域分類的交叉熵損失作為輔助損失。

TDS-SATM

對話的重要資訊常常散落在不同句子當中，而大多數話語是不重要的常見表述，此外噪音和轉義錯誤也常常出現在對話中。為了解決上述問題，作者提出瞭如下兩個解決方法：

1. 在神經主題模型的基礎上提出了顯著性感知神經主題模型 (SATM)，通過對話推斷出主題分佈。作者把主題分為有資訊的主題和其他主題。在SATM的生成過程中，作者把與標準摘要相對應的每個單詞約束為從有資訊的主題中生成，這樣SATM可以生成主題更相關的詞。
2. 為了捕獲角色資訊並從對話中提取語義主題，作者使用SATM分別對客戶話語，客服話語和整體對話執行多角色主題建模。作者使用兩階段的摘要生成器，包括句子抽取和從抽取的句子中生成摘要。將SATM得到的主題資訊融入摘要生成器中，以通過對話中的重要資訊生成摘要。

模型的整體架構圖如下圖5所示：

3. 基於閱讀理解的Span-level抽取式摘要方案DSMRC-S（發表於SIGIR 2021）

3.1 背景介紹

未來保證良好的使用者體驗，美團有大量的人工客服來處理使用者來電問題，客服同學接到電話後需手動記錄電話的內容，耗時費力。一個有效的對話摘要模型可以大大增加客服同學的工作效率，降低人工客服處理每通來電的平均處理時間。

儘管上述經典方法在CNN/Daily Mail、LCSTS等資料集上取得了不錯的效果，但在實際的場景中仍然會遇到很多挑戰。例如，生成式摘要依然缺少穩定性（重複或者產生奇怪的詞）和邏輯性，而抽取式摘要如果沒有明確的標註資訊去訓練模型，一般通過“ROUGE-L指標高的句子標為正例”的方式自動標註句子層次的標籤，但這種只抽取句子層次的粗粒度方式也容易帶來噪音。此外，現有對話摘要結果不可控，難以得到特定的資訊要素。

為了適用實際的場景，我們介紹基於閱讀理解的Span-Level抽取式對話摘要方案，該方法基於現有人工客服記錄的摘要，不需要額外標註，也取得了不錯的結果。其中相關的成果發表也在SIGIR 2021國際會議上，下文將詳細介紹該方法。

3.2 方法介紹

為了解決現有對話摘要難以得到指定資訊要素以及缺少標註資料的問題，我們提出了一個更靈活的、基於遠端監督和閱讀理解的抽取式摘要模型（Distant Supervision based Machine Reading Comprehension Model for Extractive Summarization），簡稱為DSMRC-S，總體結構如下圖6所示：

DSMRC-S由一個基於BERT的MRC（Machine Reading Comprehension）模組、遠端監督模組和一個基於密度的提取策略組成。在預處理階段，對話中的Token會被自動標註，模型會被訓練去預測對話中每個Token出現在答案中的概率。然後，基於上一步預測的概率，一個基於密度的提取策略會被用來提取最合適的Span作為答案。

我們的方法可以主要分成兩部分：①將對話摘要任務轉換成閱讀理解；②無需額外標註的閱讀理解方案。

對話摘要轉換成閱讀理解任務

客服接到一個電話後需要寫一個摘要，摘要的內容通常會包含一些固定的關鍵要素，比如“使用者來電背景”、“使用者來電訴求”、“解決方案”等。基於這樣的特點，我們將自動摘要任務轉換成閱讀理解任務，摘要中的每一個關鍵要素對應閱讀理解任務中的一個問題。

這樣轉換的好處在於：

• 可以更有效地利用預訓練語言模型強大的語言理解能力。
• 相比Seq2Seq生成內容不可控，閱讀理解的方式可以通過問句進行更有針對性引導，使得答案作為摘要更聚焦，可以得到關注的資訊要素。

無需額外標註的閱讀理解方案

閱讀理解任務需要通常需要大量的標註資料。幸運的是，人工客服記錄了大量的關鍵資訊（例如“使用者來電背景”、“使用者來電訴求”、“解決方案”等），這些記錄可以作為閱讀理解問句對應的答案。然而人工客服的記錄不是對話的原始文字片段，不能直接用於抽取式閱讀理解，為了解決這個問題，我們設計瞭如下兩個階段（不依賴額外標註的閱讀理解方案）。

3.3 實驗

在本節中，我們評估DSMRC-S的模型效能，下面詳細介紹實驗設定和實驗結果。

資料集

我們在美團場景資料中進行評估，該資料集包括40萬段對話，每個對話包含四個坐席手寫的關鍵要素（比如使用者來電訴求、坐席解決方案等）。

實驗細節

評估指標

我們使用機器翻譯和文字摘要中常用的BLEU和ROUGE-L (F1) 指標來衡量輸出結果和參考文字（客服手寫摘要）的接近程度，它們分別基於精確率和F1分數評估模型輸出文字與參考文字在n-grams上的重疊情況。同時，Distinct指標也被使用去衡量輸出摘要的差異性。

比較方法

1. S2S+Att：一個基於RNN+Attention^[45]機制的Sequence-to-Sequence^[44]模型。
2. S2S+Att+Pointer：增加了Pointer機制^[50]，讓模型自己決定是從生成一個Token還是從對話中複製一個Token。
3. S2S+Att+Pointer（w）：（w）指的是將整個摘要作為一個整體進行預測，而不是預測多個關鍵要素，再最終組合。
4. Trans+Att+Pointer：將RNN替換為Transformer^[46]。
5. Trans+Att+Pointer（w）：將RNN替換為Transformer，（w）指的是將整個摘要作為一個整體進行預測，而不是預測多個關鍵要素，再最終組合。
6. Leader+Writer：一個層次化的Transformer結構^[4]，Leader模組先預測關鍵要素序列，Writer模組根據關鍵要素序列生成最終的摘要。
7. TDS+SATM： 利用Transformer結構進行句子級別的摘要抽取和字元級別的摘要生成的兩階段方法^[54]，並使用神經主題模型進行主題增強。
8. DSMRC-S：我們提出的基於閱讀理解的Span-level抽取式摘要方法。

實驗結果

主實驗

DSMRC-S和其他Baseline方法的效能如表1所示。我們可以得到以下結論：

• 我們的模型獲得了最好的效能，比最好的Baseline方法在BLEU上和ROUGE-L上都提升了約3%。
• 單獨對每個關鍵要素進行預測的方式，比起對整個摘要進行預測，效果明顯更好。比如，Trans+Att+Pointer比Trans+Att+Pointer（w）要在ROUGE-L上高3.62%。這意味著在客服場景，對摘要進行拆分預測是有必要的。
• 從摘要的差異性來看，我們的模型也獲得了最好的效能，比最好的Baseline方法在Distinct1指標上提升了3.9%。

不同關鍵要素上的效能

如上圖所示，我們展示了模型在預測不同的關鍵要素上的效能。我們的方法DSMRC-S在每個關鍵要素的預測上都優於其他的Baseline方法，這說明我們的方法有利於抽取不同關鍵要素的內容。具體地，在第二個關鍵要素（使用者的訴求）上，我們的方法明顯更好（可能是由於使用者訴求一般會原封不動地在對話中提到）。

不同長度的對話上的效能

如上圖所示，我們也展示了模型在不同的對話輪次和摘要長度的樣本上的效能。隨著對話輪次和摘要長度的增加，所有方法的ROUGE-L都幾乎在下降，這是因為預測難度的提升。但是我們的方法DSMRC-S在不同的對話輪次和摘要長度的樣本上，都表現比Baseline方法更好的準確率。

4. 總結與展望

本文先介紹了文字摘要的經典方法，包括抽取式摘要方法和生成式摘要方法，隨後介紹了更為靈活的基於距離監督閱讀理解的Span-Level方案，該方法比強基準方法在ROUGE-L指標和BLEU指標上高出了3%左右。未來，我們將從如下方向繼續在對話摘要上探索和實踐：

• 多Span答案的摘要抽取方法；
• 基於Prompt的生成式對話摘要方法的探索；
• 對話結構的深度建模，捕獲更為豐富的對話資訊。

5. 參考文獻

• [1] A. M. Rush, S. Chopra, and J. Weston, “A neural attention model for abstractive sentence summarization,” in Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, EMNLP 2015.
• [2] A. See, P. J. Liu, and C. D. Manning, “Get to the point: Summarization with pointer-generator networks,” in Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, ACL 2017.
• [3] S. Gehrmann, Y. Deng, and A. M. Rush, “Bottom-up abstractive summarization,” in Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, EMNLP 2018.
• [4] C. Liu, P. Wang, J. Xu, Z. Li, and J. Ye, “Automatic dialogue summary generation for customer service,” in Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, KDD 2019.
• [5] S. Chopra, M. Auli, and A. M. Rush, “Abstractive sentence summarization with attentive recurrent neural networks,” in NAACL HLT 2016.
• [6] Y. Miao and P. Blunsom, “Language as a latent variable: Discrete generative models for sentence compression,” in Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, EMNLP 2016.
• [7] D. Wang, P. Liu, Y. Zheng, X. Qiu, and X. Huang, “Heterogeneous graph neural networks for extractive document summarization,” in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020.
• [8] M. Zhong, D. Wang, P. Liu, X. Qiu, and X. Huang, “A closer look at data bias in neural extractive summarization models.”
• [9] Q. Zhou, N. Yang, F. Wei, S. Huang, M. Zhou, and T. Zhao, “Neural document summarization by jointly learning to score and select sentences,” in Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, ACL 2018,
• [10] J. Cheng and M. Lapata, “Neural summarization by extracting sentences and words,” in Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, ACL 2016
• [11] R. Nallapati, F. Zhai, and B. Zhou, “Summarunner: A recurrent neural network based sequence model for extractive summarization of documents,” in Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence,
• [12] H. Pan, J. Zhou, Z. Zhao, Y. Liu, D. Cai, and M. Yang, “Dial2desc: End-to-end dialogue description generation,” CoRR, vol. abs/1811.00185, 2018.
• [13] C. Goo and Y. Chen, “Abstractive dialogue summarization with sentence-gated modeling optimized by dialogue acts,” in 2018 IEEE Spoken Language Technology Workshop, SLT 2018
• [14] J. Gu, T. Li, Q. Liu, Z. Ling, Z. Su, S. Wei, and X. Zhu, “Speaker-aware BERT for multi-turn response selection in retrieval-based chatbots,” in CIKM ’20
• [15] K. Filippova, E. Alfonseca, C. A. Colmenares, L. Kaiser, and O. Vinyals, “Sentence compression by deletion with lstms,” in Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, EMNLP 2015.
• [16] R. Nallapati, B. Zhou, C. N. dos Santos, C ̧. Gu ̈lc ̧ehre, and B. Xiang, “Abstractive text summarization using sequence-to-sequence rnns and beyond,” in Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning, CoNLL 2016,
• [17] A. Celikyilmaz, A. Bosselut, X. He, and Y. Choi, “Deep communicating agents for abstractive summarization,” in Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics
• [18] R. Paulus, C. Xiong, and R. Socher, “A deep reinforced model for abstractive summarization,” in 6th International Conference on Learning Representations, ICLR 2018
• [19] L. Zhao, W. Xu, and J. Guo, “Improving abstractive dialogue summarization with graph structures and topic words,” in Proceedings of the 28th International Conference on Computational Linguistics, COLING 2020,
• [20] Y. Zou, L. Zhao, Y. Kang, J. Lin, M. Peng, Z. Jiang, C. Sun, Q. Zhang, X. Huang, and X. Liu, “Topic-oriented spoken dialogue summarization for customer service with saliency-aware topic modeling,” in Thirty-Fifth AAAI Conference on Artificial Intelligence, AAAI 2021
• [21] Q. Zhou, N. Yang, F. Wei, S. Huang, M. Zhou, and T. Zhao, “A joint sentence scoring and selection framework for neural extractive document summarization,” IEEE ACM Trans. Audio Speech Lang. Process., vol. 28, pp. 671–681, 2020.
• [22] Y. Chen and M. Bansal, “Fast abstractive summarization with reinforce-selected sentence rewriting,” in Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, ACL 2018.
• [23] A. Jadhav and V. Rajan, “Extractive summarization with SWAP-NET: sentences and words from alternating pointer networks,” in Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, ACL 2018,
• [24] S. Narayan, S. B. Cohen, and M. Lapata, “Ranking sentences for extractive summarization with reinforcement learning,” in Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2018,
• [25] X. Zhang, M. Lapata, F. Wei, and M. Zhou, “Neural latent extractive document summarization,” in Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing,
• [26] Y. Liu, I. Titov, and M. Lapata, “Single document summarization as tree induction,” in Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019,
• [27] J. Xu, Z. Gan, Y. Cheng, and J. Liu, “Discourse-aware neural extractive text summarization,” in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020
• [28] M. Zhong, P. Liu, Y. Chen, D. Wang, X. Qiu, and X. Huang, “Extractive summarization as text matching,” in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020
• [29] Y. Wu, W. Wu, C. Xing, ou, and Z. Li, “Sequential matching network: A new architecture for multi-turn response selection in retrieval-based chatbots,” in ACL 2017,
• [30] Z.Zhang,J.Li,P.Zhu,H.Zhao,andG.Liu,“Modelingmulti-turn conversation with deep utterance aggregation,” in COLING 2018,
• [31] X. Zhou, L. Li, D. Dong, Y. Liu, Y. Chen, W. X. Zhao, D. Yu, and H. Wu, “Multi-turn response selection for chatbots with deep attention matching network,” in ACL 2018
• [32] C. Tao, W. Wu, C. Xu, W. Hu, D. Zhao, and R. Yan, “One time of interaction may not be enough: Go deep with an interaction-over-interaction network for response selection in dialogues,” in ACL 2019
• [33] M. Henderson, I. Vulic, D. Gerz, I. Casanueva, P. Budzianowski, S. Coope, G. Spithourakis, T. Wen, N. Mrksic, and P. Su, “Training neural response selection for task-oriented dialogue systems,” in Proceedings of the 57th Conference of the Association for Computational Linguistics, ACL 2019
• [34] J. Devlin, M. Chang, K. Lee, and K. Toutanova, “BERT: pre-training of deep bidirectional transformers for language understanding,” in Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019,
• [35] J. Dong and J. Huang, “Enhance word representation for out-of-vocabulary on ubuntu dialogue corpus,” CoRR, vol. abs/1802.02614, 2018.
• [36] C. Goo and Y. Chen, “Abstractive dialogue summarization with sentence-gated modeling optimized by dialogue acts,” in 2018 IEEE Spoken Language Technology Workshop, SLT 2018,
• [37] Q. Chen, Z. Zhuo, and W. Wang, “BERT for joint intent classification and slot filling,” CoRR, vol. abs/1902.10909, 2019.
• [38] L. Song, K. Xu, Y. Zhang, J. Chen, and D. Yu, “ZPR2: joint zero pronoun recovery and resolution using multi-task learning and BERT,” in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020
• [39] S. Chuang, A. H. Liu, T. Sung, and H. Lee, “Improving automatic speech recognition and speech translation via word embedding prediction,” IEEE ACM Trans. Audio Speech Lang. Process., vol. 29, pp. 93–105, 2021.
• [40] C.-Y. Lin, “ROUGE: A package for automatic evaluation of summaries,” in Text Summarization Branches Out. Barcelona, Spain: Association for Computational Linguistics, Jul. 2004, pp. 74–81.
• [41] K. Papineni, S. Roukos, T. Ward, and W. Zhu, “Bleu: a method for automatic evaluation of machine translation,” in Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics,
• [42] J. Li, M. Galley, C. Brockett, J. Gao, and B. Dolan, “A diversity-promoting objective function for neural conversation models,” in NAACL HLT 2016, The 2016 Conference of the North American Chapter of the Association for Computational Linguistics.
• [43] Y. Liu and M. Lapata, “Text summarization with pretrained encoders,” in Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, EMNLP-IJCNLP 2019,
• [44] I.Sutskever,O.Vinyals,andQ.V.Le,“Sequence-to-sequence learning with neural networks,” in Advances in Neural Information Processing Systems 27: Annual Conference on Neural Information Processing Systems 2014
• [45] D. Bahdanau, K. Cho, and Y. Bengio, “Neural machine translation by jointly learning to align and translate,” in 3rd International Conference on Learning Representations, ICLR 2015,
• [46] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin, “Attention is all you need,” in Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017,
• [47] C. Raffel, N. Shazeer, A. Roberts, K. Lee, S. Narang, M. Matena, Y. Zhou, W. Li, and P. J. Liu, “Exploring the limits of transfer learning with a unified text-to-text transformer,” J. Mach. Learn. Res., vol. 21, pp. 140:1–140:67, 2020.
• [48] R.Nallapati, F. Zhai, B. Zhou, “SummaRuNNer: A Recurrent Neural Network Based Sequence Model for Extractive Summarization of Documents.” AAAI 2017.
• [49] Q. Zhou, N. Yang, F. Wei, S. Huang, M. Zhou, T. Zhao, “Nerual Document Summarization by Jointly Learning to Score and Select Sentences,” ACL 2018.
• [50] Abigail See, Peter J Liu, and Christopher D Manning. Get to the point: Summarization with pointer-generator networks. arXiv preprint arXiv:1704.04368, 2017.
• [51] Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov and Luke Zettlemoyer. “BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension.” ACL (2020).
• [52] Zhang, Jingqing, Yao Zhao, Mohammad Saleh and Peter J. Liu. “PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization.” ArXiv abs/1912.08777 (2020): n. pag.
• [53] Yuan, Lin and Zhou Yu. “Abstractive Dialog Summarization with Semantic Scaffolds.” ArXiv abs/1910.00825 (2019): n. pag.
• [54] Zou, Yicheng, Lujun Zhao, Yangyang Kang, Jun Lin, Minlong Peng, Zhuoren Jiang, Changlong Sun, Qi Zhang, Xuanjing Huang and Xiaozhong Liu. “Topic-Oriented Spoken Dialogue Summarization for Customer Service with Saliency-Aware Topic Modeling.” AAAI (2021).
• [55] Brown, Tom B. et al. “Language Models are Few-Shot Learners.” ArXiv abs/2005.14165 (2020): n. pag.
• [56] Radford, Alec, Jeff Wu, Rewon Child, David Luan, Dario Amodei and Ilya Sutskever. “Language Models are Unsupervised Multitask Learners.” (2019).
• [57] Radford, Alec and Karthik Narasimhan. “Improving Language Understanding by Generative Pre-Training.” (2018).
• [58] Mihalcea, Rada and Paul Tarau. “TextRank: Bringing Order into Text.” EMNLP (2004).
• [59] Hartigan, J. A. and M. Anthony. Wong. “A k-means clustering algorithm.” (1979).
• [60] Comaniciu, Dorin and Peter Meer. “Mean Shift: A Robust Approach Toward Feature Space Analysis.” IEEE Trans. Pattern Anal. Mach. Intell. 24 (2002): 603-619.
• [61] Lin, Chin-Yew. “ROUGE: A Package for Automatic Evaluation of Summaries.” ACL 2004 (2004).
• [62] Papineni, Kishore, Salim Roukos, Todd Ward and Wei-Jing Zhu. “Bleu: a Method for Automatic Evaluation of Machine Translation.” ACL (2002).
• [63] Ishikawa, Kai, Shinichi Ando and Akitoshi Okumura. “Hybrid Text Summarization Method based on the TF Method and the Lead Method.” NTCIR (2001).
• [64] Feng, Xiachong, Xiaocheng Feng and Bing Qin. “A Survey on Dialogue Summarization: Recent Advances and New Frontiers.” ArXiv abs/2107.03175 (2021): n. pag.
• [65] El-Kassas, Wafaa S., Cherif R. Salama, Ahmed A. Rafea and Hoda Korashy Mohamed. “Automatic text summarization: A comprehensive survey.” Expert Syst. Appl. 165 (2021): 113679.
• [66] Nallapati, Ramesh, Bowen Zhou, Cícero Nogueira dos Santos, Çaglar Gülçehre and Bing Xiang. “Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond.” CoNLL (2016).
• [67] Shi, Tian, Yaser Keneshloo, Naren Ramakrishnan and Chandan K. Reddy. “Neural Abstractive Text Summarization with Sequence-to-Sequence Models.” ACM Transactions on Data Science 2 (2021): 1 - 37.
• [68] Fabbri, Alexander R., Irene Li, Tianwei She, Suyi Li and Dragomir R. Radev. “Multi-News: A Large-Scale Multi-Document Summarization Dataset and Abstractive Hierarchical Model.” ArXiv abs/1906.01749 (2019): n. pag.
• [69] Li, Wei and Hai Zhuge. “Abstractive Multi-Document Summarization Based on Semantic Link Network.” IEEE Transactions on Knowledge and Data Engineering 33 (2021): 43-54.
• [70] DeYoung, Jay, Iz Beltagy, Madeleine van Zuylen, Bailey Kuehl and Lucy Lu Wang. “MSˆ2: Multi-Document Summarization of Medical Studies.” EMNLP (2021).
• [71] Nallapati, Ramesh, Feifei Zhai and Bowen Zhou. “SummaRuNNer: A Recurrent Neural Network Based Sequence Model for Extractive Summarization of Documents.” AAAI (2017).
• [72] Narayan, Shashi, Shay B. Cohen and Mirella Lapata. “Ranking Sentences for Extractive Summarization with Reinforcement Learning.” NAACL (2018).
• [73] Zhong, Ming, Pengfei Liu, Yiran Chen, Danqing Wang, Xipeng Qiu and Xuanjing Huang. “Extractive Summarization as Text Matching.” ACL (2020).
• [74] Zhang, Jingqing, Yao Zhao, Mohammad Saleh and Peter J. Liu. “PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization.” ArXiv abs/1912.08777 (2020): n. pag.

6. 本文作者

馬兵、劉操、今雄、書傑、見聳、楊帆、廣魯等，均來自美團平臺/語音互動部。

7. 招聘資訊

語音互動部負責美團語音和智慧互動技術及產品研發，面向美團業務和生態夥伴，提供對語音和口語資料的大規模處理及智慧響應能力。經過多年研發積累，團隊在語音識別、合成、口語理解、智慧問答和多輪互動等技術上已建成大規模的技術平臺服務，並研發包括外呼機器人、智慧客服、語音內容分析等解決方案和產品，在公司豐富的業務場景中廣泛落地；同時我們也非常重視與行業的緊密合作，通過美團語音應用平臺已與第三方手機語音助手、智慧音響、智慧車機等諸多合作伙伴開展對接，將語音生活服務應用提供給更多使用者。

語音互動部長期招聘自然語言處理演算法工程師、演算法專家，感興趣的同學可以將簡歷傳送至chenjiansong@meituan.com。

閱讀美團技術團隊更多技術文章合集

前端 | 演算法 | 後端 | 資料 | 安全 | 運維 | iOS | Android | 測試

| 在公眾號選單欄對話方塊回覆【2021年貨】、【2020年貨】、【2019年貨】、【2018年貨】、【2017年貨】等關鍵詞，可檢視美團技術團隊歷年技術文章合集。

| 本文系美團技術團隊出品，著作權歸屬美團。歡迎出於分享和交流等非商業目的轉載或使用本文內容，敬請註明“內容轉載自美團技術團隊”。本文未經許可，不得進行商業性轉載或者使用。任何商用行為，請傳送郵件至tech@meituan.com申請授權。