作者：京東AI研究院

近些年，人工智慧無疑是資訊科技領域最熱門的技術之一。人工智慧戰勝世界圍棋冠軍、人工智慧戰勝遊戲高手、人工智慧醫生看病會診……不斷進步的科技正推動著人工智慧從一個無法實現的幻想，不斷突破人類的想象，完成一個又一個挑戰。

AI寫科幻劇本？科幻小說都不敢寫

2018年，在全球科幻電影節（ Sci-Fi London Film Festival）上的一項名為“48小時內電影創作挑戰”（SFL 48 Hour Film Challenge）的活動中，來自紐約的導演Oscar Sharp和他在紐約大學AI研究院的同事Ross Goodwin利用人工智慧（這套人工智慧稱自己為Benjamin）創作出了一個劇本，並在48小時內將這個劇本拍攝出來了。雖然電影只有短短 9 分鐘，但這也是世界上第一部由AI創作並拍攝出來的電影，這在以前是科幻小說都不敢寫的故事。

在此之後，人工智慧在電影業中不斷得到更多落地應用。2019年，迪士尼研究所和羅格斯大學的科學家共同發表了關於AI文字生成動畫模型的論文。研究人員表示，這種演算法只要在輸入的文字中描述某些活動即可，不需要註釋資料和進行大量訓練就能產生動畫。

現在，使用機器編寫劇本的想法正在受到如Netflix、Hulu、好萊塢等世界級影視科技公司的青睞。機器學習——使用演算法分析大量資料以給出決策建議——正在滲透到電影業的各個角落。

人工智慧劇本創作的關鍵技術——自然語言生成

而在使用人工智慧進行影視劇本創作中，NLP 領域的自然語言生成技術是其中的關鍵技術之一。

但自然語言生成技術的應用場景和研究意義遠不止於影視劇本創作。在電商場景下，可用於營銷內容生成以及面向複雜問題回答與人機互動的自動文字生成；融媒體場景下，結合文字與語音合成技術可應用於新聞自動播報、直播文字、多語言/跨語言自動文摘；學術研究場景中，學術文獻、綜述生成、內容反饋、自動作文等都是自動文摘的落地應用場景。

詳情可點選檢視：

➡️ 京東商城背後AI技術揭秘（一）——基於關鍵詞自動生成摘要

➡️ 京東商城背後AI技術揭秘（二）——基於商品要素的多模態商品摘要

NLP 最高階別學術認可——ACL 論文收錄

NLP（Natural Language Processing）領域中有一個全球最高階別的學術會議——ACL 會議（Annual Meeting of the Association for Computational Linguistics），它由計算語言協會在 1962 年舉辦第一屆，其後每年一屆，致力於推動自然語言處理相關研究的發展和國際學術交流。

ACL 議題涉及對話(Dialogue)、篇章(Discourse)、評測( Eval)、資訊抽取(IE)、資訊檢索(IR)、語言生成(Language Generation)、語言資源(Language Resource)、機器翻譯(Machine Translation)、多模態(Multimodal)、音韻學/ 形態學( Phonology / Morphology)、自動問答(Queston Answering)、語義(Semantics)、情感(Sentiment)、語音(Speech)、、文摘(Summarisation)、句法(Syntax)等多個方面。

近日，ACL 2020 公佈了今年大會的論文錄用結果。根據官方公佈的資料，本屆大會共收到 3429 篇投稿論文，投稿數量創下了所有 ACL 旗下會議新高。ACL 除了在國際 AI 學界具有頂級影響力外，其審稿規範和審稿質量，也是當今 AI 領域國際頂級會議中公認的翹楚，論文被錄取的難度十分高。以 2019 ACL 為例，論文錄取率僅為 22.7% 。因此，研究論文能夠被 ACL 錄用，不僅意味著研究成果得到了國際學術界的認可，也證明了研究本身在實驗嚴謹性、思路創新性等方面的實力。

京東 AI 研究院專注於持續性的演算法創新，80% 的研究都由京東實際的業務場景需求為驅動，聚焦 NLP語音、計算機視覺、機器學習（包括深度學習和強化學習）等領域。在ACL 2020 中，京東 AI 研究院提交論文經過重重稽核，最終被大會收錄。

今天，我們就將為大家解讀其中的一篇 ：Self-Attention Guided Copy Mechanism for Abstractive Summarization

論文對現有自動文摘的研究方法進行了最佳化，使透過該新模型生成的摘要內容更加精確。

論文解讀

1 摘要

自動文字摘要（簡稱“自動文摘”）是自然語言處理領域中的一個傳統任務，其目的是為輸入文字生成一段簡化文字。常用的自動文摘方法包括抽取式自動文摘（Extractive Summarization)和生成式自動文摘（Abstractive Summarization)。抽取式自動文摘方法抽取輸入文字中的原始句子組成摘要；生成式自動文摘方法利用自然語言生成技術生成摘要。

自動文摘模型的關鍵是準確識別出輸入文字中的重要資訊，並輸出涵蓋這些資訊的流暢文字。抽取式自動文摘方法可以顯式的對輸入文字的每個句子的重要性進行建模，但是輸出的摘要是透過拼接句子構成的，句間的流暢性無法得到保證。生成式自動文摘方法通常可以輸出較為流暢的摘要，但是有時無法完全準確捕捉到輸入文字中的重要的資訊。

本文所介紹的是自動文摘模型提出了一種自注意力（Self-Attention）指導的複製機制，該方法融合了抽取式自動文摘方法和生成式自動文摘方法，在多個文字摘要資料集上取得了比對比模型更好的效能。

我們首先介紹一下一些相關背景知識，包括自注意力機制，複製機制和抽取式自動文摘方法TextRank演算法。

2演算法及模型

《 Attention is all you need》提出了基於自注意力機制的Transformer框架，在機器翻譯任務上超過了當時其他的模型。簡單來說，自注意力機制將文字中的詞兩兩計算相似度，然後對這些相似度進行歸一化得到權重矩陣，最後將這些權重和相應的詞進行加權求和得到下層的隱層表達。

複製機制是自動文摘模型中的一個常用機制。傳統的文字生成在計算生成每個詞的機率時，所有的詞被限制在一個固定大小的詞表中，即生成的詞必須來自於這個固定大小的詞表。複製機制除了會在這個固定大小的詞表中生成某個詞，還會選擇性的在輸入文字中選擇一個詞，這個詞不受詞表限制。複製機制實際上和人類在做摘要時的邏輯相吻合，即輸入文字中的某些詞，尤其是那些關鍵詞，組成了這個文字的主幹。我們只需要將這些關鍵詞從輸入中“複製”到輸出中，然後再做一個適當的加工，使輸出的摘要更加自然。複製機制的動機就是自動識別出這些關鍵詞，然後將其“複製”到輸出摘要中。TextRank演算法一種基於圖模型的經典抽取式自動文摘方法，其基本思想來源於谷歌的 PageRank演算法。TextRank演算法通常會把輸入文字分割成若干基本單元並建立圖模型, 利用基本單元間關係組成的鄰接矩陣進行隨機遊走，對文字基本單元進行排序。

上文提到，自動文摘模型希望透過複製機制將輸入文字中的重要詞複製到輸出中，但由於使用注意力權重作為複製機率，並不能顯式地識別出哪些詞是重要的詞。我們需要找到一個合適的方式顯式地為輸入文字中的詞的重要性進行打分，進而指導模型的複製機制，改善複製的效果。TextRank演算法利用鄰接矩陣計算輸入文字中每個詞的重要性得分。

我們注意到，Transformer模型的自注意力機制提供了輸入文字中的詞兩兩之間的權重，該權重矩陣可以作為TextRank演算法的鄰接矩陣。基於這個鄰接矩陣，透過隨機遊走，我們可以得到輸入文字中的詞的重要性得分，進而指導複製機率，公式如下：