深度學習用於文字摘要的論文及程式碼集錦

机器学习blog發表於2019-08-09

[1] A Neural Attention Model for Sentence Summarization

Alexander M. Rush et al.

Facebook AI Research / Harvard SEAS

EMNLP 2015

https://www.aclweb.org/anthology/D/D15/D15-1044.pdf

這篇文章提出一種完全資料驅動的方法對句子進行摘要彙總。該方法根據輸入的句子利用區域性注意力模型來生成摘要中的每個單詞。雖然該模型結構上比較簡單,但是可以簡單的端到端的來訓練,並且可以擴充套件到巨大的訓練資料集中。

文字摘要對齊示例如下深度學習用於文字摘要的論文及程式碼集錦

文字輸入以及摘要示例如下

深度學習用於文字摘要的論文及程式碼集錦

注意力編碼示例如下

深度學習用於文字摘要的論文及程式碼集錦

Beam search 演算法虛擬碼示例如下

深度學習用於文字摘要的論文及程式碼集錦

各方法結果對比如下

深度學習用於文字摘要的論文及程式碼集錦

深度學習用於文字摘要的論文及程式碼集錦

深度學習用於文字摘要的論文及程式碼集錦

程式碼地址

https://github.com/facebookarchive/NAMAS

[2] Get To The Point: Summarization with Pointer-Generator Networks

Abigail See

Stanford University

ACL 2017

http://www.aclweb.org/anthology/P17-1099

這篇文章提出一種新的序列到序列的注意力模型,該模型對原始的序列到序列的注意力模型進行了擴充套件。這種方法利用混合指向器-生成器網路將單詞從原始文字中基於指標複製出來,這樣可以精準的重新生成資訊,同時利用生成器來保持生成新詞的能力。另外,利用覆蓋率來跟蹤哪些資訊已經抽取出來,從而避免重複資訊。

基準序列到序列的注意力模型示例如下

深度學習用於文字摘要的論文及程式碼集錦

指向-生成器網路結構如下

深度學習用於文字摘要的論文及程式碼集錦

各方法結果對比如下

深度學習用於文字摘要的論文及程式碼集錦

各情形效果對比如下

深度學習用於文字摘要的論文及程式碼集錦

深度學習用於文字摘要的論文及程式碼集錦

程式碼地址

https://github.com/abisee/pointer-generator

[3] Abstractive Sentence Summarization with Attentive Recurrent Neural Networks

Sumit Chopra

Facebook AI Research

NAACL 2016

https://nlp.seas.harvard.edu/papers/naacl16_summary.pdf

這篇文章提出一種條件RNN用來對給定句子生成摘要。基於注意力的卷積編碼可以確保解碼器在每次迭代中只集中在適當的輸入詞中。該模型只依賴學到的特徵,並且容易在大資料集中進行端到端的訓練。

各模型結果對比如下

深度學習用於文字摘要的論文及程式碼集錦

深度學習用於文字摘要的論文及程式碼集錦

深度學習用於文字摘要的論文及程式碼集錦

程式碼地址

https://github.com/facebookarchive/NAMAS

[4] Ranking Sentences for Extractive Summarization with Reinforcement Learning

Shashi Narayan et al.

University of Edinburgh

NAACL-HLT 2018

http://www.aclweb.org/anthology/N18-1158

這篇文章將文字摘要轉化為句子排序問題,並且提出一種新的訓練演算法,該演算法利用強化學習來全域性最佳化ROUGE評價標準。

利用強化學習提取文字摘要

深度學習用於文字摘要的論文及程式碼集錦

各方法效果對比如下

深度學習用於文字摘要的論文及程式碼集錦

深度學習用於文字摘要的論文及程式碼集錦

程式碼地址

https://github.com/EdinburghNLP/Refresh

[5] Deep Recurrent Generative Decoder for Abstractive Text Summarization

Piji Li et al.

The Chinese University of Hong Kong

EMNLP 2017

http://aclweb.org/anthology/D17-1222

這篇文章提出一種文字摘要的新框架,該框架基於序列到序列的編碼解碼模型,並且利用深層迴圈生成式解碼(DRGD)。為提升摘要質量,利用迴圈隱含隨機模型來學習摘要中的隱含結構資訊。為解決迴圈隱含變數中的後驗推理難題,本文利用了神經變分推理方法。摘要是由生成式隱含變數和判別式確定性狀態來生成的。

DRGD結構如下

深度學習用於文字摘要的論文及程式碼集錦

各方法結果對比如下

深度學習用於文字摘要的論文及程式碼集錦

深度學習用於文字摘要的論文及程式碼集錦

深度學習用於文字摘要的論文及程式碼集錦

程式碼地址

https://github.com/lipiji/DRGD-LCSTS

機器學習blog
機器學習blog

本專欄專注於機器學習(主要包含但不限於深度學習)相關知識分享,其中涉及自然語言處理以及影像處理前沿論文等,歡迎大家關注交流

相關文章