Text Summarization with Pretrained Encoders

大致介紹

1. 我們的工作是將bert用於文字摘要，並提出了生成式和抽取式文字摘要模型的框架
2. 我們提出了基於bert的文件級的編碼器
   1. 抽取式模型在這個編碼器後面加了幾個transformer層
   2. 生成式模型：我們提出新的微調方法（對encoder和decoder不一樣）來緩解兩者的不匹配（encoder被pretrain過）
   3. 綜合兩種方式的方法：微調兩次，都微調
3. 我們的貢獻：
   1. 突出了文件編碼的重要性（相對於近年來的複製機制、增強學習……
   2. 使用預訓練模型來進行摘要
   3. 提出的模型作為baseline

簡單介紹歷史

在最前面列舉了幾個之前的抽取式模型（分類模型），可以看看：SUMMARUNNER、LATENT、SUMO、NEUSUM（為什麼都是華人提出的）

生成式模型：seq2seq。舉了前面的模型，沒仔細看~

在摘要任務上微調bert

摘要任務編碼器

bert輸出token，而摘要是句子

bert輸入是句子對，摘要更多句子

其中的EA等是根據奇偶分配的。

實驗略……