Text Summarization with Pretrained Encoders 論文筆記
Text Summarization with Pretrained Encoders
大致介紹
- 我們的工作是將bert用於文字摘要，並提出了生成式和抽取式文字摘要模型的框架
- 我們提出了基於bert的文件級的編碼器
- 抽取式模型在這個編碼器後面加了幾個transformer層
- 生成式模型：我們提出新的微調方法（對encoder和decoder不一樣）來緩解兩者的不匹配（encoder被pretrain過）
- 綜合兩種方式的方法：微調兩次，都微調
- 我們的貢獻：
- 突出了文件編碼的重要性（相對於近年來的複製機制、增強學習……
- 使用預訓練模型來進行摘要
- 提出的模型作為baseline
簡單介紹歷史
在最前面列舉了幾個之前的抽取式模型（分類模型），可以看看：SUMMARUNNER、LATENT、SUMO、NEUSUM（為什麼都是華人提出的）
生成式模型：seq2seq。舉了前面的模型，沒仔細看~
在摘要任務上微調bert
摘要任務編碼器
bert輸出token，而摘要是句子
bert輸入是句子對，摘要更多句子
其中的EA等是根據奇偶分配的。
實驗略……
相關文章
- 論文筆記筆記
- BERT 論文筆記筆記
- GhostNet論文筆記筆記
- Louvain 論文筆記AI筆記
- 【論文筆記】UNet筆記
- 論文筆記：RankIQA筆記
- Raft論文讀書筆記Raft筆記
- MapReduce 論文閱讀筆記筆記
- 9/12讀論文筆記筆記
- AutoEmbedding論文閱讀筆記筆記
- 讀論文《Toward Controlled Generation of Text》
- 【論文筆記】 Popularity Bias in Dynamic Recommendation筆記
- 【論文筆記】 Denoising Implicit Feedback for Recommendation筆記
- Text Augmented Spatial-aware Zero-shot Referring Image Segmentation論文閱讀筆記(EMNLP23 Findings)Segmentation筆記
- CornerNet-Lite論文閱讀筆記筆記
- 【論文筆記】Bridging Hierarchical and Sequential Context Modeling筆記Context
- Visual Instruction Tuning論文閱讀筆記Struct筆記
- 【論文筆記】Recommendations as Treatments: Debiasing Learning and Evaluation筆記
- 【論文筆記】Learning Fashion Compatibility with Bidirectional LSTMs筆記
- 【論文筆記】Shortest Paths and Centrality in Uncertain Networks筆記AI
- Summarization with LangchainLangChain
- ACL2020論文閱讀筆記：BART筆記
- 【論文筆記】A Survey on Deep Learning for Named Entity Recognition筆記
- Reading Face, Read Health論文閱讀筆記筆記
- Pixel Aligned Language Models論文閱讀筆記筆記
- 【論文筆記】SamWalker: Social Recommendation with Informative Sampling Strategy筆記ORM
- 【論文筆記】A review of applications in federated learning（綜述）筆記ViewAPP
- [論文閱讀筆記] Structural Deep Network Embedding筆記Struct
- 【論文筆記】FCN全卷積網路筆記卷積
- 論文閱讀筆記：Fully Convolutional Networks for Semantic Segmentation筆記Segmentation
- 【論文筆記】Neural machine translation by jointly learning to align and translate筆記Mac
- 論文筆記 SimpleNet A Simple Network for Image Anomaly Detection and Localization筆記
- 【論文筆記-16~】多語言關係抽取筆記
- Ensemble distillation for robust model fusion in federated learning論文筆記筆記
- 論文筆記：KDD 2020 Dual Channel Hypergraph Collaborative Filtering筆記Filter
- 【論文閱讀筆記】Transformer——《Attention Is All You Need》筆記ORM
- 【論文筆記】Leveraging Post-click Feedback for Content Recommendations筆記
- [論文閱讀筆記] Adversarial Learning on Heterogeneous Information Networks筆記ORM