BERT是深雙向的，OpenAI GPT是單向的，ELMo是淺雙向的。
但根據實際使用情況，將 seq2seq 模型⽤於⽂本⽣成也有一些實質性的缺陷，例如：⽣成輸⼊⽂本不⽀持的輸出（稱為幻覺，hallucination）、需要⼤量的訓練資料才能到達很好的效果；此外，seq2seq 模型通常需要逐字⽣成輸出，因此其推斷時間較長。
文字生成神經網路架構發展
# 文字生成神經網路架構發展 #
BERT是深雙向的，OpenAI GPT是單向的，ELMo是淺雙向的。
但根據實際使用情況，將 seq2seq 模型⽤於⽂本⽣成也有一些實質性的缺陷，例如：⽣成輸⼊⽂本不⽀持的輸出（稱為幻覺，hallucination）、需要⼤量的訓練資料才能到達很好的效果；此外，seq2seq 模型通常需要逐字⽣成輸出，因此其推斷時間較長。
2020-02-22 14:05:59
https://www.toutiao.com/a1659215868957700
來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/69946223/viewspace-2676828/，如需轉載，請註明出處，否則將追究法律責任。
相關文章
- 神經網路的發展史神經網路
- 生成型神經網路神經網路
- 使用可進化的AutoML發現神經網路架構TOML神經網路架構
- 為給定任務自動生成神經網路：MIT提出RNN架構生成新方法神經網路MITRNN架構
- 淺聊卷積神經網路的發展卷積神經網路
- 從網路架構方面簡析迴圈神經網路RNN架構神經網路RNN
- MLer必知的8個神經網路架構神經網路架構
- keras構建神經網路Keras神經網路
- 機器學習必知的8大神經網路架構機器學習神經網路架構
- AI在用 | 一個超級提示，用Claude 3生成神經網路架構動畫AI神經網路架構動畫
- 深度學習小課堂：如何利用遞迴神經網路生成文字？深度學習遞迴神經網路
- 神經網路篇——從程式碼出發理解BP神經網路神經網路
- 神經網路簡介--啟用函式、網路架構、生物模型解釋神經網路函式架構模型
- Vicarious發表Science論文：概率生成模型超越神經網路模型神經網路
- AI發展三境：神，神經，神經病AI
- 人工智慧中神經網路發展緩慢的原因人工智慧神經網路
- 從MobileNet看輕量級神經網路的發展神經網路
- AI神經網路可復原古希臘文字AI神經網路
- 機器學習研究者必知的八個神經網路架構機器學習神經網路架構
- [原創]淺談大型網際網路架構發展架構
- 從AlexNet到殘差網路，理解卷積神經網路的不同架構卷積神經網路架構
- 神經網路：numpy實現神經網路框架神經網路框架
- 使用神經網路生成抽象隨機藝術神經網路抽象隨機
- 神經網路神經網路
- 面向統一的AI神經網路架構和預訓練方法AI神經網路架構
- 從零到百億網際網路金融架構發展史架構
- 常見迴圈神經網路結構神經網路
- 卷積神經網路(CNN)模型結構卷積神經網路CNN模型
- TensorFlow構建迴圈神經網路神經網路
- LSTM神經網路神經網路
- 8、神經網路神經網路
- BP神經網路神經網路
- 模糊神經網路神經網路
- （五）神經網路入門之構建多層網路神經網路
- [譯] RNN 迴圈神經網路系列 2：文字分類RNN神經網路文字分類
- 用神經網路訓練一個文字分類器神經網路文字分類
- 聊聊從腦神經到神經網路神經網路
- 利用進化方法自動生成神經網路：深度進化網路DENSER神經網路