BERT是深雙向的，OpenAI GPT是單向的，ELMo是淺雙向的。
但根據實際使用情況，將 seq2seq 模型⽤於⽂本⽣成也有一些實質性的缺陷，例如：⽣成輸⼊⽂本不⽀持的輸出（稱為幻覺，hallucination）、需要⼤量的訓練資料才能到達很好的效果；此外，seq2seq 模型通常需要逐字⽣成輸出，因此其推斷時間較長。
文字生成神經網路架構發展
# 文字生成神經網路架構發展 #
BERT是深雙向的，OpenAI GPT是單向的，ELMo是淺雙向的。
但根據實際使用情況，將 seq2seq 模型⽤於⽂本⽣成也有一些實質性的缺陷，例如：⽣成輸⼊⽂本不⽀持的輸出（稱為幻覺，hallucination）、需要⼤量的訓練資料才能到達很好的效果；此外，seq2seq 模型通常需要逐字⽣成輸出，因此其推斷時間較長。
2020-02-22 14:05:59
來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/69946223/viewspace-2676828/，如需轉載，請註明出處，否則將追究法律責任。
相關文章
- 再用RNN神經網路架構設計生成式語言模型RNN神經網路架構模型
- 神經網路的發展史神經網路
- 生成型神經網路神經網路
- 使用可進化的AutoML發現神經網路架構TOML神經網路架構
- 從網路架構方面簡析迴圈神經網路RNN架構神經網路RNN
- MLer必知的8個神經網路架構神經網路架構
- 淺聊卷積神經網路的發展卷積神經網路
- keras構建神經網路Keras神經網路
- 深度學習小課堂：如何利用遞迴神經網路生成文字？深度學習遞迴神經網路
- 神經網路架構參考：2-2 卷積篇神經網路架構卷積
- AI在用 | 一個超級提示，用Claude 3生成神經網路架構動畫AI神經網路架構動畫
- 神經網路簡介--啟用函式、網路架構、生物模型解釋神經網路函式架構模型
- 從MobileNet看輕量級神經網路的發展神經網路
- 神經網路篇——從程式碼出發理解BP神經網路神經網路
- 人工智慧中神經網路發展緩慢的原因人工智慧神經網路
- 神經網路：numpy實現神經網路框架神經網路框架
- 使用神經網路生成抽象隨機藝術神經網路抽象隨機
- 神經網路神經網路
- AI神經網路可復原古希臘文字AI神經網路
- AI發展三境：神，神經，神經病AI
- 面向統一的AI神經網路架構和預訓練方法AI神經網路架構
- 機器學習必知的8大神經網路架構機器學習神經網路架構
- 常見迴圈神經網路結構神經網路
- NLP任務中可參考的神經網路架構（Keras+TensorFlow）神經網路架構Keras
- [譯] RNN 迴圈神經網路系列 2：文字分類RNN神經網路文字分類
- 8、神經網路神經網路
- LSTM神經網路神經網路
- 聊聊從腦神經到神經網路神經網路
- 圖神經網路GNN 庫，液體神經網路LNN/LFM神經網路GNN
- 機器學習：神經網路構建（上）機器學習神經網路
- 機器學習：神經網路構建（下）機器學習神經網路
- Pytorch | Tutorial-04 構建神經網路模型PyTorch神經網路模型
- DGL更新報告：異構圖神經網路神經網路
- 【深度學習篇】--神經網路中的池化層和CNN架構模型深度學習神經網路CNN架構模型
- 【神經網路篇】--RNN遞迴神經網路初始與詳解神經網路RNN遞迴
- 【深度學習篇】--神經網路中的卷積神經網路深度學習神經網路卷積
- 使神經網路更容易理解，促進科學發現，MIT劉子鳴團隊新架構神經網路MIT架構
- 神經網路（neural networks）神經網路