1. RNN（Recurrent Neural Network）
時間軸
1986年，RNN 模型首次由 David Rumelhart 等人提出，旨在處理序列資料。
關鍵技術
- 迴圈結構
- 序列處理
- 長短時記憶網路（LSTM）和門控迴圈單元（GRU）
核心原理
RNN 透過迴圈結構讓網路記住以前的輸入資訊，使其能夠處理序列資料。每個節點不僅接收當前輸入，還接收前一個節點的輸出，從而形成記憶能力。
創新點
RNN 的創新點在於其迴圈結構，這使其能處理時間序列資料。但原始 RNN 容易出現梯度消失問題，後來的 LSTM 和 GRU 模型透過引入門控機制，極大地改善了這一問題。
適用資料
- 時間序列資料
- 語音訊號
- 文字資料
應用場景
- 語言模型
- 語音識別
- 時間序列預測
經典案例
蘋果的 Siri 和 Google 的語音助手都使用了基於 RNN 的技術來進行語音識別和處理。
2. CNN（Convolutional Neural Network）
時間軸
1989年，CNN 由 Yann LeCun 等人提出，主要用於影像處理。
關鍵技術
- 卷積層
- 池化層
- 全連線層
核心原理
CNN 透過卷積層提取影像的區域性特徵，池化層進行降維處理，全連線層最終進行分類。卷積操作透過濾波器在影像上滑動，捕捉不同的特徵。
創新點
CNN 的創新點在於卷積層的使用，使其能夠有效提取影像的空間特徵，大大減少了引數數量，提高了計算效率。
適用資料
- 影像資料
- 影片資料
應用場景
- 影像分類
- 物體檢測
- 影像生成
經典案例
LeNet-5 是最早的 CNN 之一，被用來進行手寫數字識別，並取得了顯著的成果。
3. Transformer
時間軸
2017年，Google 釋出了 Transformer 模型，極大地提升了自然語言處理的效率。
關鍵技術
- 自注意力機制
- 編碼器-解碼器架構
- 多頭注意力機制
核心原理
Transformer 透過自注意力機制，可以在處理序列資料時平行計算，從而大大提升了效率。編碼器處理輸入序列，解碼器生成輸出序列，自注意力機制使得模型能夠關注到序列中的重要資訊。
創新點
Transformer 摒棄了傳統 RNN 的迴圈結構，透過自注意力機制和並行處理，實現了更快的訓練速度和更好的效果。
適用資料
- 文字資料
- 語言資料
應用場景
- 機器翻譯
- 文字生成
- 情感分析
經典案例
Google 的神經機器翻譯系統（GNMT）使用了 Transformer 技術，實現了高質量的機器翻譯。
4. BERT（Bidirectional Encoder Representations from Transformers）
時間軸
2018年，Google 釋出了 BERT 模型，大大提升了自然語言處理任務的表現。
關鍵技術
- 雙向編碼器
- 預訓練和微調
- 掩碼語言模型
核心原理
BERT 透過雙向編碼器同時考慮上下文資訊，使用掩碼語言模型在預訓練階段預測被掩蓋的詞語，然後進行任務特定的微調。
創新點
BERT 的創新在於其雙向性和預訓練方法，使得模型在各種 NLP 任務中都表現優異，尤其是在需要上下文理解的任務中。
適用資料
- 文字資料
應用場景
- 問答系統
- 文字分類
- 命名實體識別
經典案例
Google 搜尋引擎在 2019 年開始使用 BERT 來理解使用者查詢，提高搜尋結果的相關性。
5. GPT（Generative Pre-trained Transformer）
時間軸
2018年，OpenAI 釋出了 GPT 模型，此後不斷迭代，GPT-2 和 GPT-3 進一步提升了文字生成能力。
關鍵技術
- 自迴歸語言模型
- 預訓練和微調
- 大規模訓練資料
核心原理
GPT 透過自迴歸方式生成文字，使用大量資料進行預訓練，然後在特定任務上微調。模型基於 Transformer 架構，能夠生成高質量的連貫文字。
創新點
GPT 的創新在於其生成能力和規模，透過預訓練和大規模資料，能夠生成自然流暢的文字，幾乎達到人類水平。
適用資料
- 文字資料
應用場景
- 文字生成
- 對話系統
- 內容創作
經典案例
OpenAI 的 GPT-3 已經被廣泛應用於各種文字生成任務，如程式碼生成、新聞撰寫和對話機器人。以上便是 RNN、CNN、Transformer、BERT 和 GPT 五大深度學習模型的簡介。它們各自在不同領域中展現了強大的能力和廣泛的應用，推動了人工智慧技術的發展和應用。