一句話總結Transformer ：
- Transformer 是一種神經網路，擅長理解序列資料的上下文並從中生成新資料。
- Transformer 是第一個完全依賴自注意力機制而不使用 RNN 或卷積的網路。
Transformer 就像一個黑匣子 想象一下，用於語言翻譯的 Transformer 就像一個黑匣子。
- 輸入：一種語言的一句話。
- 輸出：它的翻譯。
但是這個黑匣子裡發生了什麼？讓我們來一探究竟！
碼器/解碼器架構
- - 輸入：西班牙語句子 "¿De quién es？
- - 編碼器將其轉換為結構化格式，捕捉其精髓。
- - 解碼器接收編碼資料並生成譯文。
- - 輸出：翻譯後的句子："這是誰的呢？"
每個編碼器和解碼器都由多層組成。它們的工作原理如下：
- 編碼器：逐層、按順序處理輸入。 •
- 解碼器：獲取編碼資料並逐步生成輸出。
兩者都使用了自注意和前饋神經網路，從而能夠生成自然語言。