Transformer學習資源&順序推薦

有氧發表於2022-04-21

因為我個人不喜歡聽一個老師重複講而喜歡聽多位老師講同一個東西所以整理了一下這份清單,我覺得比我自己的學習順序要好一些!

attention本質還是權重(?

  1. (可選)前置知識:詞嵌入、表徵(文章):完全沒接觸NLP的我覺得它講的真的挺清楚
  2. (可選)瞭解transformer的基本結構(視訊):看這個封面真的沒想到講的這麼好,刻板印象害人。用很符合直覺的方式講了一遍【為什麼要】以及【核心架構】
  3. (建議)李沐老師論文逐段講解(視訊):李沐老師對論文的講解絕對是非常非常細緻清楚的,補充了很多知識,講的非常非常好;李宏毅老師的據說講的更直白,但是兩個半小時我實在懶得(?
  4. (建議)手推 attention(視訊):對手推公式的人我一向只有敬意,而且這位講的真的很清楚,相當於順了一遍,在看程式碼之前就能知道每一部分的具體表現應該是什麼
  5. (可選但比較建議)再看transformer(文章):講解內容倒是和2的視訊差不太多,補充了很多圖例;主要是評論區很多問題是共通的,挺精彩
  6. 程式碼實現1:把重點結構逐個拆開來寫了
  7. 程式碼實現2:但是上面那個需要自己組裝(?)這個複製貼上就好,感覺很爽

相關文章