本文是對發表於arXiv的論文 "TOKENFORMER: RETHINKING TRANSFORMER SCALING WITH TOKENIZED MODEL PARAMETERS" 的深入解讀與擴充套件分析。主要探討了一種革新性的Transformer架構設計方案，該方案透過引數標記化實現了模型的高效擴充套件和計算最佳化。
論文動機
如今的人工智慧離不開Transformer，因為它是大型語言模型背後的基礎架構。然而它的影響力並不僅限於自然語言處理。Transformer在其他領域也發揮著重要作用，比如計算機視覺領域中的Vision Transformer（ViT）就扮演著重要角色。隨著我們的進步，模型規模不斷擴大，從頭開始訓練模型變得越來越昂貴且不可持續
論文的研究團隊觀察到，雖然Transformer架構在多個領域取得了巨大成功，但其可擴充套件性受到了嚴重限制，主要是因為在token-parameter互動計算方面採用了固定的線性投影方法。
https://avoid.overfit.cn/post/af881e4ed65b424693211253d66cf2b1