大型語言模型在學習概念時竟然會形成令人驚訝的幾何結構,比如程式碼和數學特徵會形成一個「葉(lobe)」,類似於我們在做磁共振功能成像時看到的大腦功能性腦葉。這說明什麼呢?
論文標題:The Geometry of Concepts: Sparse Autoencoder Feature Structure 論文連結:https://arxiv.org/pdf/2410.19750
大型語言模型在學習概念時竟然會形成令人驚訝的幾何結構,比如程式碼和數學特徵會形成一個「葉(lobe)」,類似於我們在做磁共振功能成像時看到的大腦功能性腦葉。這說明什麼呢?