楊立昆（Yann LeCun）提出，大型語言模型（LLM）並不能引領我們走向人工通用智慧（AGI），因為它們缺乏形成心智模型的能力。儘管如此，一些觀點認為LLM與人類智慧的比較存在根本性的缺陷。
人類智慧與LLM的比較分析
- 人類智慧是基於少量資料實時發展而來，而LLM則需要大量資料和預先訓練。
- 人類智慧消耗的能源相對較少，而LLM則需要巨大的電力支援。
- 人類智慧具有元認知能力，而LLM則缺乏認知意識。
然而，這種比較忽略了人類智慧發展過程中實際上利用的大量資料和力量。我們的認知結構是在數億年的進化中形成的，並且編碼在我們的DNA中。我們的感官在成長過程中處理了大量資料，儘管這一過程通常是潛意識的。
LLM從零開始構建認知架構，這在某種程度上重新封裝了進化過程和實時學習。雖然人腦和LLM在處理資料和學習方面存在差異，但這並不意味著LLM無法提高智力。
人腦和 LLMs 的本質相似之處在於，它們本質上都是壓縮演算法：
- 將海量的世界資料壓縮成世界觀，從而提供預測模型來指導行動。
主要區別在於：
- 人腦的架構和學習過程經過高度最佳化，效率很高，能夠實時從相對較少的資料中學習。
- 而 LLM 則需要大量的資料和計算能力才能實現類似的效能。
儘管我們對人類智慧的架構運作方式知之甚少，LLM可以作為一種“蠻力”方法來彌補這種無知。隨著對最佳架構的探索，LLM的效率正在迅速提高，例如透過開發更高效的注意力機制和結合稀疏表徵來降低訓練和推理的計算和資料要求。
LLM的未來：更小的資料集與自生成資料
當前對LLM時代進步的理解存在誤區，認為需要使用越來越大的資料集。實際上，LLM正在朝著使用更小的資料集和學習如何在具有正反饋週期的合成資料上訓練的方向發展。LLM訓練過程能夠生成自己的中間訓練資料，為下一代訓練資料提供基礎。
LLM的定義：基於大型資料集、無監督學習、技能泛化以及下游任務廣泛適用性的演算法。這與人類智慧相似，儘管我們的訓練過程包含了進化和實時學習。