語言≠思維，大模型學不了推理：一篇Nature讓AI社群炸鍋了
机器之心發表於2024-06-24
大語言模型（LLM）為什麼空間智慧不足，GPT-4 為什麼用語言以外的資料訓練，就能變得更聰明？現在這些問題有 「標準答案」了。近日，一篇麻省理工學院（MIT）等機構發表在頂級學術期刊《自然》雜誌的文章觀察到，人類大腦生成和解析語言的神經網路並不負責形式化推理，而且提出推理並不需要語言作為媒介。這篇論文聲稱「語言主要是用於交流的工具，而不是思考的工具，對於任何經過測試的思維形式都不是必需的」，引發了科技領域社群的大討論。難道真的如語言學家喬姆斯基所言，追捧 ChatGPT 是浪費資源，大語言模型通向通用人工智慧（AGI）的路線完全錯了？讓我們看看這篇論文《Language is primarily a tool for communication rather than thought》是怎麼說的。論文連結：https://www.nature.com/articles/s41586-024-07522-w語言是人類智慧的一個決定性特徵，但它所起的作用或多或少一直存在爭議。該研究提供了神經科學等相關學科角度的最新證據，以論證現代人類的語言是一種交流工具，這與我們使用語言進行思考的流行觀點相反。作者首先介紹了支援人類語言能力的大腦網路。隨後回顧語言和思維雙重分離的證據，並討論語言的幾種特性，這些特性表明語言是為交流而最佳化的。該研究得出結論認為，儘管語言的出現無疑改變了人類文化，但語言似乎並不是複雜思維（包括符號思維）的先決條件。相反，語言是傳播文化知識的有力工具，它可能與我們的思維和推理能力共同進化，並且只反映了人類認知的標誌性複雜性，而不是產生這種複雜性。研究證據挑戰了語言對於思維的重要性。如圖 1 所示，使用 fMRI 等成像工具，我們可以識別完整、健康的大腦中的語言區域，然後檢查在完成需要不同思維形式的任務時，語言區域的相關響應。從人腦的生物學結構來看，語言生成和語言理解由左半球一組相互連線的大腦區域支援，通常稱為語言網路（圖 1a；Box 2 描述了它與語言神經生物學經典模型的關係）。Box 2。許多教科書仍然使用 Wernicke 提出的語言神經基礎模型，並由 Lichteim 和 Geschwind 進行了闡述和修訂。該模型包括兩個皮層區域：Broca 區位於下額葉皮層，Wernicke 區位於後上顳葉皮層。這兩個區域分別支援語言產生和理解，並透過一條背側纖維束（弓狀束）連線。首先，語言區域表現出輸入和輸出模態的獨立性，這是表徵抽象性的關鍵特徵。主要表現為在理解過程中，這些大腦區域對跨模態（口頭、書面或手語）的語言輸入做出反應。同樣，在語言生成過程中，無論我們是透過口語還是書面語來產生資訊，這些區域都是活躍的。這些區域支援語言理解和生成（圖 1a）這一事實表明，它們很可能儲存了我們的語言知識，這對於編碼和解碼語言資訊都是必需的。其次，語言區還能對詞義和句法結構進行表徵和處理。特別是，關於腦磁圖和顱內記錄研究的證據表明，語言網路的所有區域都對詞義以及詞間句法和語義依賴性敏感（圖 1a）。總之，語言網路中語言表徵的抽象性以及網路對語言意義和結構的敏感性使其成為評估語言在思維和認知中的作用假設的明確目標（(Box 3）。我們對人類語言和認知能力，以及它們之間關係的理解仍然不完整，還有一些懸而未決的問題：經典的方法是透過研究大腦損傷或疾病的個體來推斷大腦與行為之間的關聯和分離。這種方法依賴於觀察大腦某部分受損時個體行為的變化，從而推測不同大腦區域的功能和行為之間的聯絡。有證據表明 —— 有許多個體在語言能力上有嚴重的障礙，影響到詞彙和句法能力，但他們仍然表現出在許多思考形式上的完整能力：他們可以解決數學問題，進行執行規劃和遵循非言語指令，參與多種形式的推理，包括形式邏輯推理、關於世界的因果推理和科學推理（見圖 1b）。 研究表明，儘管失去了語言能力，一些患有嚴重失語症的人仍然能夠進行所有測試形式的思考和推理，他們在各種認知任務中的完整表現就是明證。他們根本無法將這些想法對映到語言表達上，無論是在語言生成中（他們無法透過語言向他人傳達自己的想法），還是在理解中（他們無法從他人的單詞和句子中提取意義）（圖 1b）。當然，在某些腦損傷病例中，語言能力和（某些）思維能力都可能受到影響，但考慮到語言系統與其他高階認知系統的接近性，這是可以預料的。尤其是一些聾啞兒童，他們長大後很少或根本沒有接觸過語言，因為他們聽不見說話，而他們的父母或看護人不懂手語。缺乏語言接觸會對認知的許多方面產生有害影響，這是可以預料的，因為語言是瞭解世界的重要資訊來源。儘管如此，語言剝奪的個體無疑表現出複雜的認知功能能力：他們仍然可以學習數學、進行關係推理、建立因果鏈，並獲得豐富而複雜的世界知識。換句話說，缺乏語言表徵並不會使人從根本上無法進行復雜的（包括符號的）思考，儘管推理的某些方面確實表現出延遲。因此，在典型的發展中，語言和推理是平行發展的。以上證據表明，迄今為止測試的所有型別的思維都可以在沒有語言的情況下實現。接下來，論文討論了語言和思維雙重分離的另一面：與語言介導思維的觀點相反，完整的語言系統似乎並不意味著完整的推理能力。來自發育性和後天性腦部疾病的證據表明，即使語言能力基本完好，也可能存在智力障礙。例如，有些遺傳疾病導致智力受損程度不同，但患有這些疾病的人的語言能力似乎接近正常水平；還有一些精神層面有缺陷的人，會影響思考和推理能力，但同樣不會影響語言。最後，許多獲得性腦損傷的個體在推理和解決問題方面表現出困難，但他們的語言能力似乎完好無損。換句話說，擁有完整的語言系統並不意味著自動具備思考能力：即使語言能力完好無損，思考能力也可能受損。總的來說，這篇論文回顧了過去二十年的相關工作。失語症研究的證據表明：所有經過檢驗的思維形式在沒有語言的情況下都是可能的。fMRI 成像證據表明：參與多種形式的思考和推理並不需要語言網路。因此，語言不太可能成為任何形式思維的關鍵基礎。MIT 研究得出結論的同時，頂尖 AI 領域學者最近也發表了對大模型發展的擔憂。上個星期四 Claude 3.5 的釋出號稱擁有研究生水平的推理能力，提升了行業的標準。不過也有人表示經過實測可見，它仍然具有 Transformer 架構的侷限性。對此，圖靈獎獲得者 Yann LeCun 表示，問題不在於 Transformer，而是因為 Claude 3.5 仍然是一個自迴歸大模型。無論架構細節如何，使用固定數量的計算步驟來計算每個 token 的自迴歸 LLM 都無法進行推理。LeCun 也評論了這篇 Nature 論文，對思維不等於語言表示贊同。https://news.ycombinator.com/item?id=40756176https://x.com/ylecun/status/1804834054954459539