編輯 | 蘿蔔皮
當前的大型語言模型 (LLMs) 依賴單詞預測作為其骨幹預訓練任務。儘管單詞預測是語言處理的重要機制，但人類語言理解發生在多個層面，涉及單詞和句子的整合以實現對話語的充分理解。
香港理工大學的研究人員透過使用下一句預測（Next Sentence Prediction，NSP）任務對語言理解進行建模，從而研究話語級理解的機制。
該團隊表明，NSP 預訓練增強了模型與大腦資料的一致性，尤其是在右半球和多需求網路中，突出了非經典語言區域對高階語言理解的貢獻。NSP 可以使模型更好地捕捉人類理解效能並更好地編碼上下文資訊。
另外，在模型中包含不同的學習目標會產生更加類似於人類的表徵，並且研究 LLMs 預訓練任務的神經認知合理性可以揭示語言神經科學中的突出問題。
該研究以「Predicting the next sentence (not word) in large language models: What model-brain alignment tells us about discourse comprehension」為題，於 2024 年 5 月 23 日釋出在《Science Advances》。
近期生成式人工智慧（AI）的進步使 LLMs 成為焦點。LLMs 的卓越效能源於大規模文字資料上的預訓練及將詞彙和意義表示為高維向量（或「嵌入」）。越來越多的神經認知研究探索了模型嵌入如何捕獲語言處理中的大腦活動，並且，LLMs 的興起使科學家能更系統、明確地測試語言學習和表徵的神經機制。
研究者倡導透過「表示一致性」連線計算模型與大腦研究，促進 AI 與神經認知領域知識交流。實現模型-大腦一致性（Greater model-brain alignment）需藉助線性迴歸等方法建立模型嵌入與腦訊號間的聯絡。現有研究檢驗不同模型嵌入與大腦資料的一致性度，以探索語言模型的哪些計算特性與大腦處理機制相關。
兩個主要原則是：語境資訊在理解過程中的表徵，以及詞預測作為語言理解核心過程。儘管進展顯著，研究存在差距：LLMs 的詞預測任務與人類追求基於統計理解多層話語的目標不同；且自然語言處理與語言神經科學界溝通不足。
香港理工大學研究團隊的課題旨在利用 LLMs 探討話語理解，這是結合兩領域新發現的領域。
話語理解對人類交流和知識獲取至關重要，涉及跨句子的意義構建。BERT 模型中的下一句預測（NSP）任務旨在增強模型理解句間關係的能力，可能對映到人腦處理和理解話語的方式。然而，關於支撐話語理解的大腦網路及其半球分工仍有許多未知，特別是右半球的作用尚待明確。
綜合來看，研究旨在透過 LLMs 和 NSP 任務，促進對人類話語理解神經機制的深入理解。
在這項研究中，研究人員專注於利用不同的預訓練任務，來更好地使 LLMs 與人類語言系統保持一致；透過使用模型-大腦一致性，研究人員希望深入瞭解大腦如何處理話語。具體來說，他們測試 NSP 作為話語理解的合理計算機制，並探索與該機制相對應的大腦網路。
為此，該團隊構建了兩個基於 BERT 的深度語言模型（DLM），在預訓練中操縱 NSP 的存在，並使用兩個功能磁共振成像（fMRI）資料集，分別強調連貫和不連線的句子關係。在兩個半球的語言網路和 MD 網路中檢查了模型-大腦一致性效能。
圖示：資料集、計算模型和分析概述。（來源：論文）
研究結果顯示，NSP 預訓練有助於模型更好地捕捉人類的理解能力，有效編碼上下文資訊，並促使模型表示更接近人類，從而為解決語言神經科學中的問題提供了新視角。
在個體差異層面，研究發現模型-大腦一致性與閱讀時間呈負相關，意味著更強的一致性關聯著更快的閱讀速度，而閱讀時間是評估閱讀技能的關鍵指標，能區分熟練與不熟練讀者在理解話語時的效率。熟練讀者在選取和組織關鍵內容以構建整合理解方面更為高效。
圖示：閱讀時間和模型-大腦一致性之間的相關性。（來源：論文）
此外，研究對於話語理解中的左右腦功能分工提供了新的見解。雖然經典左腦語言網路對於詞語和句子處理不可或缺，但右腦在話語理解、雙語學習、韻律處理及比喻語言理解等高階語言功能中扮演著關鍵角色。
特別是，研究發現右腦同側額葉區域在整合連貫句子過程中尤為重要，而並非否定左腦語言網路在此過程中的參與，而是表明在話語理解中，模型-大腦一致性可能更敏感於由右腦支援的更廣泛、高層次和較粗粒度的語義整合過程。這些發現豐富了關於大腦如何在不同層次上分配語義處理任務的討論。
論文連結：https://www.science.org/doi/10.1126/sciadv.adn7744