編輯 | 白菜葉
與電腦科學家 Ellie Pavlick 談論她的工作——尋找大語言模型 (LLM) 中理解的證據——聽起來可能像是在開玩笑。「hand-wavy」這個短語是她最喜歡的，如果她提到「意義」或「推理」，它通常會帶有引號。
作為一名在布朗大學和 Google DeepMind 研究語言模型的電腦科學家，她知道接受自然語言固有的模糊性是認真對待自然語言的唯一方法。「這是一門科學學科——而且有點脆弱。」她說。
從青春期開始，精確性和細微差別就一直存在於 Pavlick 的世界裡，當時她喜歡數學和科學。作為一名本科生，她獲得了經濟學和薩克斯演奏學位，然後攻讀電腦科學博士學位，但她仍然覺得自己在這個領域是個局外人。
「很多人[認為]智慧系統看起來很像計算機程式碼：整潔且方便，就像[我們]擅長理解的許多系統一樣。」她說，「我只是相信答案很複雜。如果我有一個簡單的解決方案，我很確定它是錯誤的。我不想犯錯。」
一次偶然的機會，Pavlick 遇到了一位從事自然語言處理工作的電腦科學家，於是她開始了她的博士研究課題，研究計算機如何編碼語義或語言中的意義。「我認為這很有趣。」她說，「它涉及哲學，這與我目前正在做的很多事情相符。」
現在，Pavlick 的主要研究領域之一集中在「基礎」——單詞的含義是否取決於獨立於語言本身而存在的事物的問題，例如感官知覺、社互動動，甚至思想。
語言模型完全基於文字進行訓練，因此它們為探索基礎對意義的重要性提供了一個富有成效的平臺。但這個問題本身幾十年來一直困擾著語言學家和思想家們。
「這些不僅僅是『技術』問題。」Pavlick說，「語言是如此之大，對我來說，感覺它涵蓋了一切。」
在這裡，媒體與 Pavlick 討論了這些問題。
Q：從經驗上來說，「理解」或「意義」意味著什麼？具體來說，你在尋找什麼？
A：當我在布朗大學開始我的研究專案時，我們認為意義在某種程度上涉及概念。我意識到這是一個理論上的承諾，並不是每個人都會做出這樣的承諾，但它看起來很直觀。
如果你用「apple」這個詞來表示蘋果，你就需要一個蘋果的概念。無論你是否使用這個詞來指代它，它都必須是一件事。這就是「有意義」的含義：需要有一個概念，即你正在用語言表達的東西。
我想在模型中找到概念。我想要一些我可以在神經網路中獲取的東西，證明有一個東西在內部代表「蘋果」，這使得它可以被同一個詞一致地引用。因為似乎確實存在這種內部結構，它不是隨機的、任意的。你可以找到這些定義明確的函式的小塊，可以可靠地執行某些操作。
我一直專注於描述這種內部結構。它有什麼形式？它可以是神經網路內權重的某個子集，或者是對這些權重的某種線性代數運算，某種幾何抽象。但它必須在[模型的行為中]發揮因果作用：它與這些輸入相關，但與那些輸出無關，與這些輸出相關，但與那些輸出無關。
這感覺就像你可以開始稱之為「意義」的東西。這是關於弄清楚如何找到這種結構並建立關係，以便一旦我們將其全部到位，我們就可以將其應用於諸如「它知道『蘋果』意味著什麼嗎？」之類的問題。
Q：你找到過這種結構的例子嗎？
A：是的，有一個研究結果涉及語言模型何時檢索一條資訊。
論文連結：https://arxiv.org/abs/2305.16130
如果你詢問模型「法國的首都是什麼」，它需要說「巴黎」，而「波蘭的首都是什麼」應該回復「華沙」。它很容易記住所有這些答案，並且它們可以分散在[模型內]各處 - 沒有真正的理由讓它在這些事物之間建立聯絡。
相反，我們在模型中發現了一個有趣的小地方，它基本上將連線簡化為一個小向量。如果將其新增到「法國的首都是什麼」，它將檢索「巴黎」；如果你問「波蘭的首都是什麼」，同一個向量將檢索「華沙」。就像這個系統的「檢索首都城市」向量。
這是一個非常令人興奮的發現，因為[該模型]似乎是在總結這些小概念，然後對它們應用通用演算法。儘管我們正在研究這些非常 [簡單] 的問題，但它是為了尋找模型正在使用的這些原始成分的證據。
在這種情況下，擺脫記憶會更容易——在很多方面，這就是這些網路的設計目的。相反，它將[資訊]分解為碎片和相關的「原因」。我們希望，當我們提出更好的實驗設計時，我們可能會為更復雜的概念找到類似的東西。
Q：「基礎」與這些表述有何關係？
A：人類學習語言的方式基於大量的非語言輸入：你的身體感覺、你的情緒、你是否餓了等等。這被認為對於意義來說非常重要。
但還有其他一些與內部表徵更多相關的基礎概念。有些詞與物質世界沒有明顯的聯絡，但它們仍然有意義。像「民主」這樣的詞就是一個最喜歡的例子。這是你腦子裡的一件事：我可以在不談論民主的情況下思考它。所以基礎可能是從語言到那個東西，那個內部表徵。
Q：但你認為，即使是更外在的事物，比如顏色，也可能仍然錨定於內部「概念」表徵，而不依賴於感知。那會如何運作呢？
A：嗯，語言模型沒有眼睛，對吧？它對顏色一無所知。所以也許[它捕獲]了一些更普遍的東西，比如理解它們之間的關係。我知道當我將藍色和紅色混合起來時，我會得到紫色；這些型別的關係可以定義這種內部[基礎]結構。
我們可以使用 RGB 程式碼 [代表顏色的數字字串] 向 LLM 提供顏色示例。如果你說「好的，這裡是紅色」，並給出紅色的 RGB 程式碼，「這是藍色」，給出藍色的 RGB 程式碼，然後說「告訴我紫色是什麼」，它應該生成紫色的 RGB 程式碼。這種對映應該很好地表明模型的內部結構是健全的——它缺少[顏色]的感知，但概念結構就在那裡。
棘手的是，[模型]只能記住 RGB 程式碼，這些程式碼遍佈其訓練資料。因此，我們「倒轉」了所有顏色[遠離其真實的 RGB 值]：我們會告訴 LLM，「黃色」一詞與代表綠色的 RGB 程式碼相關聯，依此類推。該模型表現良好：當你要求綠色時，它會給你 RGB 程式碼的倒轉版本。這表明其內部顏色表示存在某種一致性。它是應用他們之間關係的知識，而不僅僅是記憶。
這就是「基礎」的全部要點。將名稱對映到顏色是任意的。更多的是關於他們之間的關係。所以這很令人興奮。
Q：這些聽起來很哲學的問題怎麼可能是科學的呢？
A：我最近看到了一個思想實驗：如果海洋衝到沙子上並且[當它]退潮時，留下的圖案會生成一首詩，會怎麼樣？這首詩有意義嗎？這看起來非常抽象，你可以進行很長的哲學辯論。
語言模型的好處是我們不需要思想實驗。這不像是「從理論上講，這樣那樣的東西會有智慧嗎？」 只是：這東西有智慧嗎？它變得科學和可實踐。
有時人們會不屑一顧；有一種「隨機鸚鵡學舌」方法。我認為這是因為有人擔心人們會過度關注這些東西——我們確實看到了這一點。為了糾正這一點，人們會說：「不，這都是騙局。這都是霧裡看花。」
這有點幫倒忙。我們發現了一些非常令人興奮和新穎的東西，值得深入理解它。這是一個巨大的機會，不應該因為我們擔心過度解釋模型而被忽視。
Q：當然，你也做出了研究來澄清這種過度解釋。
論文連結：https://www.semanticscholar.org/paper/Right-for-the-Wrong-Reasons:-Diagnosing-Syntactic-McCoy-Pavlick/42ed4a9994e6121a9f325f5b901c5b3d7ce104f5
A：在這項工作中，人們發現了模型所利用的所有「淺層啟發法」（以模仿理解）——這些對於我作為一名科學家的成長來說是非常基礎的。
但這很複雜。就像，不要太早宣稱勝利。[我內心]對評估是否正確有一點懷疑或偏執，即使是我知道我設計得非常仔細的評估！這就是其中的一方面：不要過度宣稱。
另一方面是，如果你處理這些[語言模型]系統，你就會知道它們不是人類水平的——它們解決問題的方式並不像看起來那麼智慧。
Q：當這個領域有如此多的基本方法和術語存在爭議時，你如何衡量成功呢？
A：我認為，作為科學家，我們正在尋找的是對我們所關心的事物（在本例中為智力）的精確、人類可以理解的描述。然後我們附上文字來幫助我們到達那裡。我們需要某種工作詞彙。
但這很難，因為這樣你就可能陷入這場語義之戰。當人們問「它有意義嗎：是或否？」 我不知道。我們把對話引向了錯誤的方向。
我試圖提供的是對我們關心解釋的行為的精確描述。在這一點上，無論你想稱之為「意義」還是「表徵」，或者任何這些負載詞，都沒有什麼意義。關鍵是，有一個理論或提議的模型擺在桌面上——讓我們對其進行評估。
Q：那麼，語言模型的研究如何才能轉向更直接的方法呢？
A：我真正希望能夠回答的深層問題——智力的組成部分是什麼？人類的智慧是什麼樣的？模型智慧是什麼樣的？——真的很重要。但我認為未來 10 年會發生的事情並不是很迷人。
如果我們想要處理這些[內部]表徵，我們需要找到它們的方法——科學上合理的方法。如果以正確的方式完成，這種低階的、超級雜亂的方法論的東西就不會成為頭條新聞。但這是真正重要的東西，可以讓我們正確回答這些深刻的問題。
與此同時，模型將不斷變化。因此，人們會繼續釋出很多東西，好像這是「突破」，但事實可能並非如此。在我看來，現在取得重大突破還為時過早。
人們正在研究這些非常簡單的任務，比如詢問[一個需要完成的語言模型]「約翰給_______喝了一杯酒」，並試圖看看它是說「約翰」還是「瑪麗」。這沒有解釋智力的結果的感覺。
但我確實相信，我們用來描述這個無聊問題的工具對於回答有關智力的深層問題至關重要。
相關報導：https://www.quantamagazine.org/does-ai-know-what-an-apple-is-she-aims-to-find-out-20240425/