專訪諾獎得主:大模型是記憶還是理解?

机器之心發表於2024-07-22

機器之心獨家專訪 2011 年諾貝爾經濟學獎得主托馬斯·薩金特教授

專訪諾獎得主:大模型是記憶還是理解?

物理學家理查德·費曼曾將自然世界比作眾神的遊戲,比如國際象棋——我們不知道遊戲規則,但卻可以觀察棋盤,也許只是其中的一角,然後根據這些觀察,試圖找出遊戲規則。

費曼的比喻,道出了科學研究的核心,也生動描繪了許多經濟學家的工作,他們同樣致力於從紛繁複雜的經濟現象中,洞悉隱藏的模式和規律。

當我們談及人工智慧,尤其是近年來蓬勃發展的大模型,似乎也能看到同樣的影子。以資料為中心的人工智慧(Data-Centric AI)正在改變著人類組織和解釋資訊的方法,並在某些領域展現出改變資訊獲取方式的潛力。那麼,大模型能否像伽利略、牛頓、愛因斯坦一樣,從資料中提煉出全新的理論,實現真正的科學發現?

對此,2011 年諾貝爾經濟學獎得主托馬斯·薩金特(Thomas J. Sargent)教授認為,人工智慧機器學習的核心理念可以追溯至伽利略時代,都是透過構建世界模型並基於模型進行預測和決策。機器學習作為人工智慧的關鍵組成部分,透過資料驅動的方式實現了這一過程。

薩金特教授在寫於 2023 年 10 月的工作論文《Sources of Artificial Intelligence》中表示,他所理解的「人工智慧」,是指那些旨在完成「智慧」任務的計算機程式,而這些任務過去是由像伽利略、達爾文和開普勒這些擴充了人類認知邊界的先驅完成的。很多機器學習技術利用資料、機率論和微積分來推斷模式,而設計機器學習晶片、演算法和程式碼的程式設計師,則是在再現(copy)伽利略的自由落體實驗。

帶著對人工智慧和科學發現的疑問,以及對諾貝爾經濟學獎得主獨特視角的期待,機器之心在 2024 羅漢堂數字經濟年會上對薩金特教授進行了獨家專訪。

人物簡介

圖片

薩金特教授在 2024 羅漢堂數字經濟年會發表演講。圖片來源:羅漢堂

托馬斯·約翰·薩金特(Thomas John Sargent)是一位傑出的美國宏觀經濟學家。他於 2002 年 9 月加入紐約大學,成為首任 W.R. Berkley 經濟學和商業講席教授。2011 年,薩金特教授與普林斯頓大學的克里斯托弗·西姆斯(Christopher A. Sims)共同獲得了諾貝爾經濟學獎,以表彰他們「對宏觀經濟中因果關係的實證研究」。

薩金特教授是理性預期學派的領軍人物之一,該學派的核心理念是:經濟個體能夠理性地利用所有可獲得的資訊,並根據最佳的判斷來形成對未來的預期,然後根據這些預期進行決策,反映了經濟體系中「未來決定現在」的含義。他與羅伯特·盧卡斯(Robert Lucas, Jr.)和尼爾·華萊士(Neil Wallace)密切合作,為新古典宏觀經濟學的演進奠定了根基,做出了原創性的貢獻。

薩金特教授在經濟學領域享有盛譽,曾任計量經濟學會、美國經濟學會和經濟動態學會主席。1983 年,他當選為美國國家科學院院士和美國藝術與科學院院士,並於 1997 年榮獲內默斯經濟學獎。他的研究對宏觀經濟學、貨幣經濟學、時間序列計量經濟學等領域產生了深遠的影響。

薩金特教授也是羅漢堂首批學術委員會委員。羅漢堂(Luohan Academy)是 2018 年由阿里巴巴倡議,全球社會科學領域的頂尖學者在杭州共同發起的非營利性開放型研究機構。2024 年 7 月,第四屆羅漢堂數字經濟年會在上海舉辦,薩金特教授第四次現場參加活動。會議圍繞人工智慧對經濟社會發展的影響及趨勢展開,50 餘名海內外學者、政策研究者、科技領軍人物和企業家參與了演講和討論。

訪談實錄

圖片

2024 羅漢堂數字經濟年會開幕前,托馬斯·薩金特教授(右)接受機器之心副主編聞菲的專訪。拍攝:潘敏敏

機器之心薩金特教授,非常榮幸有此機會。機器之心是一家專業的人工智慧資訊服務平臺,我們的讀者都是 AI 從業者(AI professionals)。

薩金特教授:噢,我是 AI 外行人(AI amateur)。

機器之心您太謙虛了,您指出經濟學是人工智慧的學科基礎之一[1],我們期待您在經濟學中的方法論能為人工智慧的相關研究提供指導。當前人工智慧領域有一大爭議,有些人認為像 GPT-4 這樣的大語言模型(LLM)做的只是「記憶」,其強大僅僅來自於對海量資料的統計分析和機率推理,模型並不懂得因果關係。另一些人則相信,要足夠精確地預測下一個詞,就意味著至少在一定程度上真正理解了上下文。對此您是怎麼看的?

薩金特教授:這是一個非常古老的問題和議題了。我喜歡你提出這個問題的方式,因為人工智慧涵蓋了眾多技術和工具,編碼和解碼正是其中之一。這項技術起源於 20 世紀,算得上歷史悠久了。在第一次和第二次世界大戰期間,許多專家開始利用數學進行編碼和解碼。他們使用的方法正如你所說,是利用了語言的可預測性(predictability)。他們意識到字母並非隨機排列,單詞和句子之間也存在著某種關聯。為了破譯語言,他們開始尋找其中的模式和規律,並使用了一種叫做馬爾可夫鏈的工具,來分析事物今天的發展如何影響未來的走向。某種意義上說,這就是編碼和解碼的核心所在,它不僅僅是尋找模式,還是尋找跨越時間的模式(intertemporal patterns),甚至是在更長的時間範圍記憶體在的這種跨越時間的模式(intertemporal patterns cross time)。字母的排列中蘊含著某種模式,可以幫助我們預測未來。

那麼問題來了,這算是理解嗎?或者說僅僅是一種模式識別?這就引出了一個更深層的、甚至可以說是哲學層面的問題:究竟什麼是「理解」?我認為人們所說的「理解」,其中一部分就是對模式的深入瞭解,對模式的詮釋,以及判斷哪些模式是真正持久的,哪些只是偶然發生的。當然,這並不是一個完美的答案。

機器之心那按照現有的深度學習或者大模型方法,人工智慧可以從發現相關性發展到理解因果性嗎?

薩金特教授:我一直以來都在認真思考這個問題,最近還就此寫了一些東西。問題的關鍵在於,不同的人對「因果關係」的理解並不相同,他們對因果關係的定義和所需滿足的條件也存在差異。YouTube 上有一個很棒的影片,講的是一個人與物理學家和哲學家們探討因果關係,結果發現他們各執一詞。哲學家大衛·休謨就非常重視因果關係,將因果推理視為知識的核心。休謨認為,因果性可以用特定型別的相關性來定義,也就是說,當我們觀察到一件事發生在另一件事之前,並且這種情況在不同的場景下反覆出現,我們就會認為這兩件事之間存在因果關係。在休謨看來,相關性和因果性在某些情況下幾乎可以劃等號。當然,也有人對此持有不同意見,他們認為因果關係的內涵不止於此。然而,休謨堅持認為這就是因果關係的全部。這個議題很快就會上升到哲學層面,甚至觸及神學,變得非常複雜。

機器之心那麼我們能否跳出哲學層面的探討,對大模型的因果推理給出一個數學上的定義或者描述呢?

薩金特教授:不能。

機器之心為什麼您這麼快就給出否定的回答?難道我們毫無希望嗎?

薩金特教授:哦,不是的,我的意思是,我可以給出好幾種數學上的定義。在我的論文裡,我就給出了好幾種。但問題是,有些人看了會說,「對的對的,我就是這個意思」,可另一些人則會說,「不對不對,我說的不是這個,我明明是這個意思」,這種情況很常見,而且由來已久。

機器之心我們今天面臨的一大挑戰是,大模型被視為「黑盒子」,其因果鏈(如果存在的話)極其複雜且難以定義,模型推理的原理或機制在很大程度上仍然未知。在您的經濟學研究中,您一直強調對因果關係的分析。您認為是否有必要令大模型掌握因果推理?如果是的話,我們該如何做到這一點?

薩金特教授:這是一個很好的問題。我是這樣看的,對於構建大模型的人來說,它並不完全是一個無法理解的黑盒子。他們使用特定的數學和統計工具,清楚地知道自己在做什麼,也明白模型在理想情況下如何運作(They know conceptually what they're doing in theory)。我甚至可以解釋說明這個過程。但問題是,這是否意味著大模型僅僅只是在機械地遵循指令,識別某些模式?

讓我舉個例子,就像華為自動駕駛汽車,它可以做出非常複雜的決定。作為一個局外人,如果你問我華為自動駕駛汽車是怎麼做出某些決定的,我無法回答,但設計它的人知道。這是一個視角問題,就好比我手中的這臺華為手機(從兜裡拿出一臺手機),對我來說這是一個黑盒子,但是對華為來說,它不是。

你的提問都很有見地,因為它們觸及了一個核心問題:當我們談論某個詞,比如「黑盒子」或「因果關係」時,我們究竟指的是什麼?我推薦你讀一篇文章,阿根廷作家博爾赫斯的短篇小說《博聞強記的富內斯》(Funes the Memorious)。它講了一個擁有超凡感知力的人,可以記住所見到的一切,對任何細節都過目不忘,例如你的一個動作,角度的改變,甚至陰影的變化。當你開始讀這篇文章的時候,你會覺得這個人很聰明,簡直無所不知。但讀到一半,你就會意識到他根本不會思考,因為他拒絕做資訊壓縮(data reduction),無法從海量資訊中提煉出模式和規律。很大程度上,模式識別就是把一大堆資料進行壓縮處理,而這正是智慧的關鍵所在。當然,這也可能導致錯誤,例如把人按膚色分類,說這些是黑人,那些是白人,他們是不同的,就會犯下錯誤……

話說遠了,回到你的問題,博爾赫斯的小說揭示了一個有趣的現象。所以,當你說「因果」(cause)這個詞的時候,你實際上是在說模式(pattens),但哪些模式才能真正代表因果關係呢?

實際上,我在這裡(指 2024 年羅漢堂數字經濟年會)有一個演講,也會涉及相關內容,我不知道能否回答你的提問,但你可以聽一下,你會看到不同的人有不同的看法。就像在日常生活中,你會遇到對因果關係持不同態度的人,我想大多數人根本不在乎,比如說我的孫子們,還有我的女兒,你一提因果她就不耐煩,她只關心漂亮的衣服、心愛的寵物。

機器之心哈哈,這不也是一種快樂的生活嗎?

薩金特教授:這麼說也不錯,某種意義上。

註釋

[1] Thomas J. Sargent, Sources of Artificial Intelligence, http://www.tomsargent.com/research/AI_Sargent.pdf

相關文章