神經符號系統、因果推理、跨學科互動，李飛飛、Judea Pearl等16名學者共同探討AI未來

机器之心發表於2020-12-30

去年，紐約大學心理學和神經科學教授 Gary Marcus 和深度學習先驅、2018 年圖靈獎得主 Yoshua Bengio 就 AI 技術的發展方向展開了一場現場辯論。

今年，Gary Marcus 與 Montreal.AI 負責人 Vincent Boucher 舉辦了第二場辯論。這次辯論共有包括李飛飛、Judea Pearl、Rich Sutton 在內的 16 位學者參與，大家圍繞「Moving AI Forward: An Interdisciplinary Approach」這一主題展開討論。Gary Marcus 表示：「此次辯論旨在展示不同的觀點。」

這場辯論包括「架構與挑戰」、「神經科學與心理學帶來的洞見」、「構建可信任的 AI」三個主題：

神經符號系統、因果推理、跨學科互動，李飛飛、Judea Pearl等16名學者共同探討AI未來

Gary Marcus 首先回顧了去年與 Bengio 的那場辯論，並指出現在是時候討論下一個十年了：「如何將人工智慧提升到下一個層次」。

之後，16 位學者分別談論了自己的研究和觀點，整場辯論持續 3 個多小時。

演講主題彙總：https://montrealartificialintelligence.com/aidebate2/readings.pdf
辯論影片：https://montrealartificialintelligence.com/aidebate2/

架構與挑戰

首先是第一個主題「架構與挑戰」。參與討論的學者有：Yejin Choi、Luis Lamb、Fei-Fei Li、Robert Ness、Judea Pearl、Ken Stanley 和 Rich Sutton。

史丹佛大學電腦科學教授李飛飛率先發言，談論了 AI「北極星」。她表示，「北極星」是與環境的互動。

神經符號系統、因果推理、跨學科互動，李飛飛、Judea Pearl等16名學者共同探討AI未來

隨後，巴西南大河州聯邦大學電腦科學教授 Luís Lamb 談論了「神經符號 AI」。Lamb 表示，基於 Marcus 在《The Algebraic Mind》一書中提到概念的神經符號工作涵蓋了基於神經網路操縱符號的需求，「我們需要將二者邏輯形式化的基礎性方法」，如 Judea Pearl 的思想。

神經符號系統、因果推理、跨學科互動，李飛飛、Judea Pearl等16名學者共同探討AI未來

隨後，DeepMind 傑出研究科學家 Rich Sutton 探討了強化學習。他首先提到了神經科學家 David Marr 的計算視覺資訊處理研究三層次：計算理論、表示與演算法、硬體實現。Marr 對計算理論很感興趣，但「目前 AI 領域這方面的研究很少」。Sutton 表示，類似梯度下降這類思想是關於「how」，而不是計算理論所需要的「what」。

Sutton 表示：「AI 需要大家認可的智慧計算理論，而強化學習是最強勁的候選者。」

緊接著，圖靈獎獲得者、貝葉斯網路之父、暢銷書《為什麼》的作者 Judea Pearl 發表了主題為「The Domestication of Causal Reasoning」的演講。他表示深度學習是個金礦，「我為推動因果革命而打造的新引擎可以表示心理狀態的計算模型，即『深度理解』」。」

Pearl 表示，深度理解將成為回答「What is?」、「What if?」和「If Only?」這些問題的唯一系統。

接下來，機器學習研究科學家 Robert Ness 談論了「因果推理與（深度）機率規劃」。

Ness 表示：「機率規劃將是解決因果推理的關鍵。」機率規劃可以構建能夠反事實推理的智慧體，而這是因果推理的關鍵。他認為這可以解決 Pearl 關於「If only?」的問題。

中佛羅里達大學電腦科學教授 Ken Stanley 則探討了進化與創造性。「過去數千年來，從火到空間站，新的事物是基於之前事物發展的，這就是開放系統。」Stanley 表示，產生智慧的進化是一個並行的「現象系統」（phenomenal system）。「我們從存在開始，就獲得了之前數千年的創造力，我們應當盡力理解這些現象。」

隨後發言的是華盛頓大學電腦科學系副教授 Yejin Choi。她談到了語言的重要性，並表示語言是「生成任務的推理」。她認為：「我們人類執行的是即時推理，這將成為未來 AI 發展的關鍵和根本性挑戰之一。」

她認為未來新的語言模型，如 GPT-4/5/6 等，都遠遠不夠。

在幾位學者發表完各自觀點後，Marcus 試圖總結他們的共同關注點：反事實、處理不熟悉和開放問題、整合知識、Judea Pearl 關於僅依靠資料並不足夠的觀點、常識的重要性（就 Yejin Choi 關於「生成式」的觀點而言）。

Marcus 提問道：「現在出現了六七種不同的觀點，我們是否想要將它們融合起來？是否想要使強化學習相容知識？」

Luis Lamb 表示，神經符號系統並不在於「如何去做」，重點是要明白，我們擁有相同的目標，即在學習方面建立非常穩固堅實的東西，但是表徵要先於學習。

Marcus 請各位學者思考「模組化」（modularity）。Rich Sutton 表示他可以接受考慮整體問題的方法，而不僅僅是表徵。他認為大家應該思考藉助計算理論想要實現的整體目標是什麼，「我們需要多種計算理論。」

Yejin Choi 指出：人類有能力信任新奇的事物，並進行奇怪的因果推理。她問道：「我們是否想要建立一個類人的系統？」她還提到了人類有趣的一點，即有能力透過自然語言交流大量知識，並透過自然語言展開學習。

Marcus 向李飛飛和 Ken Stanley 詢問了「神經進化」領域的發展現狀。

李飛飛表示，進化是智慧中最偉大、最豐富的實驗之一，智慧背後隱藏著一系列統一的原則。但是，她表示自己不會受進化生物約束的掣肘，而是將原則提煉出來。

神經科學與心理學帶來的洞見

辯論的第二個主題是「神經科學與心理學帶來的洞見」，Danny Kahneman、Christof Koch、Adam Marblestone、Doris Tsao 和 Barbara Tversky 參與了討論。

史丹佛大學心理學名譽教授 Barbara Tversky 認為，所有的生物都必須在空間中運動，運動停止，生命也就終結了。Tversky 還談到了人們如何做手勢，以及做出能夠影響人類思維變化的空間 motor 運動。

她指出，「學習、思考、溝通、合作和競爭，所有這些都依賴行動和少量話語」。

接下來是諾貝爾經濟學獎得主和 AI 推理問題權威書籍《快思慢想》（Thinking, Fast and Slow）的作者 Daniel Kahneman。他表示自己認同書中的兩種思考正規化：System 1 和 System 2 思考。一種是直觀形式，另一種是更高階的推理形式。

Kahneman 認為，System 1 包含了任意非符號事物，但這不意味著它是非符號系統。System 1 包含世界的表徵，由此人們可以模擬自身生活的世界。大多數時候，人們都一成不變地生活著，發生的事情大多在我們的意料之中。System 1 模型將很多事件認定為「正常」，即使出乎意料之外。System 1 拒絕接收其他事件。緊接著 Judea Pearl 的觀點，Kahneman 表示大量的反事實推理都在 System 1 中，其中對正常事物的天然理解主導著這種推理。

隨後發言的是加州理工學院的生物學教授 Doris Tsao。她主要講了反饋系統，回顧了早期關於麥卡洛克和匹茲（McCulloch and Pitts）神經元的研究工作。透過引用多層神經網路中的反向傳播，她認為反饋至關重要。理解反饋或許能令人們構建魯棒性更強的視覺系統，並且反饋系統也有助於理解幻覺等現象。最後，她表示自己對機器學習和系統神經科學的互動非常興奮。

接下來是 MIT 的 Adam Marblestone，他先前是 DeepMind 的研究科學家，從事神經科學研究。他認為觀察大腦並試圖總結出大腦執行的原理，這些「到現在還處於非常原始的水平」。此外，他還認為卷積神經網路等不過是在複製人類行為罷了。

西雅圖艾倫腦科學研究所研究員 Christof Koch 則斷言：「不要指望神經科學來幫助人工智慧的發展」。他認為了解大腦還需要一兩百年的時間，所以從大腦機械基質中尋求靈感來加速 AI 發展是錯誤的，這與 Marblestone 的觀點形成了鮮明對比。他表示：「這與人造物體的特性完全不同。」

對此，Marcus 提出了更多問題，如「多樣性」。大腦皮層的單個部分能夠讓人們瞭解其他部分的什麼屬性呢？

Tsao 回答道，「相似性」更令人印象深刻，它可能揭示了大腦執行的真正深層的普遍原則。預測編碼是一種「規範模型」，可以解釋很多事情。「尋求這種普遍原則將產生重大影響。」

關於這一點，Koch 表示，細胞型別「大不相同」，例如視覺神經元與前額葉皮質神經元非常不同。

Marblestone 認為「需要更好的資料」，以便「從實證角度理解 Christof 談論的計算意義。」

Marcus 還就「先天性」（innateness）進行了提問。他詢問了 Kahneman 對「目標文件」（object file）的看法：「你腦海中用於記錄自己正在追蹤的每件事情的索引卡，它是天生的架構嗎？」

Kahneman 回答道，「目標文件」是大腦追蹤物體過程中產生的永久性概念。他將其比作警方檔案，在收集證據的過程中內容會因時而變。所以，目標文件「當然是天生的」。

Marcus 則認為深度學習中沒有對等的「目標文件」。

構建可信任的 AI

此次辯論的第三個主題是「構建可信任的 AI」，Ryan Calo、Celeste Kidd、Margaret Mitchell 和 Francesca Rossi 各自發表了自己的觀點。

加州大學伯克利分校教授 Celeste Kidd 所在實驗室主要研究人類如何形成認知。Kidd 表示演算法偏見是很危險的，它們「有時會以破壞性的方式影響人類認知」。她以內容推薦的 AI 系統為例，認為此類系統會使人們形成「更強大的、難以糾正的錯誤認知」。比如亞馬遜和領英利用 AI 進行招聘，可能對女性候選者造成負面影響。

「AI 系統中的偏見強化了使用者的偏見，現在 AI 已經令人恐懼了。」Kidd 還提到了 Timnit Gebru 被谷歌解僱一事，稱「Timnit 在谷歌經歷的事情正是一種常態。」

谷歌高階研究科學家 Margaret Mitchell 表示：「開發機器學習演算法的典型方法是收集訓練資料、訓練模型、過濾輸出，並讓人們看到輸出。」但是人類偏見是資料收集、標註和整個開發階段中面臨的重要問題，它還會進一步影響模型訓練。後處理階段也同樣存在偏見。

「人們看到輸出，它變成了一個反饋迴路，我們試圖打破這個系統，即洗刷偏見（bias laundering）。」Mitchell 表示：「發展中不存在中立的東西，發展是價值負荷的。我們需要分解發展所包含的內容，以便人們可以反思它，並朝著『可預見的利益』努力，遠離『可預見的危害和風險』。技術通常善於彰顯技術的優勢，但不擅長處理風險，也不考慮長期影響」。

IBM fellow Francesca Rossi 討論了建立可信任 AI 生態系統的任務。她表示：「我當然希望它是準確的，但除此之外，我們還需要很多屬性，包括價值觀的一致性、公平性以及可解釋性。可解釋性非常重要，尤其是機器與人類一起工作的語境中。」

Rossi 回應了 Mitchel 關於「透明度」（transparency）的需求。她表示：「原則還不夠。它需要大量諮詢，在幫助開發者瞭解如何改變做事方式以及機構內部傘式結構方面還有很多要做的事。」Rossi 說神經符號系統和 Kahneman 提出的 System 1 和 System 2 對於機器中模型的價值觀非常重要。

最後一位演講者是華盛頓大學的法學教授 Ryan Calo，他表示：「我有一些關於原則的問題。原則不是自我執行的，違反原則也沒有相應的懲罰。」

「我認為原則在很大程度上是沒有意義的，因為在實踐中，原則的目的是使決斷沒有爭議。我認為我們不需要原則。我們要做的只是袖手旁觀，評估人工智慧對人類 affordance 的影響，然後針對此改變法律系統。不能對 AI 進行監管，並不意味著不能改變法律。」

Marcus 回答道：「潘多拉魔盒現在已經開啟，世界處於 AI 發展的最糟糕時期。我們擁有的這些系統卻受制於沒有知識的資料。」

接著，Marcus 詢問了對「基準」的看法：機器能否以某種可靠的方式使我們朝著常識的方向前進？Choi 回答稱，基於例項的機器訓練或自監督學習是陷阱。

Mitchell 指出，認知偏見會導致歧視，歧視和偏見在模型開發中「緊密相連」。Pearl 回應稱，如果某些偏見可以被理解，則它們可以透過演算法得到糾正。他表示：「如果某些偏差可以被建模，則可以被修復。」他將這一過程稱為「偏見洗刷」。

Kidd 表示，她的實驗室工作是為了反思「誤解」。在這個世界上，人們都會表現出偏見，即使有些無法用證據證明。Ness 則指出，認知偏見可能是有用的歸納偏置。他說，這意味著人工智慧問題不僅僅是哲學問題，還可能是「非常有趣的技術問題」。

Marcus 問及大家對機器人的觀點：如今的大多數機器人僅執行少量的物理推理，比如房間導航等。我們應如何解決這個對人類非常有效的物理推理問題，並延伸至語言領域呢？

李飛飛表示：具象化與互動是智慧的一部分。我非常同意物理推理是發展智慧的重要原則，但沒必要去建造物理機器人，學習智慧體可以滿足一部分需求。

Marcus 接著詢問了李飛飛實驗室的模擬工作，尤其是「affordance」：當談到具象化時，很多都是關於物理 affordance，拿著鉛筆，拿著電話等。我們離這還有多遠？

李飛飛表示：「非常接近，例如晶片巨頭英偉達的物理建模工作。在 AI 發展的下一階段中，我們必須做到這一點。」

Sutton 表示：「我儘量不去思考知識的具體內容」，因此他傾向於把空間看作是思考其他事物的方式，它是關於從一種狀態到另一種狀態的轉換。「我反對這個問題，我不想把物理空間看作是一種特殊情況。」

Tversky 則認為「人類可以從觀察別人中學到很多東西。但我也想到了互動、模仿。對於幼兒來說，這不是確切的運動，而是目標。」

Marcus 對此的回覆是：「目標非常重要。」他以嬰兒為例。14 個月大的嬰兒會模仿——要麼是精確的動作，或者他們會意識到這個人在以一種瘋狂的方式做某事，與其進行重複動作，嬰兒會做出別人試圖做的動作。先天不等於出生，但是在生命早期，空間和目標的表現形式非常豐富，而在 AI 中我們還沒有針對這個的優秀系統。」

Choi 再次重申了語言的重要性。「我們想把常識研究侷限在嬰兒身上，還是想建立一個同樣能捕捉成年人常識的系統。語言對我們來說太方便了，它代表了成年人的常識。」

好奇心

Marcus 將話題轉向好奇心：「好奇心是人類能力的重要部分，可以以某種方式提高認知能力。」

Koch 認為：「這不是人類獨有的，幼年黑猩猩、小狗、小貓……，它們同樣想要探索世界。」

Stanley 的觀點是：「這是一個很大的謎題，因為很顯然，好奇心是早期發展、學習以及擁有人類智慧的基礎，但是我們不清楚這種行為是如何形成的？」

「如果我們想擁有一個好奇的系統，我們必須解決一個非常主觀的概念：「什麼是有趣的」，然後我們必須與主觀性做鬥爭，而這正是我們作為科學家不喜歡的事」。Stanley 說。

Pearl 則提出了一個好奇心不完備理論。哺乳動物試圖找到進入舒適和可控系統的路徑，驅動好奇心的正是這類系統中的漏洞。「只要它有漏洞，你就會感到惱怒或不安，這會激發你的好奇心。當你填補這些漏洞時，你會感到一切都在掌控之中。」

Sutton 指出，在強化學習中，好奇心扮演了一個低階角色，用來驅動探索。「近年來，人們開始把『paly』看作一個更大的角色。我們設定的目標現在未必有用，但將來可能有用。『paly』可能是人類做的大事之一，玩是大事。」

在被問及「元認知」概念時，Rossi 回答道，「Kahneman 的 System 1 或 System 2 中肯定有某個地方是關於實體自身能力的推理，我可以用這種方式或其他方式進行回答，或者設計一個新的程式來回應外界的刺激」。Rossi 認為這種能力可能有助於激發好奇心和「玩」的概念。

李飛飛表示：「作為一名科學家，我想在科學知識與 AI 原則方面進行深入探索。我仍然認為我們的 AI 時代是牛頓物理學之前的時代。我們還在學習現象學和工程學。總有一天，我們會開始理解智慧的原則。作為一名公民，我希望這種技術可以在理想的情況下改善人類的生活條件。它是如此深刻，可以非常非常糟糕，也可以非常非常好。我希望看到這種技術的框架以最仁慈的方式開發和部署。」

Lamb 表示：「我喜歡圖靈的一句話。他說，我們只能看到前面很短的距離。正如 Fei-Fei 所說，作為一名科學家，我希望 AI 進步。但是，AI 影響很大，AI 的發展是我們的關鍵責任。正如 Gary 所說，我們必須尋求融合，讓 AI 更公平、少些偏見，使其成為人類世界中的積極因素。我們需要以一種非常人性化的方式來看待我們的領域。我們必須以嚴肅的倫理原則、法律和規範為指導。我們正處在 AI 寒武紀大爆發的初期，需要非常清楚社會、倫理和全球影響。我們必須關注南北分裂，不能只從單一的文化角度來看待它。」

Sutton 認為：「AI 聽起來像是純技術的東西，但我同意 Lamb 的觀點，這可能是人類所有努力中最人性化的東西。我期待著我們能夠加深理解，期待著一個充滿不同型別的智慧、增強人類、新人類、理解、多樣性的新奇世界。」

Pearl 表示：「我的抱負相當有限。我想要的是一個智慧、友好、能力超群的學徒。我想了解我自己，怎樣思考、情感如何被喚起。關於我自己的一些科學問題（如意識和自由意志），我到現在還沒有答案。如果我能造出一個具有像我一樣自由意志的機器人，我會認為它是最偉大的科學成就，我預言，我們會成功的！」

Ness 表示：「很多討論是關於將人類工作自動化的。試想一下，用它來增強人類智慧、提升人類體驗應該很有趣。我已經看到人類用大型模型來寫詩歌，但如果我們能創造一種幫助詩人創作新詩的工具不是更好嗎？我喜歡流行音樂，但我們也需要聽到一些新奇的嘗試。第一批建立 PhotoShop 的工程師建立了那些虛擬現實人物的矩陣影像，但現在沒有設計師不知道如何使用 Photoshop。我希望 AI 能像 Photoshop 為設計師所做的那樣，為人類體驗做貢獻。」

Stanley 表示：「對於我來說，有點像 Robert 說的，我們必須為自己做這件事。我們不想擺脫自己。有些事情沒有別人的幫助是做不成的。當我看到偉大的藝術時，我知道它是偉大的，但我可以創造偉大的藝術。我們擁有的這些潛在能力可以透過助手更明確地發揮出來。所以，AI 可以做的就是放大我們的想法，幫助我們更好地表達自己。我想這就是我們想要做的吧。」

Choi：「有兩件事讓我很興奮。我們一直在談論好奇心。現在有趣的是，好奇心如何在學習正規化中閱讀事物，然後讓我們做出前所未有的驚人創造，這會給智慧帶來新的力量。我會保持樂觀，我們能夠走得很遠。然後我會找到新的自己，因此公平與多樣性深深地根植於我的內心。我為這將讓世界更加美好而感到非常高興。改善人們的偏見，透過建立 AI 來幫助人們瞭解自己的偏見，我們也許真的可以幫助人們擺脫偏見，我很期待看到明年將會發生的事情。」

Tversky：「我看到很多試圖模仿人類的 AI。那麼人類是想讓 AI 模仿自己的錯誤，還是想透過 AI 完善自己？我發現其他人似乎在使用 ast 工具，並擔心這些工具中存在隱式偏見。創造力、音樂、詩歌，所有這些都是有幫助的。我研究人類的行為，並且一直對 AI 社群能夠創造的東西感興趣。」

Kahneman：「我最開始對 Demis Hassabis 的新型 AI 感興趣，他比幾年前看起來謙虛了很多，這讓我很震驚。這是一個美好的期盼，在最近幾年中這種期盼似乎變得越來越遙遠。我還觀察到：AI 學徒和人類的觀念應該保持在可控的範圍內。一旦 AI 或任何規則化系統具備堪比人類的判斷力，那麼它們最終將擁有人類的判斷力，或許它們不再需要人類的想法。當 AI 掌握了一個領域，人類的想法在這個領域中就幾乎沒有必要了，這可能會非常複雜，而且後果非常糟糕。」

Tsao：「我希望理解人類的大腦，我希望結合 AI 和神經科學，為大腦的工作原理提供最美觀、最簡單的解釋。」

Marblestone：「我希望人類的創造力能夠有所增強，最優秀的科學家將有能力做更多的事情，一些孩子能夠設計空間站。也許這會讓我們獲得普遍的基本收入，也許人類的後代將進入太空。」

Koch：「作為一名科學家，我期待與 AI 一起了解大腦，瞭解這些奇妙的資料集。但正如李飛飛教授所強調的那樣，許多 AI 都是幼稚的。人工智慧的發展突飛猛進，技術是造成不平等的原因之一。社會不平等、種族主義、社會媒體紛爭日益加劇。今天，我們談論道德時，我感到非常驚訝，人們正在對是否製造殺手機器人的問題進行談判。這會讓軍事問題日益激化。」

Kidd：「我沒有什麼要補充的。這並不是問題的答案，但我認為我想從 AI 中獲得的東西就是我想從人類中獲得的東西。這也是我對 AI 含義和能力的不同理解。以疫苗為例，由誰獲得疫苗以及決策過程，這會指向演算法，但人們是落後於演算法的。我們真正需要的是從 AI 轉變為一種獨立的東西，這可以歸結為讓人類對自己的發展負責。」

Mitchell：「我想說的話很多和大家一樣。我的目標是找到有趣且美好的事物，我們學術界非常擅長事後合理化。但是從根本上說，我們正在做的事情是娛樂自己，自我服務的拉動帶來了這種情況，但這並不是件好事，像個書呆子。我希望 AI 能做的是糾正人類的偏見。如果 AI 能夠理解效能評價中使用的語言，那麼它就可以加入那些關於偏見的討論中。我很希望 AI 能夠反過來處理真正有問題的人類偏見。」

Rossi：「我必須跟進 Margaret 所說的話。AI 能夠解決棘手問題，幫助我們理解自己。但是我認為 Margaret 剛才所說的話非常重要。從我的角度看，在從事 AI 工作以前，我從未考慮過自己的價值觀。AI 系統應該用於什麼，不用於什麼。我認為這不僅僅是我個人的反思，整個社會都有機會去做這件事。思考 AI 存在的問題，是反思我們自身價值觀的一種方式。我們會意識到自己的侷限性，並且更清楚自己的價值觀是怎樣的。」

Calo：「我希望 AI 的成本和收益能夠均衡分配，並且想讓公眾相信這是正在做的事情，我認為不修改法律就不可能實現這一點。」

最後，Marcus 總結說這場辯論比他預期的還要精彩，並用一句非洲諺語總結：舉全村之力（It takes a village）。他表示：「今天這裡就有 village」。

參考連結：

https://montrealartificialintelligence.com/aidebate2/readings.pdf

https://www.zdnet.com/article/ai-debate4-2-night-of-a-thousand-ai-scholars/?ftag=COS-05-10aaa0g&taid=5fe3cf7754859c0001439c8d&utm_campaign=trueAnthem%3A+Trending+Content&utm_medium=trueAnthem&utm_source=twitter

神經符號系統、因果推理、跨學科互動，李飛飛、Judea Pearl等16名學者共同探討AI未來

相關文章