編譯 | AI科技大本營編輯部

出品 | AI科技大本營（ID:rgznai100）

去年以來，由於紐約大學教授 Gary Marcus 對深度學習批評，導致他在社交媒體上與許多知名的 AI 研究人員如 Facebook 首席 AI 科學家 Yann LeCun 進行了一場論戰。

不止 LeCun ，他還對另一深度學習 大牛 Yoshua Bengio 的相關觀點進行了反駁。近期，由於Bengio 對外強調深度學習的下一步研究方向時（見文章《圖靈獎得主Bengio再次警示：可解釋因果關係是深度學習發展的當務之急》），Gary Marcus 同樣表達了不同的觀點。

10 月 11日，Yoshua Bengio 在 Facebook 予以回應，兩人就 AI 和深度學習的發展現狀進行了一來一回的“互懟”。

Gary Marcus喜歡在我談論我目前的研究計劃時引用我的觀點，該計劃談到了研究深度學習系統的弱點, 以便在更高水平認知和更大組合(和系統)泛化中建立更強的系統, 包括處理因果關係和推理。他不同意Yann LeCun, Geofrey Hinton和我說過的觀點，即神經網路確實可以成為計算機中整合更多認知能力的一個"通用溶劑（universal solvent）"。

他更喜歡把深度學習侷限於感知, 並需要與符號處理相 結合，我有點不同意這種觀點。我同意GOFAI的目標是重要的(就像有能力執行系統2認知的順序推理特徵) ，但我相信, 他們可以在保持深度學習框架的同時完成這些目標，儘管該框架大量使用了注意力機制（我的“意識先驗”研究計劃）以及新架構（例如模組化）和訓練框架（例如元學習）。

我敢打賭的是, 將深度網路的輸出離散化然後傳遞到GOFAI符號處理系統的簡單 結合將不會奏效。為什麼? 有很多原因：(1)你需要在系統2和系統1中進行學習, (2)你還需要在其中表示不確定性，(3)蠻力 搜尋(符號處理系統的主要推理工具)無法scale, 而是人類使用無意識(系統1)進行處理, 以指導涉及推理的 搜尋, 所以系統1和系統2非常緊密地集合在一起, (4)你的大腦一直是一個神經網路。

10 月 13 日，Gary Marcus 在 Medium 上釋出了給 Bengio 的公開信長文，他從觀點一致（Agreements）、分歧（Disagreements）、鴻溝（Gaps）、爭論（Bones to Pick）四個方面表達了他的觀點。他表示，他們倆人觀點相同多於觀點相左倆人，但無論觀點一致還是存有分歧，他希望他們的爭論能夠對 AI 領域發展帶來啟發。

以下為公開信全文，AI科技大本營（ID:rgznai100）編譯：

親愛的Yoshua：

感謝你在 Facebook 上做出的回應，我在這份信中引用了那段文字，並表達我自己對它的想法。感謝你抽出寶貴時間 關注這些問題。

我認為，你與我的觀點相同多於觀點相左，並且和你一樣，我也希望我們的意見和分歧能夠讓這個領域受益。

觀點一致

• 就其本身而言，深度學習是一種有價值的工具，但從目前的形勢來看，深度學習本身不足以使我們達到通用智慧。
• 當前的深度學習技術通常會產生膚淺的結果，且泛化性較差。自1992年我首次發表文章以來，我就一直在表達這一點，並且在我 2012 年為《紐約客》寫的第一篇公開評論中就對深度學習展發表了詳細觀點。這也是我2001年關於認知科學書籍的重點。而你近期發表在 ar Xiv 上的論文《A Meta-Transfer Objective for Learning to Disentangle Causal Mechanisms》的介紹也恰好與《 The Algebraic Mind》的主旨相呼應，都提出這一觀點：對許多常見的神經網路來說，在訓練空間之外進行泛化，是一項挑戰。
• 我們兩人都同意納入因果關係的重要性。數十年來，Judea Pearl 也一直在強調這個問題；2012年，我想我也許是第一個在《紐約客》的文章中針對深度學習領域強調這一問題的人。
• 對“理解如何將連續的 “第二系統”[“System II” (Kahnem’s term)]推理（我喜歡稱之為審議推理[deliberative reasoning]）納入人工智慧的工作流程是至關重要的”這一看法我也認同你的說法。經典 AI 提供了一種方法，但其有著顯著地侷限性，探索其他方法肯定是一件有趣的事情。

• 你 建議結合很多技術，特別是注意力、模組化和元學習，這可能會很有幫助。我之前的公司就對元學習有很大的興趣，我也堅信需要模組化和構建更結構化的模型，我不確定你對基於代理的檢視持何看法，在我看來這是合理的。

分歧

你似乎認為我在提倡一種“簡單混合的方法，將深度學習網路的輸出結果離散化然後傳遞給 GOFAI符號處理系統”，但我從未提出過類似的觀點。我全力支援混合方式，但我認為我們需要一些更精妙的東西，我也從不認為處理的核心是 GOFAI 的觀點。相反，Davis 和我最近在書“常識與認知”章節中也對此提出了質疑，我們提出了一種超越現有 GOFAI 和深度學習的簡單組合的混合方法。我同意我們需要比 GOFAI 更豐富的、不確定性的概念，同時也和你一樣認為需要將更多的學習納入 System 2，但我個人不認為深度學習適合於此。

也就是說，我認為符號處理技術是至關重要的，我想你低估了它的價值。

首先，世界上的很多知識都是透過符號表達的，（如整個網際網路上的非結構化文字），當前基於深度學習的系統並沒有充分利用知識。我可以告訴孩子“斑馬是一種有條紋的馬”，他們可以在一次試驗中就獲得這一知識，並把它與他們的感知系統 結合起來。而現在的系統無法做到。

如果沒有某種符號系統，我不知道有什麼好方法做自然語言理解，因為這似乎忽略了認知科學（語言學）的整個領域。雖然深度學習在機器翻譯領域中取得了長足進展，但在智慧對話領域做的並不夠好。

老實說，我看不出有什麼原則性的理由將符號系統排除在通用人工智慧的工具之外；你當然也沒這樣說。但市面上的軟體絕大部分仍然由符號程式碼組成，為什麼你會希望將如此明顯有價值的工具排除在實現通用人工智慧的方法之外？

我認為你高估了一站式購物的概念。當然，如果能有一個單一的架構可以實現所有的認知是很好的，但是我認為這種期望是不現實的。認知/通用智慧是由許多不同挑戰組成的多維事物。現成的深度學習非常擅長感知分類，這是任何智慧生物都可以做的一件事，但不太適合（目前構成的）其他性質迥異的問題。將一組實體對映到一組預先確定的類別上（正如深度學習所做的那樣）並不等同於從無限數量的句子中生成新的解釋，也不等同於制定一個跨越多個時間尺度的計劃。我們沒有特別的理由認為深度學習可以很好地解決後兩類問題，也不必認為每個問題都是相同的。

在生物學中，像人類這樣複雜的生物，我們會發現許多不同的大腦區域，有著微妙不同的基因表達模式；大多數解決問題的方法都依賴於神經體系結構的不同子集，這些子集非常適合這些問題的性質。在具有不同計算強度的系統之間選通似乎是人類智慧的本質；在我看來，期望複製完整的體系結構似乎是不切實際的。

在你的此前回應結尾處，你似乎暗示著由於大腦是一個神經網路，我們可以推斷出它不是一個符號操縱系統。但是，我們不知道大腦是哪種神經網路，並且我們從各種證據中知道神經網路可以（例如）直接實現（符號操縱）圖靈機。我們也知道，人類可以被訓練成為符號操縱者。每當受過訓練的人員進行邏輯、代數或物理學等工作時，很明顯，人腦（未知結構的神經網路）可以進行一些符號操作。真正的問題是，它有多重要？它如何在大腦中實現？

你對“神經網路”和“深度學習”有些含糊其辭。我不認為兩者是相同的概念，我認為深度學習只是構建和訓練神經網路的一種方式，但並不是唯一一種。它和人類大腦的工作方式相關，與未來合稱神經網路的工作方式相關。Fodor  and Pyl yshyn在實現連線主義（主張使用神經網路構建圖靈機器）和消除連線主義（eliminative connectionist，旨在構建不僅使用符號作業系統構建神經網路）兩者間做了明確的區分。我不懷疑任何對人工智慧的方式都可以在神經網路中實現，問題的關鍵是“神經網路的本質是什麼”。這 30年來，我一直堅稱，一個可以成功獲取一般智力的神經網路需要包括對變數的操作，就像最近一些可微程式設計所做的一些工作，而並非是一個簡單多層感知機所做的事情。

我覺得你 關注的因果關係太狹隘了。對一個因素對另一因素的影響程度進行定量估計是重要的，但也要有能得出因果推論的機制。例如，如何理解乳酪切絲器的哪一部分負責刨絲，刨絲器上孔的形狀如何與乳酪屑之間有何關係？僅僅指出孔洞和磨碎的乳酪間的某關聯程度是不夠的。這裡可能需要 結合某種更豐富的符號處理系統，比如函式和你現在所從事的工作，用來表示抽象的概念。

鴻溝

你實際上並沒有說出你對建立先驗知識想法的看法。對我來說，這個問題絕對是核心問題，但它在最新的深度學習研究中被忽略了。 我對你的先天（innateness）知識的看法以及你是否認為向深度學習加入更多的先驗知識成為向前發展的重要組成部分感到好奇。

爭論

有時你誤解了我，我認為如果你能對我的實際立場做出回應，對話將會得到改善，這好過於誤解。舉個例子，你似乎沒有意識到 Rebooting AI 需要做很多你做過的事情。你這樣說：

一個簡單的混合，其中的輸出是離散的深度網路，然後傳遞到一個GOFAI符號處理系統將不會有效果。為什麼？有很多原因：1、你需要在系統2和系統1進行學習，(2)你還需要表現出不確定性……”

實際上，Ernie Davis 和我有同樣的觀點：

“……手動編碼機器需要知道的所有東西可能是不現實的。機器將需要自己學習很多東西。我們可能想要“手動編碼”鋒利的硬刀片來切割柔軟的材料，但人工智慧應該能夠基於這一知識，學習刀、割草機和攪拌機的工作原理，但不需要對這些機器進行手動編碼。”

關於第二點，我們也強調了不確定性和GOFAI的弱點：

“我們一直在討論的那種邏輯只有一件事做得很好：它允許我們獲取我們確定的知識，並使用總是有效的規則來演繹我們也確信的新知識。如果我們完全確定 Ida 擁有一部 iPhone，而且我們確定蘋果生產 iPhone，那麼我們就可以確定Ida擁有蘋果生產的產品。但生活中有什麼是絕對確定的呢？

正如羅素所說：“人類所有的知識都是不確定的、不精確的、片面的。”然而，我們人類總有辦法做到。當機器最終能做同樣的事情，想人類那樣流暢、靈活、有力地表示和推理不確定、不準確、不完整的知識，廣義的人工智慧將最終出現。”

• 如你所見，我們在這類問題上的立場是一致的；在你上面的回應文章裡，你批評的是一個稻草人（strawperson），而不是我們的實際立場。
• 與此同時，我認為你還沒有認識到你自己的觀點已經有所改變；你在2016年發表的《自然》(Nature)雜誌上的論文比你目前的觀點尖銳得多，也承認對深度學習的限制要少得多。

我真誠地感謝你在Facebook上的回應；有時我真希望你能引用我的研究，而它能清晰預示你自己的研究。舉個例子，在最近的一篇ar Xiv論文中，在沒有引用的情況下，透過 關注這個問題來開啟你的論文:

“當前的機器學習方法在需要在訓練分佈之外泛化時顯得很弱……從與訓練資料相同的分佈中取樣的測試集上獲得良好的泛化能力是不夠的”。

這個挑戰正是我在1998年所寫的:

當前流行的消除連線主義（eliminative connectionist）模型無法將共性擴充套件到訓練空間之外。

這是2001年《代數思維》第三章的中心內容:

多層感知機不能將[某類通用量化的函式]推廣到訓練空間之外。在某些情況下，人類似乎可以自由地從受限制的資料中進行歸納，(在這些情況下)透過反向傳播訓練的某一類多層感知機是不合適的。

我曾多次在公開場合和私下裡試圖提醒你注意這一預想，但你從未回應或引用過這一工作，即使我試圖提醒你要注意的觀點已日益成為你的研究框架的核心。

儘管存在這些分歧，我仍然是你的粉絲，這既因為你一貫的、卓越的研究品質，也是因為你誠實且正直地承認了近年來深度學習的侷限性。我也很欣賞你將人工智慧應用於更偉大的人類福祉的方式，並真誠地希望更多的人將你作為榜樣。

如果你能把因果關係，比如人類表達因果關係的豐富形式引入到深度學習中，那將是對一般人工智慧真正持久的貢獻。我期待著你下一步的研究工作，並希望當我下次在蒙特利爾時有機會拜訪你。

祝好，

Gary Marcus

.com/@GaryMarcus/ the-current-state-of-ai-and-deep-learning-a-reply-to-yoshua-bengio-77952ead7970

.com/@GaryMarcus/bengio-v-marcus- and- the-past-present- and-future-of-neural-network-models-of-language-b4f795ff352b