選自IEEE Spectrum
作者：Eliza Strickland
機器之心編譯
參與：魔王、張倩
一個普通的深度學習模型動不動就需要十萬、百萬級的資料，但即使投餵了這麼多資料，一個自動駕駛系統也很容易被一張貼紙攻破……2019 年，我們看到深度學習受到越來越多的質疑，Gary Marcus 等批評者甚至認為，「深度學習不起作用」。在如此強烈的質疑聲中，深度學習將何去何從？2018 圖靈獎獲得者之一 Yoshua Bengio 在 IEEE 的訪談中表達了他對深度學習未來發展的看法。
他認為，AI 系統應該具備 推理、規劃和想象的能力， 因果推斷、注意力、元學習、掌握物理規律對於未來深度學習的發展都非常重要。此外，對於Gary Marcus 的質疑，Bengio 回應道，「 我關注的是解決問題需要探索什麼，而不是誰對誰錯」。
Yoshua Bengio 是深度學習「三劍客」之一，深度學習正是如今人工智慧領域的主流。
Bengio 在蒙特利爾大學擔任教授，他在神經網路的應用方面做出了巨大貢獻，同樣重要的是，他還在神經網路無人問津的漫長 AI 寒冬（1980 年代末及 1990 年代）中堅持神經網路研究工作。
為此，他與另外兩位「劍客」——Geoffrey Hinton 和 Yann LeCun 榮獲 2018 年圖靈獎，該獎項被譽為「計算機界的諾貝爾獎」。
今天，人們對於深度學習缺陷的討論越來越多。IEEE Spectrum 與 Bengio 就深度學習領域該走向何方進行了對談，Bengio 在 NeurIPS 2019 大會上也作了類似主題的報告《From System 1 Deep Learning to System 2 Deep Learning》。
報告地址：
深度學習及其缺陷
關於對深度學習侷限性的討論，您有什麼看法？
Yoshua Bengio：很多面向公眾的會議不瞭解 AI 等學科的科研方式：我們盡力去了解目前已有理論和方法的侷限性，進而擴充套件我們的智力工具所能到達之範疇。因此，深度學習研究者正在尋找那些運轉未達預期之處，這樣我們就可以知道需要新增什麼、探索什麼了。
一些人（如 Gary Marcus）借用這一現象表達「看啊，深度學習沒用。」但事實上，像我這樣的研究者正在做的是 擴充套件深度學習的邊界。當我談到「 AI 系統需要理解因果關係」時， 我並不認為它會取代深度學習。我只是嘗試向工具箱裡多新增一些東西。
作為科學家，我關注的是解決問題需要探索什麼，而不是誰對誰錯。
您如何評價深度學習的現狀？
Yoshua Bengio：根據近二十年的進展，我認為 人工智慧的水平遠遠落後於兩歲小孩， 有些演算法的感知水平相當於低等動物。就允許實體探索周遭環境的工具方面，我們正在逐漸前進。
現在最大的爭論之一是：哪些元素構成更高階的認知？因果關係是其中之一，推理和規劃、想象以及信用分配（credit assignment）都是。在經典 AI 中，研究者嘗試利用邏輯和符號獲取這些元素。有些人認為經典 AI 可以實現這一目標，或者至少有一些進展。
也有一些人，比如我，認為 我們應該利用近年構建的工具建立類似於人類推理方式的功能，這實際上與基於搜尋的純邏輯系統相去甚遠。
腦啟發計算時代的到來
如何建立類似於人類推理的功能？
Yoshua Bengio：注意力機制將計算聚焦於某些元素，一組計算。人類就是這樣的，這是意識處理（conscious processing）的重要部分。當你意識到某事時，你會著重某些元素，或者某個想法，然後再轉到另一個想法上。這與標準的神經網路差別很大，後者是大規模並行處理。 注意力機制幫助我們在計算機視覺、翻譯和記憶方面實現巨大進步，但是我認為這只是另一種風格的腦啟發計算的開端。
這並不表示我們解決了問題，我認為我們具備了足夠多的工具可以開始解決問題了。這並不表示會很容易。2017 年我寫了一篇論文《The Consciousness Prior》來解釋這一問題。我的幾個學生正在研究這一主題，我認為這將是一項長期工程。
還有哪些人類智慧的其他方面是您想在 AI 中複製的嗎？
Yoshua Bengio：這就要談到神經網路的想象能力了：推理、記憶和想象是人腦思維的三個方面。當你回憶過去或者暢想未來時，你就是在推理。如果你預測未來會發生一些不好的事情，你會作出一些改變，這就是規劃過程。這一過程也涉及記憶，因為你需要回顧已知的事實進而做出判斷。你從現在和過去中選出相關聯的事實。
注意力是其中的關鍵模組。比如我正在翻譯一本書。在翻譯每一個單詞時，我都要仔細檢視書中的一小部分內容。注意力允許你遠離大量無關細節，專注於相關的內容。選擇相關元素，這就是注意力所做的事情。
那麼對機器學習而言，這對應怎樣的過程呢？
Yoshua Bengio：你不用告訴神經網路需要注意什麼，這就是它的神奇之處。神經網路能夠自學，學習應對一組可能元素中的每一個元素賦予多少注意力或權重。
學習如何學習
您最近關於因果關係的研究與此有何關聯？
Yoshua Bengio：推理所使用的高階概念很可能是因果變數。你不會基於畫素推理，而是基於「門」、「門把手」、「開」、「關」這樣的概念進行推理。 因果關係對於機器學習的未來發展非常重要。
這與深度學習中更關注人類思維的另一個主題相關。系統泛化（systematic generalization）是人類泛化已知概念的能力，這樣才能以從未見過的新方式連線這些概念。目前，機器學習無法做到這一點。因此你常常遇到與在特定資料集上訓練模型有關的問題。假如你在一個國家中訓練，然後到另一個國家部署，你需要泛化和遷移學習。如何訓練神經網路，使其遷移至新環境後能夠繼續良好運轉或者快速適應呢？
獲取這種適應性的關鍵是什麼？
Yoshua Bengio：元學習是現在很熱的一個話題， 元學習即學習如何學習。1991 年我就該主題寫過一篇論文《Learning a synaptic learning rule》，但直到最近我們才有足夠的算力來實現它。元學習的計算成本很高。其思路是：要想泛化至新環境，你必須練習對新環境的泛化。看起來很簡單，連孩童都一直在做這件事。小孩從一個房間到另一個房間時，環境不是靜止的，而是變化的。此時，小孩訓練自己來快速適應環境。為了高效訓練，他們利用過去獲得的知識碎片。我們正在理解這項能力，並構建工具來複制它。
對深度學習的一個批評是：需要海量資料。如果你只為一項任務訓練模型的話，那麼這話屬實。但是小孩都可以基於非常少的資料學習，他們利用之前學到的東西。但更重要的是，他們利用適應和泛化的能力。
「這些想法還不能用於工業」
這些想法會很快應用於現實世界嗎？
Yoshua Bengio：不會。這些都是很基礎的研究問題。我們仍處於研究階段。我們可以對這些想法進行 debug，轉移到新的假設，但它們無法在短時間內用於工業界。
不過，對於工業界關心的兩個實際問題，這項研究或許可以提供幫助。一個問題是構建能夠適應環境變化的穩健系統。另一個問題是：如何構建自然語言處理系統、對話系統和虛擬助手？當前最優的深度學習系統存在的問題是：基於海量資料訓練得到，但無法真正理解所處理的語言。Gary Marcus 等人藉此表示：「這可以證明深度學習無用。」而像我這樣的人會反駁：「 有意思，我們來解決這個難題吧。」
物理、語言和常識
聊天機器人如何才能變得更好？
Yoshua Bengio：最近，grounded language learning 吸引了大家的注意力。其想法是：AI 系統不應僅從文字中學習，還應該學習世界的運轉方式以及如何用語言描述世界。問問自己：如果一個孩子只透過文字與世界互動，那他能夠理解世界嗎？我認為很難。
這就涉及意識和無意識知識了，後者即我們知道但無法命名的東西。直觀物理即是一例。兩歲的小孩能夠理解直觀物理，即使他們不知道牛頓定理，也能理解重力等概念。 現在很多人嘗試構建可與世界互動並發現物理學基本規律的系統。
為什麼對物理學的基本把握有助於對話？
Yoshua Bengio：語言的問題通常在於系統無法真正理解單詞所指的複雜性。以 Winograd Schema 挑戰賽中的句子為例，要想理解它們，你必須捕捉物理知識。有很多句子類似於「Jim wanted to put the lamp into his luggage, but it was too large.」（吉姆想把檯燈放進行李箱，但檯燈太大了。）你知道如果物體太大無法放進行李箱，那麼第二個小句的主語「it」一定指的是這個物體（而不是行李箱）。你可以透過單詞溝通這類知識，但這與「The typical size of a piece of luggage is x by x.」無關。
我們需要能夠理解世界的語言理解系統。目前，AI 研究者正在尋找捷徑，但是還不夠。 AI 系統還需要掌握世界如何運轉的模型。