雖然曾經遭受質疑甚至嘲笑，但 2018 年度圖靈獎獲得者 Geoffrey Hinton、Yann LeCun 和 Yoshua Bengio 一直在他們的研究生涯中不斷髮展人工神經網路，其研究成果已成為了從搜尋到內容過濾等領域不可或缺的組成部分。所以，當前炙手可熱的深度學習和人工智慧領域究竟怎麼樣呢？下面，三位人工智慧領域的「大佬」將與大家分享一些令人振奮的發現以及依然存在的一些問題。
現在關於人工智慧的討論遠多於您剛開始研究生涯的時候——有些您可能聽說過，有些可能沒有。那麼，您希望人們不再問哪些問題呢？
GEOFFREY HINTON ：「神經網路只是一場泡沫嗎？」以前，人工智慧業內人士給出很大的承諾，而這些承諾有時被證明只是一場空談。但是，神經網路遠不止給出承諾那麼簡單。這項技術確確實實在發揮作用，並且能夠縮放。當你提供更多資料和一臺執行速度更快的計算機時，神經網路效能會自動提升，而不需要任何人再多寫幾行程式碼。
Geoffrey Hinton
YANN LECUN ：的確是這樣。深度學習的基本理念並沒有消失。但當人們問我們，讓機器變得更智慧的方法是不是隻有簡單地擴充套件現有方法時，這的確令人沮喪。我們需要一些新的正規化。
YOSHUA BENGIO : 當前技術得益於之前很多年的工業和科學應用累積。比如說，我們三個都是研究者，但常常迫不及待地想要開發更多新技術，因為我們離人類水平的人工智慧以及理解自然或人工智慧原理的夢想還差得遠呢。
Yoshua Bengio
哪些方面沒有得到充分討論？
HINTON ：人工神經網路會告訴我們大腦如何工作嗎？人們會問這個問題，但問的人還不夠多。
BENGIO ：是的。不過遺憾的是，雖然深度學習從大腦和認知中汲取靈感，但很多相關領域的工程師目前並不關心這些主題。這也不難理解，因為只要能夠把技術應用到工業中，其它東西都彷彿不重要了。但就研究而言，如果我們不能與那些努力理解大腦工作原理的研究人員保持聯絡，則是一大損失。
Yann LeCun
HINTON ：也就是說，神經科學家現在正在認真對待這個問題。多年來，神經科學家一直在說：「人工神經網路與真正的大腦一點也不像，它們並不能告訴我們任何有關大腦如何工作的東西。」但現在，這些神經科學家正在認真考慮大腦中存在反向傳播這種東西的可能性，這是一個非常令人興奮的領域。
LECUN ：現在，幾乎所有關於人類和動物視覺的研究都使用卷積網路作為標準概念模型。這種情況最近才出現。
HINTON ：我認為人工神經網路還會慢慢地對社會科學產生巨大的影響，因為它能夠改變我們對人自身的看法。我們過去認為人是理性存在的，並且人的特別之處在於能夠藉助推理來得出結論。現在，我們對人有了更好的理解，即人基本上是能夠做出大量類比的機器。人發展這些表徵的過程非常緩慢，之後這些表徵決定了人所能做出的類比種類。當然，我們可以做出推理，並且如果沒有推理則發展不出數學，但這並不是基本的思考方式。
作為具有開創性研究的學者，您似乎常常不滿足自己現有的成績。
HINTON ：在我看來，那些發明了當前標準技術的人雖然會有一些特殊之處，但他們並沒有什麼天賦異稟，並且還可能存在一些更好的技術。但是，當一個領域已經有了一種標準的做事方式時，那麼進入該領域的人不會理解這種標準的做事方法是多麼的武斷。
BENGIO ：有時候，學生在談論神經網路的時候就好像是在描述《聖經》一樣。
LECUN ：標準的方法可能會造成教條主義。而且，一些最有創意的想法可能是由年輕人提出來的。
該領域已經取得了一些令人矚目的進展。20 或者 30 年前，哪些可能發生的事物會讓您感到驚訝呢？
LECUN ：讓我感到驚訝的東西太多了。比如，深度學習革命開始得太晚了，而開始革命後它發展的速度也太快了。我本來希望神經網路的發展更加地循序漸進，但遺憾的是，人們在 20 世紀 90 年代中期到 21 世紀前 10 年中期完全放棄了神經網路。我們有證據表明神經網路之前就發揮過作用。但這一觀點被證明之後，神經網路的發展開始變得勢不可擋：先是在語音識別領域，然後是影象識別，現在已經擴充套件到自然語言理解領域了。
HINTON ：20 年前，如果有人可以提取一種語言中的句子，將它分割為小的單詞片段，然後將其輸入一個始於隨機連線的神經網路，然後訓練這個神經網路，神經網路再將這個句子翻譯成另一種語言，而不需要任何語法或語義知識——完全沒有運用到語言知識——並且翻譯效果比任何其它工具都好。這會讓我非常驚訝。雖然這種翻譯並不完美，不如雙語人才，但它已經在做得越來越好。
LECUN ：令我驚訝的還有這些技術應用到很多產業中的速度，也是如此之快。如果現在你從谷歌或 Facebook 中移除深度學習，則兩家公司會陷入癱瘓。它們完全是圍繞深度學習來構建的。當我加入 Facebook 時，令我感到驚訝的是該公司有一個小組使用卷積網路來研究人臉識別。當時我對卷積網路的第一感覺是它們可能對分類的識別有用：汽車、狗、貓、飛機和桌子，而不適用於人臉等細粒度目標識別。但結果證明卷積網路非常有效，並且現在完全成為了標準。另一件令我感到驚訝的是 Yoshua 實驗室中開發的生成對抗網路——人們基本上可以將神經網路作為生成模型使用，以生成影象和聲音。
BENGIO ：在我攻讀博士期間，我曾竭盡全力擴充套件自己的想法，即神經網路的作用不是僅限於模式識別——將固定大小的向量作為輸入並生成類別。但直到最近的翻譯研究才讓我們擺脫了這種固有認識。正如 Yann 所說，網路生成新事物的能力的確已經出現革命性的變化。所以神經網路有能力操縱任何種類的資料結構，而不僅僅是畫素和向量。以傳統的觀點來看，神經網路只限於執行那些人類可以快速且無意識完成的任務，如目標和影象識別。現代神經網路在本質上有別於我們在 20 世紀 80 年代所以為的那樣，這些神經網路現在能做的事情更加接近我們推理以及程式設計時所做的事情。
儘管已經取得了這麼多成就，Yoshua，您曾討論過促使發展中國家更容易獲取神經網路技術的緊迫性。能夠談談這些嗎？
BENGIO ：我認為這個問題非常重要。我以前沒有考慮太多的政治問題，但機器學習和人工智慧已經從大學的象牙塔裡走出來了。我認為我們有責任考慮這個問題，並參與到關於人工智慧用法的社會和政治討論中去。其中一個問題是，專業知識和技能、財富和技術將集中在哪裡？這些是否由少數國家、少數公司以及一小群人集中掌控？或者是否有方法使人們更容易獲取這些？特別是在一些它們能夠對更多人產生更大影響的國家。
HINTON ：谷歌已經開源了發展神經網路的主要軟體，這就是大家所稱的 TensorFlow。人們還可以使用特殊的谷歌硬體在雲端建立神經網路。所以，谷歌正努力促使更多的人獲取並使用這項技術。
LECUN ：我認為這是非常重要的一點。深度學習社群在這一方面已經做得很好了。具體而言，在學術界有學術會議公開發表論文和評審，在業界有谷歌和 Facebook 等公司開源其絕大多數自己編寫的軟體，併為他人提供工具以便他們在這些軟體的基礎上進一步構建。所以，任何人都可以復現其他人的研究，有時幾天內就可以完成。任何頂級研究組織都不可能在任何特定主題上領先其他人幾個月。重要的問題是這個領域的整體進展速度有多快。因為對於我們真正想要構建的東西——能夠回答任何問題且在現實生活中為我們提供幫助的虛擬助手，我們不僅缺少相關技術，還缺少一些基本的科學原理。我們越快地促使整個研究社群致力於此，則對我們所有人來說越好。
原文連結：https://cacm.acm.org/magazines/2019/6/236987-reaching-new-heights-with-artificial-neural-networks/fulltext