谷歌 I/O 2019 大會的第三天，圖靈獎得主、 Google Brain 高階研究員 Geoffrey Hinton 同《連線》雜誌主編 Nicholas Thompson 進行了一場對話訪談。對話中， Hinton 回顧了他 40 年探索深度神經網路的經歷，並概述了他對膠囊網路的最新研究。

Geoffrey Hinton ，被譽為“神經網路之父”“深度學習鼻祖”，如今 AI 領域無人不知的“大神”。然而他的學術研究之路卻並非一帆風順。

上世紀 80 年代， Hinton 提出了人工神經網路作為機器學習研究的想法，當時的計算力還不足以處理複雜演算法，也沒有大量的資料，幾乎所有研究人員都不看好他的觀點。這類研究在主流學術圈中是“邊緣課題”。

只有 Hinton 和少部分研究員在研究神經網路的工作原理。 Hinton 回憶道，當時的處境十分艱難，就算到了 2004 年，距他們最初開發出 “反向傳播網路 Back-propagation Network ” 演算法已經過去 20 年，學術界和工業界的絕大部分研究者還是不感興趣。

（來源：YouTube ）

Hinton 在訪談中吐露了他一直堅持研究神經網路的原因。“人腦工作只有一種方式——透過學習神經元之間的連線強度來運作。如果想讓計算機變得智慧，只有兩個選擇，程式設計或者讓機器自己學習。排除程式設計，我們只能想辦法讓機器學習。”因此他堅信，模擬人腦工作的人工神經網路一定是實現機器智慧的正確方式。

圖靈預言的堅信者

在整個宇宙中，人類大腦是最複雜的物體之一，包含大約 1000 億個互相連線的神經元。人們透過視覺、聽覺、嗅覺、味覺和觸覺從外部世界感知的一切，都是這些神經元之間透過突觸傳遞訊號完成的。然而，大腦中的深層機制仍然是神秘的，研究人員要想完全理解神經元內部運作過程還有很長的路要走。

圖 | 計算機先驅艾倫·圖靈（來源：AFP）

不過，這並沒有阻止電腦科學家試圖模擬大腦執行機制來打造機器智慧。Hinton 指出，計算機先驅艾倫 · 圖靈在 70 年前就提出大腦是一個沒有組織、透過權重隨機連線的二元神經網路。圖靈認為機器獲取智慧的最佳途徑就是模仿人類大腦，這引領了神經網路機器系統的發展。20 世紀 80 年代，Hinton 提出的反向傳播演算法實現了神經網路的歷史性突破，這種演算法能夠有效地訓練人工神經網路並顯著提高其效能。

20 世紀 90 年代，資料集相對較小，計算力也遠不如現在這麼強大，深度學習進展在很大程度上停滯不前。在小資料集處理上，使用少量標記資料可以有效判別分類的支援向量機（support vector machines）比神經網路效果更好。很多曾經支援圖靈想法的研究員都開始退縮了，但這並沒有動搖 Hinton 對神經網路的信念。他從未想過要放棄深度神經網路的研究。

Hinton 在訪談中講到：“大腦神經元執行機制必須要弄清楚，也許還有很多學習神經元連線強度的方法，大腦用了其中一種，也會有其他的方法。但是總得學會一種方法，我從沒有懷疑過這一點。”

深度神經網路迎來突破

在 20 世紀 80 年代，如果神經網路中有很多隱藏層，通常沒有辦法訓練。Yann LeCun 發明的卷積神經網路（CNN）只能訓練簡單的任務，比如實現機器讀取手寫任務，對於大部分深度神經網路，根本不知道如何訓練。

圖 | 2018 年圖靈獎得主 Yann LeCun 、Geoffrey Hinton 和 Yoshua Bengio （從左至右）

直到 2006 年，Hinton 發表了一篇 “深度信念網路的快速學習演算法（A fast learning algorithm for deep belief nets ）之後，深度學習才開始快速發展起來。這篇論文展示了具有許多隱藏層的深層信念網路如何生成一個能識別出手寫數字且表現良好的模型。之後，Hinton 在 2012 NIPS 上發表的論文又提出了 AlexNet 模型，在圖片識別上取得了重大突破，他多年研究工作的重要性才被整個工業界認可。

一些深度神經網路的突出應用，特別是在自然語言處理領域，甚至讓 Hinton 都感到驚訝：“如果你在 2012 年和我說，在接下來的 5 年時間裡，要用相同的技術實現在多種語言之間互相翻譯的效果，Recurrent Net（迴圈神經網路），但如果只是隨機初始權重的隨機梯度下降，我不相信能實現。”

“99.9％的信心”

今天，在視覺處理、語音識別等人類利用感官感知做的活動中，人工神經網路已經表現出強大的優勢，甚至在人類擅長的運動控制方面，深度學習也最終將會取勝。

Hinton 強調，他不是在研究計算神經科學，人工神經網路之所以有效，是因為受到大腦神經元之間有很多聯絡、並且改變了連線強度這一事實的啟發。

Hinton 認為抽象推理是人工神經網路通向人類智慧需要克服的最後一個障礙。

記者問到，人類大腦中是否存在一些奧秘是神經網路無法捕捉到的？比如意識、情感、愛等。

Hinton 的回答是不存在。他解釋道，“一百年前，人們對生命的的理解是所有生物都有生命力，一旦死去，生命力就飄走了。但是我們懂了生物化學、分子生物學，就不需要 “生命力” 來解釋生命了。我覺得‘意識’也是這個道理，‘意識’是用某種‘特殊的本質’來嘗試解釋心理現象，而一旦我們用科學解釋了意識，你就不需要這種‘特殊的本質’了。

換句話說，一旦等到真正理解了大腦是如何工作的，人類大腦生成的任何東西都可以透過功能完備的人工神經網路重建。

Hinton 對此有“99.9％的信心”。

膠囊網路的最新研究

Hinton 告訴《連線》記者，他目前正在做的研究稱之為“膠囊（capsules）”，是關於如何運用重建（reconstruction）進行視覺感知的理論，以及如何將資訊傳遞到正確的位置。在標準神經網路中，資訊，也就是網路層的活動，都是隨機去向某個地方，膠囊的作用是決定資訊傳送到哪裡。

目前谷歌的一些研究人員也在做同樣的事情，他們發明了 transformer 模型，正在研究怎樣規劃資訊路線。

推動膠囊研究的另一個東西是座標系。人類在做視覺感知時，需要使用座標系。如果在物件上施加了錯誤的座標系，甚至不能識別該物件。對於人類而言，座標系對於感知非常重要。Hinton 說，“膠囊網路也許可以運用到其他領域，但我對視覺識別的應用很感興趣。”