深度學習大神Hinton推翻自己30年的學術成果另造新世界

AI科技大本營發表於2017-10-30

作者|胡永波

Hinton,這個以“深度學習之父”和“神經網路先驅”響徹AI領域的名字,他的一舉一動,都是熱點導向。

當我們遠望一位頂級人物時,除了他的學術,也許,我們更應該關注到他的內心與靈魂。

到底是何等的心境,成就了這位偉大的人物。

就在最近,當這位70歲的老爺爺,毫不掩飾地敢於推翻自己花了30多年才建立起來的深度學習帝國時,我被這個偉大的靈魂感染了,感動了。

試問,當你處在人生的巔峰時,你敢不敢對自己的過去提出質疑,敢不敢勇敢地跳出舒適區,敢不敢拋棄世俗的壓力,敢不敢在已年滿70歲高齡時重新追求新的目標?

這才是偉大與普通在靈魂上的差別。在Hinton質樸的眼神裡,我們看到的是平常心,卻又是那麼高處不勝寒練就的巔峰體驗。

這幾日,Hinton被刊進各大媒體的頭版頭條,是因為他的那篇Capsule論文,終於揭下了神祕的面紗。

在論文中,Capsule被Hinton大神定義為這樣一組神經元:其活動向量所表示的是特定實體型別的例項化引數。他的實驗表明,鑑別式訓練的多層Capsule系統,在MNIST手寫資料集上表現出目前最先進的效能,並且在識別高度重疊數字的效果要遠好於CNN。

該論文無疑將是今年12月初NIPS大會的重頭戲。

不過,對於這篇論文的預熱,Hinton大神可是早有準備。

一個月前,在多倫多接受媒體採訪時,Hinton大神斷然宣稱要放棄反向傳播,讓整個人工智慧從頭再造。不明就裡的媒體們頓時蒙圈不少。

8月份的時候,Hinton大神還用一場“卷積神經網路都有哪些問題?”的演講來介紹他手中的Capsule研究,他認為“CNN的特徵提取層與次抽樣層交叉存取,將相同型別的相鄰特徵檢測器的輸出彙集到一起”是大有問題的。當時的演講中,Hinton大神可沒少提CNN之父Yann LeCun的不同觀點。

畢竟,當前的CNN一味追求識別率,對於影象內容的“理解”幫助有限。而要進一步推進人工智慧,讓它能像人腦一樣理解影象內容、構建抽象邏輯,僅僅是認出畫素的排序肯定是不夠的,必須要找到方法來對其中的內容進行良好的表示……這就意味著新的方法和技術。

而當前的深度學習理論,自從Hinton大神在2007年(先以受限玻爾茲曼機進行訓練、再用有監督的反向傳播演算法進行調優)確立起來後,除了神經網路結構上的小修小改,很多進展都集中在梯度流上,正如知乎大V“SIY.Z”在《淺析Hinton最近提出的Capsule計劃》(zhuanlan.zhihu.com/p/29435406)時所舉的例子(為了方便大家閱讀這篇文章,營長將具體內容附在文章末尾):

sigmoid會飽和,造成梯度消失。於是有了ReLU。

ReLU負半軸是死區,造成梯度變0。於是有了LeakyReLU,PReLU。

強調梯度和權值分佈的穩定性,由此有了ELU,以及較新的SELU。

太深了,梯度傳不下去,於是有了highway。

乾脆連highway的引數都不要,直接變殘差,於是有了ResNet。

強行穩定引數的均值和方差,於是有了BatchNorm。

在梯度流中增加噪聲,於是有了 Dropout。

RNN梯度不穩定,於是加幾個通路和門控,於是有了LSTM。

LSTM簡化一下,有了GRU。

GAN的JS散度有問題,會導致梯度消失或無效,於是有了WGAN。

WGAN對梯度的clip有問題,於是有了WGAN-GP。

而本質上的變革,特別是針對當前CNN所無力解決的動態視覺內容、三維視覺等難題……進行更為基礎的研究,或許真有可能另闢蹊徑。

這當然是苦力活,Hinton大神親自操刀的話,成功了會毀掉自己賴以成名的反向傳播演算法和深度學習理論,失敗了則將重蹈愛因斯坦晚年“宇宙常數”的覆轍。所以,李飛飛對他在這裡的勇氣大為讚賞:

深度學習大神Hinton推翻自己30年的學術成果另造新世界

如今Capsule的論文剛剛出來,深度學習的各路大神並沒有貿然對其下評論,深夜中的外媒亦尚未就此發稿,甚至就連技術圈內一向口水不斷的Hacker News,今天也是靜悄悄地一片。

不過,可以肯定的一點是,一個月後的NIPS大會,Capsule更進一步的效果必定會有所顯現,AI科技大本營也一定會繼續跟進這裡的進展。

至於Hinton此舉對於深度學習和整個人工智慧界的後續影響,包括Yann LeCun在內的各路大神恐怕都不敢冒下結論,以營長的水平,在這裡連翻譯和解析論文都顯得多餘(論文在這裡arxiv.org/abs/1710.09…,感興趣的話可自取)。我們們還是靜等時間來驗證Hinton大神的苦心孤詣到底值不值得吧。

這正如Hinton大神在接受吳恩達採訪時所說的:

如果你的直覺很準,那你就應該堅持,最終必能有所成就;反過來你直覺不好,那堅不堅持也就無所謂了。反正你從直覺裡也找不到堅持它們的理由。

當然,營長肯定是相信Hinton大神的直覺的,更是期待人工智慧能在當前的水平上更進一步。

儘管意義不同,Hinton大神此舉卻讓營長想到了同在古稀之年的開爾文勳爵,他1900年那場關於物理學“兩朵烏雲”的演講可是“預言”得賊準:“紫外災難”讓年近不惑的普朗克為量子力學開創了先河,“以太漂移”讓剛剛畢業的愛因斯坦開始思考狹義相對論,經典物理學的大廈就此崩塌。

那麼,人工智慧上空所飄蕩的到底是一朵“烏雲”呢?還是一個新的時代?讓我們拭目以待。


相關文章