深度學習“見頂”不等於AI寒冬

深度學習“見頂”不等於AI寒冬

 

 

儘管新的演算法模型在推動AI向前發展，但並不意味著它們的前景可以預見，也不意味著深度學習“不可救藥”。

在當前的第三次人工智慧（AI）浪潮之中，深度學習演算法被認為是迄今為止“最為重大的AI革命”。此說法或許有所誇大，但深度學習對這一輪AI的大爆發而言的確功不可沒。然而，最近以來，關於深度學習演算法是否已經“見頂”“觸底”的討論逐漸增多，“AI或將再度進入寒冬”的說法也一度甚囂塵上。果真如此嗎？

 

《中國科學報》記者透過檢索和採訪瞭解到，類似上述說法可前溯至2018年6月初，多家行業媒體在移動網際網路平臺上轉發了作者資訊顯示為“Koh Young Technology 公司首席AI 科學家Filip Piekniewski”的文章《AI的寒冬將來臨》。該文從深度學習“聲勢已大幅減弱”“不具有擴充套件性”“自動駕駛事故不斷”三個角度得出結論：“深度學習將大幅降溫”“預測AI的冬天就像預測股市崩盤——不可能準確地預測何時發生，但幾乎可以肯定的是，它會在某個時點發生。”

 

最近討論“深度學習是否觸底”的文章，則來自於一家名為“Towards Data Science”的媒體平臺。1月中旬，一篇作者署名為Thomas Nield、題目被譯作“歷史總是在重演，AI寒冬或再來”的文章再提“AI寒冬”，論據再次指向“深度學習的天花板”。在此文中，作者認為“我們的確需要降低期望並停止宣傳‘深度學習’的能力了。否則，我們可能會發現自己陷入另一個AI 寒冬”。

 

被推向神壇的深度學習，怎麼突然“生”出這麼多缺陷？

 

深度學習確有先天缺陷

 

相比盲目甩鍋“自動駕駛事故不斷”，人工智慧科學家、地平線創始人兼執行長餘凱在指出深度學習在自動駕駛領域的侷限之前，首先肯定其貢獻，“深度學習對於自動駕駛的作用，行業內已一目瞭然”。

 

“ 現在業內強調的是，深度學習已不是唯一。” 餘凱在接受《中國科學報》採訪時表示， 在自動駕駛領域，深度學習的侷限在於，僅在感知方面發揮作用，而對於異常情況處理等方面的應用效果並不理想。

 

不僅是自動駕駛，在近兩年大熱的“AI+醫療”領域，深度學習演算法也遭遇了難以再進一步的困境。

 

“ 現在深度學習解決臨床問題的基本思路，沒有太大突破。” 科大訊飛醫療資訊科技有限公司總經理陶曉東告訴《中國科學報》， 這波人工智慧過度依賴資料，忽略了很多資料之外的資訊，“在醫療領域尤其如此”。

 

“ 許多醫學理論，比如基本的解剖資訊都沒有用在深度學習的框架裡。” 陶曉東認為，這導致AI不能在資料不完全的情況下從更多維度逼近真相，“你不可能有像ImageNet那樣地訓練資料”。區別於上述行業應用中的問題，南京大學電腦科學與技術系主任、人工智慧學院院長周志華認為從學術理論本身出發，深度學習（或深度神經網路）有其固有缺陷。

 

“ 神經網路有很多缺陷。”周志華在2018年的一次主題為“關於深度學習一點思考”的分享中明確提到，“凡是用過深度神經網路的人都知道，要花大量的精力來調引數，因為這是一個巨大的系統。這會帶來很多問題，首先調引數時，經驗是很難共享的；這帶來第二個問題——不管是科學研究、技術發展，都希望結果可重複，而在整個機器學習領域裡面，深度學習的可重複性是最弱的。”

 

他舉例說，經常會遇到這樣的情況： 有一組研究人員報告了一個結果，但其他的研究人員很難重複——哪怕用同樣的資料、同樣的方法。

 

 

可以不必是深度學習

 

深度學習能夠成功，對以下三個先決條件的滿足不可忽視：更多的資料、更強力的計算裝置以及很多有效的訓練技巧 —— 這幫助人們利用高複雜度的模型，深度神經網路恰恰就是一種便於實現的、高複雜度的模型。

 

周志華解釋說，這背後的邏輯是，當選擇使用一個深度模型的時候，得到的結果容易“過擬合”，因此就要使用足夠大的資料來訓練模型，使其得到的“規律”符合一般規律；而這不但需要訓練技巧，還要考慮到如此做會導致系統計算開銷非常大，因此要有強有力的計算裝置，如GPU等。

 

“ 深度神經網路最本質的東西到底是什麼？答案可能是表示學習的能力，這是真正重要的。”周志華認為，有了深度學習之後，人們不再需要手工設計特徵，把資料從一端扔進去、另外一端出來，中間所有的特徵完全透過“學習”來解決，就是所謂的特徵學習或表示學習，“這和以往的機器學習技術相比是一個很大的進步，我們不再完全依賴人類專家去設計特徵了”。

 

“ 表示學習或特徵學習最關鍵的是什麼？逐層的處理。” 因此，周志華認為，這也是深度神經網路得以成功的內因： 先是逐層處理，第二是“要有內部的特徵變換”。 “ 當我們考慮到這兩件事時，會發現其實深度模型是一個非常自然的選擇。有了這樣的模型，我們很容易可以做上面兩件事。”

 

演算法模型能夠逐層處理、具備特徵的內部變化，加之有足夠的複雜度，在周志華看來是深度神經網路“能夠成功的關鍵原因”。 從這個角度思考，周志華認為，如果滿足這幾個條件，就不一定只用深度神經網路，“神經網路是可選方案之一，只要同時做到這三點，別的模型也可以”。

 

“ 雖然神經網路很流行、很成功，但是，在很多的任務上效能最好的，不見得都是深度神經網路。” 周志華舉例說，比如備受關注的Kaggle 競賽（全球最大機器學習競賽社群），有各種各樣的真實問題，訂票、商品推薦等，許多獲勝者並不是深度神經網路，而是類似於隨機森林這樣的模型。

 

“ 靠神經網路獲勝的往往就是在影像、影片、聲音這幾類典型任務上，而涉及到混合建模、離散建模、符號建模的任務，神經網路的效能比其他模型還要差一些。 ” 周志華介紹說，他所領導的研究組提出一個 “ 深度森林”的演算法 ，該演算法模型在許多不同任務上得到與深度神經網路高度相似的結果，而在一些其他任務特別是跨任務的表現上非常好，可將同一套引數用在不同任務上，且該模型有自適應複雜度。

 

除此之外，記者瞭解到， 最近湧現出的一些新的演算法概念，如小資料學習、對抗網路（GAN）、膠囊網路技術等，也有望成為對深度學習短板的有效補充。

 

 

“ 寒冬”之說不客觀

 

值得一提的是，儘管新的演算法模型在推動AI向前發展，但並不意味著它們的前景可以預見，也不意味著深度學習“不可救藥”。餘凱就自動駕駛領域的應用向《中國科學報》舉例說，下一步，深度學習要基於規則方式，同貝葉斯網路結合，“從感知到決策階段，尤其是決策層面，貝葉斯網路規則的引入尤為重要”。

 

事實上，深度學習能夠得以如此流行，也經歷了長期的發展。周志華說，從卷積神經網路開始出現，到這個演算法真正在工業界取得巨大成效，中間經過了30 年的發展。

 

“ 我們其實沒有什麼真正的顛覆性技術，所有的技術都是一步步發展的。今天我們有新的探索，能夠解決一些問題，但從長遠看，在經過很多年、很多人的進一步努力後，今天的探索應該是為未來技術打下一個更加重要的基礎。”周志華表示。

 

從這個視角看來，AI寒冬之說顯得毫無客觀可言，至少餘凱認為如此，“ ‘ 風口’或‘寒冬’是這幾年不太真正從事人工智慧的人大量參與產生的聒噪和炒作而已，真正的AI專家都知道深度學習是AI的一個重要課題，但遠非全部 ” 。

 

深度學習及其衍生技術，是一個機器識別、仿生模態感知與機器理解能力從無到有的進步，在這個進步過程中，有大量的科技公司投注、國家與政府跟進，開啟了巨大的商業想象空間以及AI與各行各業結合的可能，儘管這些技術和市場需求相比滲透率還很低，但不能因其不是滿分，就打零分。退一步講，即使深度學習不再在技術端繼續增長，要把產業潛力釋放出來，也需要一個漫長的時間週期。

 

人工智慧奠基人之一、有“深度學習之父”美譽的Geoffrey Hinton作為曾經的AI寒冬親歷者，對這波“AI寒冬論”的回應更為直接。他說：“不，不會有AI寒冬。因為AI 已經滲透到你生活中了。在之前寒冬中，AI 還不是你生活的一部分，但現在它是了。”（趙廣立 貢曉麗）

 

《中國科學報》 (2019-01-24 第7版 資訊科技)

 

來源： 中國科學報