深度學習的困境，我們該何去何從？

來源：大資料文摘

本文 約3300字 ，建議 閱讀6分鐘 本文為你介紹深度學習陷入困境怎麼辦。

我們被困住了，或者說至少我們已經停滯不前了。有誰還記得上一次一年沒有在演算法、晶片或資料處理方面取得重大顯著進展是什麼時候？幾周前去參加Strata San Jose會議，卻沒有看到任何吸引眼球的新進展，這太不尋常了。

正如我之前所報告的那樣，似乎我們已經進入了成熟期，現在我們的主要工作目標是確保我們所有強大的新技術能夠很好地結合在一起（融合平臺），或者從那些大規模的VC投資中賺取相同的錢。

我不是唯一一個注意到這些的人。幾位與會者和參展商都和我說了非常類似的話。而就在前幾天，我收到了一個由知名研究人員組成的團隊的說明，他們一直在評估不同高階分析平臺的相對優點，並得出結論：沒有任何值得報告的差異。

我們為什麼和在哪裡陷入困境？

我們現在所處的位置其實並不差。我們過去兩三年的進步都是在深度學習和強化學習領域。深度學習在處理語音、文字、影像和影片方面給我們帶來了了不起的能力。再加上強化學習，我們在遊戲、自主車輛、機器人等方面都有了很大的進步。

我們正處於商業爆炸的最早階段，基於諸如透過聊天機器人與客戶互動來節省大量資金、個人助理和Alexa等新的個人便利應用、個人汽車中的二級自動化，比如自適應巡航控制、事故避免制動和車道維護。

Tensorflow、Keras和其他深度學習平臺比以往任何時候都更容易獲得，而且由於GPU的存在，比以往任何時候都更高效。

但是，已知的缺陷清單根本沒有解決：

• 需要太多標籤化的訓練資料。
• 模型的訓練時間太長或者需要太多昂貴的資源，而且還可能根本無法訓練。
• 超引數，尤其是圍繞節點和層的超引數，仍然是神秘的。自動化甚至是公認的經驗法則仍然遙不可及。
• 遷移學習，意味著只能從複雜到簡單，而不是從一個邏輯系統到另一個邏輯系統。

我相信我們可以列一個更長的清單。正是在解決這些主要的缺點方面，我們已經陷入了困境。

是什麼阻止了我們

在深度神經網路中，目前的傳統觀點是，只要我們不斷地推動，不斷地投資，那麼這些不足就會被克服。例如，從80年代到00年代，我們知道如何讓深度神經網路工作，只是我們沒有硬體。一旦趕上了，那麼深度神經網路結合新的開源精神，就會開啟這個新的領域。

所有型別的研究都有自己的動力。特別是一旦你在一個特定的方向上投入了大量的時間和金錢，你就會一直朝著這個方向前進。如果你已經投入了多年的時間來發展這些技能的專業知識，你就不會傾向於跳槽。

改變方向，即使你不完全確定應該是什麼方向。

有時候我們需要改變方向，即使我們不知道這個新方向到底是什麼。最近，領先的加拿大和美國AI研究人員做到了這一點。他們認為他們被誤導了，需要從本質上重新開始。

這一見解在去年秋天被Geoffrey Hinton口頭表達出來，他在80年代末啟動神經網路主旨研究的過程中#功不可沒。Hinton現在是多倫多大學的名譽教授，也是谷歌的研究員，他說他現在 "深深地懷疑 "反向傳播，這是DNN的核心方法。觀察到人腦並不需要所有這些標籤資料來得出結論，Hinton說 "我的觀點是把這些資料全部扔掉，然後重新開始"。

因此，考慮到這一點，這裡是一個簡短的調查，這些新方向介於確定可以實現和幾乎不可能實現之間，但不是我們所知道的深度神經網的增量改進。

這些描述有意簡短，無疑會引導你進一步閱讀以充分理解它們。

看起來像DNN卻不是的東西

有一條研究路線與Hinton的反向傳播密切相關，即認為節點和層的基本結構是有用的，但連線和計算方法需要大幅修改。

我們從Hinton自己目前新的研究方向——CapsNet開始說起是很合適的。這與卷積神經網路的影像分類有關，問題簡單來說，就是卷積神經網路對物體的姿勢不敏感。也就是說，如果要識別同一個物體，在位置、大小、方向、變形、速度、反射率、色調、紋理等方面存在差異，那麼必須針對這些情況分別新增訓練資料。

在卷積神經網路中，透過大量增加訓練資料和（或）增加最大池化層來處理這個問題，這些層可以泛化，但只是損失實際資訊。

下面的描述是眾多優秀的CapsNets技術描述之一，該描述來自Hackernoon。

Capsule是一組巢狀的神經層。在普通的神經網路中，你會不斷地新增更多的層。在CapsNet中，你會在一個單層內增加更多的層。或者換句話說，把一個神經層巢狀在另一個神經層裡面。capsule裡面的神經元的狀態就能捕捉到影像裡面一個實體的上述屬性。一個膠囊輸出一個向量來代表實體的存在。向量的方向代表實體的屬性。該向量被髮送到神經網路中所有可能的父代。預測向量是基於自身權重和權重矩陣相乘計算的。哪個父代的標量預測向量乘積最大，哪個父代就會增加膠囊的結合度。其餘的父代則降低其結合度。這種透過協議的路由方式優於目前的max-pooling等機制。

CapsNet極大地減少了所需的訓練集，並在早期測試中顯示出卓越的影像分類效能。

多粒度級聯森林

2月份，我們介紹了南京大學新型軟體技術國家重點實驗室的周志華和馮霽的研究，展示了他們稱之為多粒度級聯森林的技術。他們的研究論文顯示，多粒度級聯森林在文字和影像分類上都經常擊敗卷積神經網路和迴圈神經網路。效益相當顯著。

• 只需要訓練資料的一小部分。
• 在您的桌面CPU裝置上執行，無需GPU。
• 訓練速度一樣快，在許多情況下甚至更快，適合分散式處理。
• 超引數少得多，在預設設定下表現良好。
• 依靠容易理解的隨機森林，而不是完全不透明的深度神經網。

簡而言之，gcForest（多粒度級聯森林）是一種決策樹集合方法，其中保留了深網的級聯結構，但不透明的邊緣和節點神經元被隨機森林組與完全隨機的樹林配對取代。在我們的原文中閱讀更多關於gcForest的內容。

Pyro and Edward

Pyro和Edward是兩種新的程式語言，它們融合了深度學習框架和機率程式設計。Pyro是Uber和Google的作品，而Edward則來自哥倫比亞大學，由DARPA提供資金。其結果是一個框架，允許深度學習系統衡量他們對預測或決策的信心。

在經典的預測分析中，我們可能會透過使用對數損失作為健身函式來處理這個問題，懲罰有信心但錯誤的預測（假陽性）。到目前為止，還沒有用於深度學習的必然結果。

例如，這有望使用的地方是在自動駕駛汽車或飛機中，允許控制在做出關鍵或致命的災難性決定之前有一些信心或懷疑感。這當然是你希望你的自主Uber在你上車之前就知道的事情。

Pyro和Edward都處於開發的早期階段。

不像深網的方法

我經常會遇到一些小公司，他們的平臺核心是非常不尋常的演算法。在我追問的大多數案例中，他們都不願意提供足夠的細節，甚至讓我為你描述裡面的情況。這種保密並不能使他們的效用失效，但是在他們提供一些基準和一些細節之前，我無法真正告訴你裡面發生了什麼。當他們最終揭開面紗的時候，就把這些當作我們未來的工作臺吧。

目前，我所調查的最先進的非DNN演算法和平臺是這樣的。

層次時間記憶(HTM)

層次時間記憶（HTM）使用稀疏分散式表示法（SDR）對大腦中的神經元進行建模，並進行計算，在標量預測（商品、能源或股票價格等未來值）和異常檢測方面優於CNN和RNN。

這是Palm Pilot名宿Jeff Hawkins在其公司Numenta的奉獻作品。霍金斯在對大腦功能進行基礎研究的基礎上，追求的是一種強大的人工智慧模型，而不是像DNN那樣用層和節點來結構。

HTM的特點是，它發現模式的速度非常快，只需1,000次觀測。這與訓練CNN或RNN所需的幾十萬或幾百萬次的觀測相比，簡直是天壤之別。

此外，模式識別是無監督的，並且可以根據輸入的變化來識別和概括模式的變化。這使得系統不僅訓練速度非常快，而且具有自學習、自適應性，不會被資料變化或噪聲所迷惑。

一些值得注意的漸進式改進

我們開始關注真正的遊戲改變者，但至少有兩個漸進式改進的例子值得一提。這些顯然仍然是經典的CNN和RNNs，具有反向支撐的元素，但它們工作得更好。

使用Google Cloud AutoML進行網路修剪

谷歌和Nvidia的研究人員使用了一種名為網路修剪的過程，透過去除對輸出沒有直接貢獻的神經元，讓神經網路變得更小，執行效率更高。這一進步最近被推出，作為谷歌新的AutoML平臺效能的重大改進。

Transformer

Transformer是一種新穎的方法，最初在語言處理中很有用，比如語言到語言的翻譯，這一直是CNNs、RNNs和LSTMs的領域。去年夏末由谷歌大腦和多倫多大學的研究人員釋出，它在各種測試中都表現出了顯著的準確性改進，包括這個英語/德語翻譯測試。

RNNs的順序性使其更難充分利用現代快速計算裝置（如GPU），因為GPU擅長的是並行而非順序處理。CNN比RNN的順序性要差得多，但在CNN架構中，隨著距離的增加，將輸入的遠端部分的資訊組合起來所需的步驟數仍然會增加。

準確率的突破來自於 "自注意功能 "的開發，它將步驟大幅減少到一個小的、恆定的步驟數。在每一個步驟中，它都應用了一種自我關注機制，直接對一句話中所有詞之間的關係進行建模，而不管它們各自的位置如何。

就像VC說的那樣，也許是時候該換換口味了。

相關報導：

https://www.datasciencecentral.com/profiles/blogs/what-comes-after-deep-learning

編輯：晏斕輝

—— END ——

https://blog.csdn.net/weixin_42137700/article/details/108916826