3417eb9bbd5917f814c204
 
 2015年已然過去,2016剛剛開始,回頭將目光集中於去年的成就上,以及對將來科學趨勢的預測。去年最令人矚目的一個領域就是深度學習,它是機器學習中越來越流行的一個分支,看起來它會繼續向前發展,並會運用到越來越多的行業和領域中。

 在過去的一年中,我們有幸通過RE•WORK節目與從事人工智慧和電腦科學方面的許多大牛進行交流,我們期待在2016年會晤更多的專家,並向他們學習。

 作為Q&A系列的一部分,我們邀請了一些深度學習方面最為資深的人士,來預測深度學習領域未來5年的可能發展情況。

 未來5年我們可能看到深度學習會有怎樣的發展?

 Ilya Sutskever,OpenAI研究總監:我們應該會看到更為深層的模型,與如今的模型相比,這些模型可以從更少的訓練樣例中學習,在非監督學習方面也會取得實質性進展。我們應該會看到更精準有用的語音和視覺識別系統。

 Sven Behnke,波恩大學全職教授、自主智慧系統小組負責人:我期望深度學習能夠越來越多地被用於多模(multi-modal)問題上,在資料上更結構化。這將為深度學習開創新的應用領域,比如機器人技術,資料探勘和知識發現。

 Christian Szegedy,谷歌高階研究員:目前深度學習演算法和神經網路的效能與理論效能相去甚遠。如今,我們可以用五到十分之一的成本,以及十五分之一的引數來設計視覺網路,而效能比一年前花費昂貴成本設計出的網路更優,這完全憑藉改善的網路架構和更好的訓練方法。我堅信,這僅僅只是個開始:深度學習演算法將會更高效,能夠在廉價的移動裝置上執行,即使沒有額外的硬體支援或是過高的記憶體開銷。

3417eb9bbd5917f814d105
 
 Andrej Karpathy,史丹佛大學在讀電腦科學博士、OpenAI研究科學家:我不打算從高層面描述幾個即將到來的有趣發展,我將會集中於一個方面作具體描述。我看到的一個趨勢是,架構正在迅速地變得更大、更復雜。我們正在朝著建設大型神經網路系統方面發展,交換神經元件的輸入輸出,不同資料集上預訓練的網路部分,新增新模組,同時微調一切等等。比如,卷積網路曾是最大/最深的神經網路架構之一,但如今,它被抽象成了大多數新架構中的一小部分。反過來,許多這些架構也會成為將來創新架構中的一小部分。我們正在學習如何堆“樂高積木”,以及如何有效地將它們連線巢狀建造大型“城堡”。

 Pieter Abbeel,加州大學伯克利分校電腦科學副教授、Gradescope聯合創始人:有很多技術都基於深度監督式學習技術,視訊技術也是一樣,搞清楚如何讓深度學習在自然語言處理方面超越現在的方法,在深度無監督學習和深度強化學習方面也會取得顯著進步。

 Eli David,Deep Instinct CTO:在過去的兩年中,我們觀察到,在大多數使用了深度學習的領域中,深度學習取得了極大的成功。即使未來5年深度學習無法達到人類水平的認知(儘管這很可能在我們有生之年發生),我們也將會看到在許多其他領域裡深度學習會有巨大的改進。具體而言,我認為最有前途的領域將是無監督學習,因為世界上大多數資料都是未標記的,而且我們大腦的新皮層是一個很好的無監督學習區域。

 Deep Instinct是第一家使用深度學習進行網路安全研究的公司,在今後幾年,我希望有更多的公司使用深度學習進行網路安全研究。然而,使用深度學習的門檻還是相當高的,尤其是對那些通常不使用人工智慧方法(例如,只有少數幾個解決方案採用經典機器學習方法)的網路安全公司,所以在深度學習成為網路安全領域廣泛運用的日常技術之前,這還將需要數年時間。

3417eb9bbd5917f814f506
 
 Daniel McDuff,Affectiva研究總監:深度學習已經成為在計算機視覺,語音分析和許多其他領域佔優勢的機器學習形式。我希望通過一或兩個GPU提供的計算能力構建出的精準識別系統能夠讓研究人員在現實世界中開發和部署新的軟體。我希望有更多的重點放在無監督訓練、半監督訓練演算法上,因為資料一直不斷增長。

 Jörg Bornschein,加拿大高階研究所(CIFAR)全球學者:預測未來總是很難。我希望無監督、半監督和強化學習方法將會扮演比今天更突出的角色。當我們考慮將機器學習作為大型系統的一部分,比如,在機器人控制系統或部件中,掌控大型系統計算資源,似乎很明顯地可以看出,純監督式方法在概念上很難妥善解決這些問題。

 Ian Goodfellow,谷歌高階研究科學家:我希望在五年之內,我們將可以讓神經網路總結視訊片段的內容,並能夠生成視訊短片。神經網路已經是視覺任務的標準解決方案了。我希望它也能成為NLP和機器人任務的標準解決方案。我還預測,神經網路將成為其他科學學科的重要工具。比如,神經網路可以被訓練來對基因、藥物和蛋白質行為進行建模,然後用於設計新藥物。

 Nigel Duffy,Sentient Technologies CTO:目前大資料生態系統一直專注於收集,管理,策展大量資料。很明顯,在分析和預測方面也有很多工作。從根本上說,企業使用者不關心那些。企業使用者只關心結果,即“這些資料將會改變我的行為方式嗎?將會改變我做出的抉擇嗎?”我們認為,這些問題是未來5年需要解決的關鍵問題。我們相信,人工智慧將會是資料和更好的決策之間的橋樑。

 很明顯,深度學習將會在演變中起到顯著的作用,但需要與其他人工智慧方法結合。在接下來的5年裡,我們會看到越來越多的混合系統中,深度學習用於處理一些難以感知的任務,而其他人工智慧和機器學習(ML)技術用於處理其他部分的問題,如推理。

3417eb9bbd5917f8150807
 
 Koray Kavukcuoglu & Alex Graves,谷歌DeepMind研究科學家:未來5年會發生許多事。我們希望無監督學習和強化學習會更加傑出。我們同樣希望看到更多的多模式學習,以及對多資料集學習更加關注。

 Charlie Tang,多倫多大學機器學習小組博士生:深度學習演算法將逐步用於更多的任務並且將“解決”更多的問題。例如,5年前,人臉識別演算法的準確率仍然比人類表現略差。然而,目前在主要人臉識別資料集(LFW)和標準影像分類資料集(Imagenet)上演算法的表現已經超過了人類。在未來5年,越來越難的問題,如視訊識別,醫學影像或文書處理將順利由深度學習演算法解決。我們還可以看到深度學習演算法被移植到商業產品中,就像10年前人臉檢測如何被納入相機中一樣。

原文:Deep learning experts discuss the next 5 years

譯者/劉翔宇