深度學習技術發展趨勢淺析

https://blog.csdn.net/weixin_42137700/article/details/89132022

當前，人工智慧發展藉助深度學習技術突破得到了全面關注和助力推動，各國政府高度重視、資本熱潮仍在加碼，各界對其成為發展熱點也達成了共識。本文旨在分析深度學習技術現狀，研判深度學習發展趨勢，並針對我國的技術水平提出發展建議。

 

一、深度學習技術現狀

深度學習是本輪人工智慧爆發的關鍵技術。人工智慧技術在計算機視覺和自然語言處理等領域取得的突破性進展，使得人工智慧迎來新一輪爆發式發展。而深度學習是實現這些突破性進展的關鍵技術。其中，基於深度卷積網路的影像分類技術已超過人眼的準確率，基於深度神經網路的語音識別技術已達到95%的準確率，基於深度神經網路的機器翻譯技術已接近人類的平均翻譯水平。準確率的大幅提升使得計算機視覺和自然語言處理進入產業化階段，帶來新產業的興起。

 

深度學習是大資料時代的演算法利器，成為近幾年的研究熱點。和傳統的機器學習演算法相比，深度學習技術有著兩方面的優勢。一是深度學習技術可隨著資料規模的增加不斷提升其效能，而傳統機器學習演算法難以利用海量資料持續提升其效能。二是深度學習技術可以從資料中直接提取特徵，削減了對每一個問題設計特徵提取器的工作，而傳統機器學習演算法需要人工提取特徵。因此，深度學習成為大資料時代的熱點技術，學術界和產業界都對深度學習展開了大量的研究和實踐工作。

 

深度學習各類模型全面賦能基礎應用。卷積神經網路和迴圈神經網路是兩類獲得廣泛應用的深度神經網路模型。計算機視覺和自然語言處理是人工智慧兩大基礎應用。卷積神經網路廣泛應用於計算機視覺領域，在影像分類、目標檢測、語義分割等任務上的表現大大超越傳統方法。迴圈神經網路適合解決序列資訊相關問題，已廣泛應用於自然語言處理領域，如語音識別、機器翻譯、對話系統等。

 

深度學習技術仍不完美，有待於進一步提升。一是深度神經網路的模型複雜度高，巨量的引數導致模型尺寸大，難以部署到移動終端裝置。二是模型訓練所需的資料量大，而訓練資料樣本獲取、標註成本高，有些場景樣本難以獲取。三是應用門檻高，演算法建模及調參過程複雜繁瑣、演算法設計週期長、系統實施維護困難。四是缺乏因果推理能力，圖靈獎得主、貝葉斯網路之父Judea Pearl指出當前的深度學習不過只是“曲線擬合”。五是存在可解釋性問題，由於內部的引數共享和複雜的特徵抽取與組合，很難解釋模型到底學習到了什麼，但出於安全性考慮以及倫理和法律的需要，演算法的可解釋性又是十分必要的。因此，深度學習仍需解決以上問題。

 

二、深度學習發展趨勢

深度神經網路呈現層數越來越深，結構越來越複雜的發展趨勢。為了不斷提升深度神經網路的效能，業界從網路深度和網路結構兩方面持續進行探索。神經網路的層數已擴充套件到上百層甚至上千層，隨著網路層數的不斷加深，其學習效果也越來越好，2015年微軟提出的ResNet以152層的網路深度在影像分類任務上準確率首次超過人眼。新的網路設計結構不斷被提出，使得神經網路的結構越來越複雜。如：2014年穀歌提出了Inception網路結構、2015年微軟提出了殘差網路結構、2016年黃高等人提出了密集連線網路結構，這些網路結構設計不斷提升了深度神經網路的效能。

 

深度神經網路節點功能不斷豐富。為了克服目前神經網路存在的侷限性，業界探索並提出了新型神經網路節點，使得神經網路的功能越來越豐富。2017年，傑弗裡•辛頓提出了膠囊網路的概念，採用膠囊作為網路節點，理論上更接近人腦的行為，旨在克服卷積神經網路沒有空間分層和推理能力等侷限性。2018年，DeepMind、谷歌大腦、MIT的學者聯合提出了圖網路的概念，定義了一類新的模組，具有關係歸納偏置功能，旨在賦予深度學習因果推理的能力。

 

深度神經網路工程化應用技術不斷深化。深度神經網路模型大都具有上億的引數量和數百兆的佔用空間，運算量大，難以部署到智慧手機、攝像頭和可穿戴裝置等效能和資源受限的終端類裝置。為了解決這個問題，業界採用模型壓縮技術降低模型引數量和尺寸，減少運算量。目前採用的模型壓縮方法包括對已訓練好的模型做修剪（如剪枝、權值共享和量化等）和設計更精細的模型（如MobileNet等）兩類。深度學習演算法建模及調參過程繁瑣，應用門檻高。為了降低深度學習的應用門檻，業界提出了自動化機器學習（AutoML）技術，可實現深度神經網路的自動化設計，簡化使用流程。

 

深度學習與多種機器學習技術不斷融合發展。深度學習與強化學習融合發展誕生的深度強化學習技術，結合了深度學習的感知能力和強化學習的決策能力，克服了強化學習只適用於狀態為離散且低維的缺陷，可直接從高維原始資料學習控制策略。為了降低深度神經網路模型訓練所需的資料量，業界引入了遷移學習的思想，從而誕生了深度遷移學習技術。遷移學習是指利用資料、任務或模型之間的相似性，將在舊領域學習過的模型，應用於新領域的一種學習過程。透過將訓練好的模型遷移到類似場景，實現只需少量的訓練資料就可以達到較好的效果。

 

三、未來發展建議

加強圖網路、深度強化學習以及生成式對抗網路等前沿技術研究。由於我國在深度學習領域缺乏重大原創性研究成果，基礎理論研究貢獻不足，如膠囊網路、圖網路等創新性、原創性概念是由美國專家提出，我國研究貢獻不足。在深度強化學習方面，目前最新的研究成果大都是由DeepMind和OpenAI等國外公司的研究人員提出，我國尚沒有突破性研究成果。近幾年的研究熱點生成式對抗網路（GAN）是由美國的研究人員Goodfellow提出，並且谷歌、facebook、twitter和蘋果等公司紛紛提出了各種改進和應用模型，有力推動了GAN技術的發展，而我國在這方面取得的研究成果較少。因此，應鼓勵科研院所及企業加強深度神經網路與因果推理模型結合、生成式對抗網路以及深度強化學習等前沿技術的研究，提出更多原創性研究成果，增強全球學術研究影響力。

 

加快自動化機器學習、模型壓縮等深度學習應用技術研究。依託國內的市場優勢和企業的成長優勢，針對具有我國特色的個性化應用需求，加快對深度學習應用技術的研究。加強對自動化機器學習、模型壓縮等技術的研究，加快深度學習的工程化落地應用。加強深度學習在計算機視覺領域應用研究，進一步提升目標識別等視覺任務的準確率，以及在實際應用場景中的效能。加強深度學習在自然語言處理領域的應用研究，提出效能更優的演算法模型，提升機器翻譯、對話系統等應用的效能。