深度學習發展史

作為機器學習最重要的一個分支，深度學習近年來發展迅猛，在國內外都引起了廣泛的關注。然而深度學習的火熱也不是一時興起的，而是經歷了一段漫長的發展史。接下來我們瞭解一下深度學習的發展歷程。

1. 深度學習的起源階段

1943年，心裡學家麥卡洛克和數學邏輯學家皮茲發表論文《神經活動中內在思想的邏輯演算》，提出了MP模型。MP模型是模仿神經元的結構和工作原理，構成出的一個基於神經網路的數學模型，本質上是一種“模擬人類大腦”的神經元模型。MP模型作為人工神經網路的起源，開創了人工神經網路的新時代，也奠定了神經網路模型的基礎。

1949年，加拿大著名心理學家唐納德·赫布在《行為的組織》中提出了一種基於無監督學習的規則——海布學習規則(Hebb Rule)。海布規則模仿人類認知世界的過程建立一種“網路模型”，該網路模型針對訓練集進行大量的訓練並提取訓練集的統計特徵，然後按照樣本的相似程度進行分類，把相互之間聯絡密切的樣本分為一類，這樣就把樣本分成了若干類。海布學習規則與“條件反射”機理一致，為以後的神經網路學習演算法奠定了基礎，具有重大的歷史意義。

20世紀50年代末，在MP模型和海布學習規則的研究基礎上，美國科學家羅森布拉特發現了一種類似於人類學習過程的學習演算法——感知機學習。並於1958年，正式提出了由兩層神經元組成的神經網路，稱之為“感知器”。感知器本質上是一種線性模型，可以對輸入的訓練集資料進行二分類，且能夠在訓練集中自動更新權值。感知器的提出吸引了大量科學家對人工神經網路研究的興趣，對神經網路的發展具有里程碑式的意義。

但隨著研究的深入，在1969年，“AI之父”馬文·明斯基和LOGO語言的創始人西蒙·派珀特共同編寫了一本書籍《感知器》，在書中他們證明了單層感知器無法解決線性不可分問題（例如：異或問題）。由於這個致命的缺陷以及沒有及時推廣感知器到多層神經網路中，在20世紀70年代，人工神經網路進入了第一個寒冬期，人們對神經網路的研究也停滯了將近20年。

圖1 “AI之父”馬文·明斯基

2. 深度學習的發展階段

1982年，著名物理學家約翰·霍普菲爾德發明了Hopfield神經網路。Hopfield神經網路是一種結合儲存系統和二元系統的迴圈神經網路。Hopfield網路也可以模擬人類的記憶，根據啟用函式的選取不同，有連續型和離散型兩種型別，分別用於最佳化計算和聯想記憶。但由於容易陷入區域性最小值的缺陷，該演算法並未在當時引起很大的轟動。

直到1986年，深度學習之父傑弗裡·辛頓提出了一種適用於多層感知器的反向傳播演算法——BP演算法。BP演算法在傳統神經網路正向傳播的基礎上，增加了誤差的反向傳播過程。反向傳播過程不斷地調整神經元之間的權值和閾值，直到輸出的誤差達到減小到允許的範圍之內，或達到預先設定的訓練次數為止。BP演算法完美的解決了非線性分類問題，讓人工神經網路再次的引起了人們廣泛的關注。

圖2 深度學習之父傑弗裡·辛頓

但是由於八十年代計算機的硬體水平有限，如：運算能力跟不上，這就導致當神經網路的規模增大時，再使用BP演算法會出現“梯度消失”的問題。這使得BP演算法的發展受到了很大的限制。再加上90年代中期，以SVM為代表的其它淺層機器學習演算法被提出，並在分類、迴歸問題上均取得了很好的效果，其原理又明顯不同於神經網路模型，所以人工神經網路的發展再次進入了瓶頸期。

3. 深度學習的爆發階段

2006年，傑弗裡·辛頓以及他的學生魯斯蘭·薩拉赫丁諾夫正式提出了深度學習的概念。他們在世界頂級學術期刊《科學》發表的一篇文章中詳細的給出了“梯度消失”問題的解決方案——透過無監督的學習方法逐層訓練演算法，再使用有監督的反向傳播演算法進行調優。該深度學習方法的提出，立即在學術圈引起了巨大的反響，以史丹佛大學、多倫多大學為代表的眾多世界知名高校紛紛投入巨大的人力、財力進行深度學習領域的相關研究。而後又在迅速蔓延到工業界中。

2012年，在著名的ImageNet影像識別大賽中，傑弗裡·辛頓領導的小組採用深度學習模型AlexNet一舉奪冠。AlexNet採用ReLU啟用函式，從根本上解決了梯度消失問題，並採用GPU極大的提高了模型的運算速度。同年，由史丹佛大學著名的吳恩達教授和世界頂尖計算機專家Jeff Dean共同主導的深度神經網路——DNN技術在影像識別領域取得了驚人的成績，在ImageNet評測中成功的把錯誤率從26％降低到了15％。深度學習演算法在世界大賽的脫穎而出，也再一次吸引了學術界和工業界對於深度學習領域的關注。

隨著深度學習技術的不斷進步以及資料處理能力的不斷提升，2014年，Facebook基於深度學習技術的DeepFace專案，在人臉識別方面的準確率已經能達到97%以上，跟人類識別的準確率幾乎沒有差別。這樣的結果也再一次證明了深度學習演算法在影像識別方面的一騎絕塵。

2016年，隨著谷歌公司基於深度學習開發的AlphaGo以4:1的比分戰勝了國際頂尖圍棋高手李世石，深度學習的熱度一時無兩。後來，AlphaGo又接連和眾多世界級圍棋高手過招，均取得了完勝。這也證明了在圍棋界，基於深度學習技術的機器人已經超越了人類。

圖3 AlphaGo大戰李世石

2017年，基於強化學習演算法的AlphaGo升級版AlphaGo Zero橫空出世。其採用“從零開始”、“無師自通”的學習模式，以100:0的比分輕而易舉打敗了之前的AlphaGo。除了圍棋，它還精通國際象棋等其它棋類遊戲，可以說是真正的棋類“天才”。此外在這一年，深度學習的相關演算法在醫療、金融、藝術、無人駕駛等多個領域均取得了顯著的成果。所以，也有專家把2017年看作是深度學習甚至是人工智慧發展最為突飛猛進的一年。

所以在深度學習的浪潮之下，我認為不管是AI的相關從業者還是其他各行各業的工作者，都應該以開放、學習的心態關注深度學習、人工智慧的熱點動態。人工智慧正在悄無聲息的改變著我們的生活！

    點選關注上方二維碼，學習更多AI知識