小西：小迪小迪，我發現人工智慧發展史上很多事情都跟下棋有關吶。
小迪：是啊，人工智慧發展史還是要從下棋說起，棋類遊戲很多時候都被人類看做高智商遊戲，在棋類遊戲中讓機器與人類博弈自然再好不過了。早在1769年，匈牙利作家兼發明家Wolfgang von Kempelen就建造了機器人TheTurk，用於與國際象棋高手博弈，但是最終被揭穿，原來是機器人的箱子裡藏著一個人。雖然這是個騙局，但是也體現了棋類遊戲是人機博弈中的焦點。
小西：哇，這麼早啊！
小迪：是啊，在1968年上映的電影《2001太空漫遊》裡，有個情節是機器人HAL與人類Frank下國際象棋，最終人類在機器人面前甘拜下風。
小西：哈哈，看來很早人們就覺得有一天，機器人會在下棋方面超過人類哦。
小迪：是啊，直到1997年，IBM的深藍智慧系統戰勝了國際象棋世界冠軍Kasparov，這是一次正式意義上的機器在國際象棋領域戰勝了人類。不過，當時時代雜誌發表的文章還認為，計算機想要在圍棋上戰勝人類，需要再過上一百年甚至更長的時間。因為圍棋相比於國際象棋複雜很多，而IBM的深藍也只是一個暴力求解的系統，當時的計算機能力在圍棋千千萬萬種變化情況下取勝是不可能的。
小西：後來我知道。沒有過100年，20年後AlphaGo在20年後的2016年打敗了圍棋高手李世石，這下人工智慧引起了全世界的關注。
小迪：恭喜你，學會搶答了！
小西：哈哈，過獎過獎。除了下棋，人工智慧發展史上有沒有什麼特別著名的事件或者有名的大師呢，快給我科普科普呀！
小迪：那可就太多了啊，無數科學家默默地耕耘才有了今天智慧化的社會，三天三夜都說不完。我就說說近些年火爆的深度學習的發展史吧。
小西：好，洗耳恭聽呢！
感知器的發明
1943年Warren McCulloch和Walter Pitts一起提出計算模型，在1957年康奈爾大學的Frank Rosenblatt提出了感知器的概念，這是整個深度學習的開端，感知器是第一個具有自組織自學習能力的數學模型。Rosenblatt樂觀地預測感知器最終可以學習，做決定和翻譯語言。感知器技術在六十年代非常火熱，受到了美國海軍的資金支援，希望它以後能夠像人一樣活動，並且有自我意識。
第一次低潮
Rosenblatt有一個高中校友叫做Minsky，在60年代，兩人在感知器的問題上吵得不可開交。R認為感知器將無所不能，M覺得感知器存在很大的缺陷，應用有限。1969年，Minsky出版了新書《感知器：計算幾何簡介》，這本書中描述了感知器的兩個重要問題：
- 單層神經網路不能解決不可線性分割的問題，典型例子：異或門；當時的電腦完全沒有能力承受神經網路的超大規模計算。
隨後的十多年，人工智慧轉入第一次低潮，而Rosenblatt也在他43生日時，因海事喪生，遺憾未能見到神經網路後期的復興。
Geoffrey Hinton與神經網路
1970年，此時的神經網路正處於第一次低潮期，愛丁堡大學的心理學學士Geoffrey Hinton剛剛畢業。他一直對腦科學非常著迷，同學告訴他，大腦對事物和概念的記憶，不是儲存在某個單一的地方，而是分散式的存在一個巨大的神經網路中。分散式表徵讓Hinton感悟很多，隨後的多年裡他一直從事神經網路方面的研究，在愛丁堡繼續攻讀博士學位的他把人工智慧作為自己的研究領域。
Rumelhart與BP演算法
傳統的神經網路擁有巨大的計算量，上世紀的計算機計算能力尚未能滿足神經網路的訓練。1986年7月，Hinton和David Rumelhart合作在Nature雜誌上發表論文系統地闡述了BP演算法：
- 反向傳播演算法（BP）把糾錯運算量下降到只和神經元數目有關；BP演算法在神經網路中加入隱層，能夠解決非線性問題。
BP演算法的效率相比傳統神經網路大大提高，計算機的算力在上世紀後期也大幅提高，神經網路開始復甦，引領人工智慧走向第二次輝煌。
Yann Lecun與卷積神經網路
1960年Yann Lecun在巴黎出身，在法國獲得博士學位後，追隨Hinton做了一年博士後，隨後加入貝爾實驗室。在1989年，Lecun發表論文提出卷積神經網路，並且結合反向傳播演算法應用在手寫郵政編碼上，取得了非常好的效果，識別率高達95%。基於這項技術的支票識別系統在90年代佔據了美國接近20%的市場。
但也是在貝爾實驗室，Yann Lecun的同事Vladmir Vapnik的研究又把神經網路的研究帶入了第二個寒冬。
Hinton與深度學習
2003年，Geoffrey Hinton在多倫多大學苦苦鑽研著神經網路。在與加拿大先進研究院（CIFAR）的負責人Melvin Silverman交談後，負責人決定支援Hinton團隊十年來進行神經網路的研究。在拿到資助後，Hinton做的第一件事就是把神經網路改名為深度學習。此後的一段時間裡，同事經常會聽到Hinton在辦公室大叫：“我知道神經網路是如何工作的了！”
DBN與RBN
2006年Hinton與合作者發表論文——《A Fast Algorithm for Deep BeliefNet》（DBN）。這篇文章中的演算法借用了統計力學中“波爾茲曼分佈”的概念，使用了所謂的“受限玻爾茲曼機”，也就是RBN來學習。而DBN也就是幾層RBN疊加在一起。RBN可以從輸入資料進行預訓練，自己發現重要的特徵，對神經網路的權重進行有效的初始化。這裡就出現了另外兩個技術——特徵提取器與自動編碼器。經過MNIST資料集的訓練後，識別錯誤率最低降到了只有1.25%。
吳恩達與GPU
2007年，英偉達推出cuda的GPU軟體介面，GPU程式設計得以極大 發展。2009年6月，史丹佛大學的Rajat Raina和吳恩達合作發表文章，論文采用DBNs模型和稀疏編碼，模型引數高達一億，使用GPU執行速度訓練模型，相比傳統雙核CPU最快時相差70倍，把本來需要幾周訓練的時間降到了一天。算力的進步再次加速了人工智慧的快速發展。
黃仁勳與GPU
黃仁勳也是一名華人，1963年出生於臺灣，在1993年於史丹佛畢業後創立了英偉達公司，英偉達起家時主要做影象處理晶片，後來黃仁勳發明GPU這個詞。相比於CPU架構，GPU善於大批量資料並行處理。而神經網路的計算工作，本質上就是大量的矩陣計算的操作，GPU的發展為深度學習奠定了算力的基礎。
李飛飛與ImageNet
深度學習的三大基礎——演算法，算力和資料。上面提到的主要是演算法與算力的發展，而資料集在深度學習發展也起到了至關重要的作用。又是一位華人學者——李飛飛，於2009年建立ImageNet資料集，以供計算機視覺工作者使用，資料集建立的時候，包含320個影象。2010年，ILSVRC2010第一次舉辦，這是以ImageNet為基礎的大型影象識別大賽，比賽也推動了影象識別技術的飛速發展。2012年的比賽，神經網路第一次在影象識別領域擊敗其他技術，人工智慧步入深度學習時代，這也是一個歷史性的轉折點。
Yoshua Bengio與RELU
2011年，加拿大學者Xavier Glorot與Yoshua Bengio聯合發表文章，在演算法中提出一種啟用函式——RELU，也被稱為修正線性單元，不僅識別錯誤率普遍降低，而且其有效性對於神經網路是否預訓練過並不敏感。而且在計算力方面得到提升，也不存在傳統啟用函式的梯度消失問題。
Schmidhuber與LSTM
其實早在1997年，瑞士Lugano大學的Suhmidhuber和他的學生合作，提出了長短期記憶模型（LSTM）。LSTM背後要解決的問題就是如何將有效的資訊，在多層迴圈神經網路傳遞之後，仍能傳送到需要的地方去。LSTM模組，是通過內在引數的設定，決定某個輸入引數在很久之後是否還值得記住，何時取出使用，何時廢棄不用。
後記
小迪：其實還有好多有突出貢獻的的大師，要是都列出來可以出一本很厚很厚的書啦！
小西：這些大師都好厲害呀，為了我們的智慧化生活體驗，辛勤付出了一輩子。
小迪：是啊，還有很多學者默默無聞地工作，一生清苦。
小西：他們都好偉大，有突出貢獻的都應該發獎發獎金，對對對，諾貝爾獎！
小迪：哈哈。諾貝爾獎多數是為基礎學科設立的。不過計算機界也有“諾貝爾獎”——圖靈獎，這可是計算機界最高獎項哦！2019年3月27日，ACM宣佈，Geoffrey Hinton，Yann LeCun ，和Yoshua Bengio共同獲得了2018年的圖靈獎。
小西：太棒了，實至名歸！
小迪：當然，圖靈獎在此之前也授予了很多在人工智慧領域的大牛，像Minsky，John McCarthy這些，還有華人科學家，現在在清華大學任職從事人工智慧教育的姚期智先生在2000也獲得過圖靈獎呢！
小西：大師們太不容易了，我們也要好好學習呀！
小迪：是呀！如今我們站在巨人的肩膀上，許多人都可以接觸到深度學習，機器學習的內容，不管是工業界還是學術界，人工智慧都是一片火熱！
小西：希望這一輪人工智慧的興起不會有低潮，一直蓬勃發展下去，更好地造福人類。
小迪：嗯！
