人工智慧簡史
技藝的一個高峰是高度人化的智慧，如圖1所示，從西周偃師到阿拉伯加扎利（Jazari）的自動人偶，代表了人類對智慧的不懈追求，人類希望賦予智慧和思想於機器工具，用於解放生產力，便利生活，推動社會發展。人工智慧誕生的過程緩慢而悠長，從源遠流長的神話，到天馬行空的科幻，再到鬼斧神工的科技，無不包含著人類對智慧的渴望。但是人工智慧（Artificial Intelligence, AI）的實現緊跟人類知識的發展，復現甚至超越人的智慧。早期，形式推理（Formal Reasoning）的演進與發展，為人類思維的機械化提供了研究的方向。
圖1 偃師和加扎利的自動人偶
17世紀中期，如圖2所示，戈特弗裡德·威廉·萊布尼茨（Gottfried Wilhelm Leibniz）、勒內·笛卡兒（René Descartes）和托馬斯·霍布斯（Thomas Hobbes）致力理性思考系統體系化的研究工作，催生了形式符號系統，不久的將來就成為人工智慧研究的燈塔。到了20世紀，伯特蘭·阿瑟·威廉·羅素（Bertrand Arthur William Russel）、阿弗烈·諾夫·懷海德（Alfred North Whitehead）和庫爾特·哥德爾（Kurt Gödel）對數理邏輯的貢獻，為數學推理機械化提供了理論的基礎。隨之圖靈機的創造從符號學本質上為機器進行思考提供了可能。工程學上，由最初的查爾斯·巴貝奇（Charles Babbage）的“分析機”設想，到服役二戰的ENIAC大型譯碼機器，見證並工程化了艾倫·圖靈（Alan Turing）和約翰·馮·諾伊曼（John von Neumann）的電腦科學理論，如圖1-3所示，加快了人工智慧的飛速發展。
圖2 萊布尼茨、笛卡兒，霍布斯（從左到右）
圖3 圖靈和馮·諾伊曼（從左到右）
AI誕生
20世紀中期，不同領域的科學家在為人工智慧的誕生進行了一系列的研究和準備。從20世紀30年代到50年代，諾伯特·維納（Norbert Wiener）的控制論，克勞德·夏農（Claude Shanon）的資訊理論，圖靈的計算理論以及神經學的發展為人工智慧破土而出提供了陽光和土壤。
1950年，圖靈發表《計算機器與智慧》（ Computing Machinery and Intelligence）,論文提出了著名的圖靈測試：如果機器與人類進行對話而人無法辨別機器身份，則該機器具有智慧。圖靈測試的提出對後來人工智慧的發展具有不可忽略的意義。1951年，年僅24歲的馬文·閔斯基（Marvin Minsky）與迪恩·埃德蒙茲（Dean Edmonds）將神經網路機器SNARC（Stochastic Neural Analog Reinforcement Calculator）帶入這個世界。隨後閔斯基在人工智慧領域不斷耕耘，並起到巨大推動作用，並因此榮膺圖靈獎。1955年，一個名為“邏輯理論家”（Logic Theorist）的程式以更加新穎精巧的方法證明了《數學原理》中52個定理中的38個。這項工作的締造者艾倫·紐厄爾（Allen Newell）和赫伯特·西蒙（Herbert Simon）等開闢了智慧機器的一條新途徑。
緊接著一年後，如圖4所示，在美國舉辦的達特茅斯會議在閔斯基、約翰·麥卡錫（John McCarthy）、夏農和納撒尼爾·羅切斯特（Nathan Rochester）等10位倡導者討論後提出“學習或者智慧的任何一個方面都應能被精確的描述，使得人們可以製造一臺機器來模擬它”。人工智慧從此帶著使命和活力步入人類世界，正式形成一門學科，開闢了一片嶄新的科學天地。
圖4 達特茅斯會議合影
揚帆起航
達特茅斯會議之後，人工智慧如同火山爆發，席捲全球，同時也帶來了累累碩果。計算機能夠完成更多人類的高階任務，如解決代數應用題、幾何證明以及語言領域的擴充。這些進步使得研究者熱情高漲，對人工智慧的近期完善充滿信心，同時也吸引著大量資金進入該研究領域。
1958年，赫伯特·吉寧特（Herbert Gelernter）基於搜尋演算法實現了幾何定理證明機。紐厄爾和西蒙透過“通用解題器”（General Problem Solver）程式將搜尋式推理應用範圍擴大。同時，搜尋式推理在搜尋目標和子目標決策方面取得應用成效，如史丹佛大學的機器人—STRIPS系統。在自然語言領域，羅斯·奎利恩（Ross Quillian）開發了第一個語義網。接著，約瑟夫·維森鮑姆（Joseph Weizenbaum）締造了第一個對話機器人ELIZA。ELIZA能讓人誤以為在和一個人交流，而不是一臺機器。ELIZA的問世，標誌著人工智慧取得了重大進步。1963年6月，麻省理工學院從美國高等研究計劃局（ARPA）獲得經費，讓MAC（The Project on Mathematics and Computation）專案落地前行。閔斯基和麥卡錫也是這一專案的主要參與者。MAC專案在人工智慧史上佔有重要地位，對電腦科學的發展產生了重要影響，並催生了後來著名的麻省理工學院電腦科學與人工智慧實驗室。
這個時期，正如1970年閔斯基預測“在三到八年的時間裡我們將得到一臺具有人類平均智慧的機器”的情形一樣，人類期待加速人工智慧歷史發展程式，但是人工智慧發展需要一個不斷完善成熟的過程，意味著隨之到來將是一個緩慢前行的階段。
遭遇瓶頸
20世紀70年初，人工智慧的發展速度逐漸變緩，當時最傑出的人工智慧程式只能在某個點上解決問題，難以滿足人們的需求。這是由於人工智慧發展碰到了難以輕鬆突破的瓶頸。在計算機能力上，由於人工智慧對硬體資源要求高，當時的計算機記憶體和處理器速度難以滿足實際的人工智慧要求。很明顯的一個例子就是在自然語言的研究上只能對20個單詞的詞彙表進行處理。在計算複雜性方面也受到了阻力。1972年理查德·卡普（Richard Karp）證明了很多問題的計算時間與輸入量的冪成正比，這暗示著人工智慧對於很多類似指數大爆炸問題的求解近乎不可能。在自然語言和機器視覺等領域，需要有大量的外界認知資訊作為基礎進行識別與認知。研究者發現，即使達到兒童程度的認知水平，人工智慧資料庫的構建也十分艱鉅。對計算機來說，在定理證明和幾何等數學問題上顯示出的能力要遠遠強於處理在人類看來極其簡單的任務，如物體辨識的能力，這使得研究者們近乎望而卻步。
由於以上一系列因素，政府機構逐漸對人工智慧的前景失去了耐心，開始轉換了資助方向，將資金轉向其它專案。與此同時，人工智慧研究者也備受冷落，人工智慧漸漸淡出人們的視野。
再次前行
經歷了數年的低谷之後，伴隨著“專家系統”的橫空出世和神經網路的復燃，人工智慧蓄力再度上路啟程，重新成為熱點。最早由愛德華·費根鮑姆（Edward Feigenbaum）主導開發了能夠根據一組特定邏輯規則來解決特定領域問題的程式系統。後續出現了可以診斷血液傳染病的MYCIN系統，增大了人工智慧特定領域應用的影響力。1980年，XCON專家系統因在自動根據需求選擇計算機部件的方向上為客戶節約了四千萬美元的成本並帶來巨大商用價值而聞名於世，同時也大大提升了專家系統的研發熱度。1981年，日本對第五代計算機專案加大資助，定位於實現人機互動、機器翻譯、影像識別以及自動推理功能，投入資金達到八億五千萬美元。英國注入三億五千萬英鎊到Alvey工程，美國也加大了對人工智慧領域的資助，一時群雄逐鹿。1982年，約翰·霍普菲爾（John Hopfield）的神經網路使得機器對資訊的處理方式發生了跨越性的改變。1986年，大衛·魯梅爾（David Rumelhart）將反向傳播演算法應用到神經網路中，形成了一種通用的訓練方法。技術革新浪潮推動著人工智慧不斷向前發展。
但好景不長，人工智慧之冬又一次悄然而至。以專家設定（eXpert CONfigurer，XCON）程式為代表的專家系統應用的侷限性以及高昂的維護成本，使其在市場上逐漸失去了當初的競爭力。初期對第五代工程的狂熱投入沒有收穫期望的回報後，研發資金也逐漸枯竭。研究者的熱情也隨之頓減，一時人工智慧飽受爭議，陷入寒冬。
黎明日升
飽受歲月磨練，歷經時光浮沉，秉承著對人類智慧奧秘的追求，人工智慧一直未停止前進的步伐。人工智慧在發展過程中也增加了其它領域的活力，如統計理論與最佳化理論等。同時，與其它領域學科進行深度融合，為資料探勘、影像識別以及機器人等領域帶來一場技術性革命。1997年5月11日，如圖5所示，國際商用機器公司（IBM）的深藍計算機系統在國際象棋領域戰勝人類世界冠軍卡斯帕羅夫（Kasparov）後，使得人工智慧重新進入世界舞臺。
圖5 國際象棋世界冠軍卡斯帕羅夫對弈國際商用機器公司深藍計算機
同時基礎硬體的飛速發展，也為人工智慧的實現提供了基礎，如英偉達公司的Tesla V100處理器速度達到每秒十萬億次浮點運算，更好的滿足了人們對計算效能的需求。2011年，谷歌大腦（Google Brain）利用分散式框架和大規模神經網路進行訓練，在沒有任何先驗知識的情況下，在YouTube影片學習並識別出“貓”這個概念。2016年，谷歌公司的AlphaGo在圍棋領域擊敗世界冠軍李世石，震驚世界。2017年，AlphaGo改進版再次勝過世界排名第一的職業棋手柯潔。這一系列的成就，標誌著人工智慧已經到達了一個新的高峰，孕育著更多領域的智慧變革。
華為領先世界釋出昇騰AI計算處理器
AI（人工智慧）作為一種新的通用技術，正在推動各行各業發生前所未有的改變。AI不僅使我們能以更高的效率解決已可解決的問題，而且也使我們可以解決很多以前難以解決的問題，這其中的關鍵就是算力。近年來，隨著深度學習的推進，AI領域對算力的需求每年增加10倍左右。對於AI探索研究，越來越多的新演算法（如自動機器學習）、新探索（如高階自動微分）等對算力的需求甚至成百倍增長，算力與論文的發表速度及數量均已呈正比關係； 對於AI商業應用，充沛且經濟的算力是AI發揮價值的基本條件，算力的價效比越高，AI的應用就會越廣泛。AI全面發展需要的算力，應該如同今天的電力一樣，真正普惠，觸手可及。
如果說算力的進步是當下AI發展的主要驅動因素，那麼算力的稀缺和昂貴正成為AI全面發展的核心制約因素。算力供給的關鍵在於處理器的效能，當前AI算力需求的增速遠超摩爾定律，而現有的AI處理器的體系結構並非圍繞AI計算來設計的，這就導致了AI算力的稀缺與昂貴； 以現有的算力水平，訓練某些複雜模型往往需要數天甚至數月的時間，而一次成功的發現與創新往往需要多次反覆迭代，這種算力水平嚴重製約了理論的創新和應用的落地。因此，充沛且經濟的AI算力必須要在處理器架構上尋求突破，要用新的AI處理器架構來匹配算力的增速。
為了實現普惠AI，為了提供充足的AI算力，華為圖靈團隊自2017年初開始探索新的AI處理器體系結構，並建立了達芬奇架構AI處理器。2017年6月，我到上海時，華為圖靈團隊非常期望公司投資基於達芬奇架構開發AI處理器，我支援了他們，就有了今天的昇騰AI處理器——能滿足當前及未來AI對算力的極致需求。華為還圍繞昇騰處理器構建了全棧、全場景的AI解決方案。本書系統地介紹了昇騰處理器體系結構與程式設計方法，希望在AI的基礎研究與程式設計領域，給AI研究與應用開發者提供參考，共同推進AI產業和AI研究的發展。
近十年，全球人工智慧熱潮一浪高過一浪，專用人工智慧從演算法到系統，再到應用、風險投資，最後得到社會的普遍關注，其勢頭之猛，規模之大，是很多人始料未及的。中國和美國現在已經成為人工智慧發展的兩個超級大國。中國在資料規模和產業應用、青年人才儲備方面具有優勢； 美國在原創演算法與核心元器件、開源開放平臺方面具有優勢。如何儘快補上短板，使我國的人工智慧可以健康發展、長久不衰，是我們需要認真思考與佈局的大事。
新一代人工智慧的蓬勃發展依賴於三個要素——資料、演算法和算力。所謂算力，就是超強的計算能力。目前，人工智慧系統的算力大都構建在CPU+GPU之上，計算的主體是GPU。GPU原本是為圖形處理與顯示而設計的，大多用在顯示卡上。隨著時間的推移，GPU處理向量、處理矩陣，甚至處理張量的能力越來越強。除了顯示卡，高檔GPU也經常被用作影像處理與科學計算的協處理器。英偉達公司就是因為提供高檔GPU而在幾年間成為（協）處理器市場上成長最快的公司。雖然用GPU進行深度神經網路的訓練和推理速度很快，但由於GPU需要支援的計算型別繁多，所以晶片規模大、功耗高。為了提高深度神經網路訓練和推理的效率，幾年前人們就開始考慮設計專用深度神經網路學習和推理的晶片。例如，谷歌和寒武紀公司均推出了深度學習專用晶片，大大提升了執行主流智慧演算法的效能。華為釋出的昇騰910和昇騰310兩顆人工智慧晶片分別面向深度神經網路訓練與推理，其設計理念更有利於打造完整的生態鏈，可以為中國乃至全球開發者和企業提供新的選擇。
當然，一個專用處理器家族從完成設計，到得到市場認可並獲得成功應用是一個漫長的過程。這個過程包含諸多環節，其中最重要的一個環節就是教育，包括培訓使用者理解晶片原理、掌握如何程式設計、學會如何設計板卡和設計系統等。教育的手段既可以是透過開設課程給工程師、本科生與專科生提供培訓，也可以是透過程式設計比賽甚至創業比賽的形式獲得眾人的關注，還可以是透過開源平臺提供豐富的程式設計案例給潛在使用者提供參考。
總而言之，為教育界提供一本滿足上述需求的教材是必不可少的。我很高興，作者能在昇騰AI處理器面世的短短時間內就完成了這樣一本教材，可以幫助人工智慧專業的研究生、本科生和從事人工智慧領域工作的工程師，讓他們能夠理解昇騰處理器基本概念，掌握使用昇騰處理器的方法，找到大部分相關問題的解決方案。
希望本書能夠幫助讀者瞭解專用人工智慧，幫助讀者進入華為人工智慧生態，進入中國人工智慧生態，進入未來智慧時代。
人工智慧正在賦能各行各業，人工智慧晶片是實現人工智慧的物理載體，華為的昇騰AI處理器則是重要的人工智慧晶片之一。《昇騰AI處理器架構與程式設計——深入理解CANN技術原理及應用》第一次向外界全面介紹了華為昇騰AI處理器，特別是翔實地介紹了其設計理念、體系結構與CANN程式設計方法，包括TBE運算元程式設計、排程及CUBE矩陣運算單元等，這些都是華為的原創成果。本書能夠讓讀者快速瞭解昇騰AI處理器的軟硬體架構和基本程式設計方法，幫助讀者在該晶片上進行程式設計實踐，適合用作高年級本科生或研究生學習人工智慧晶片的教材。對於希望在人工智慧和並行程式設計領域有所建樹的研發人員，本書也是一部很好的參考書。
本書定位人工智慧晶片領域選修類教材，面向工程科技類普通讀者，儘可能刪減繁雜抽象的公式定理和理論推導。讀者除需要具備基本的數學知識和程式設計能力外，不要求預修任何課程。本書特別理想的受眾是人工智慧、電腦科學、電子工程、生物醫藥、物理、化學、金融統計等需要用到大規模深度學習計算的研發人員群體。對於AI晶片的設計公司和開發者也提供了充分有力的參考。
本書共分六章，涉及神經網路基礎理論、計算晶片與開源框架、昇騰AI晶片軟硬體架構、程式設計設計思想方法、以及典型案例等，希望能夠從理論到實踐，幫助讀者瞭解昇騰AI晶片所使用的達芬奇架構，並掌握其具體的程式設計和使用方法，助力讀者打造屬於自己的人工智慧應用。