12月10日—11日，由北京未來晶片技術高精尖創新中心和清華大學微電子學研究所聯合主辦的「第三屆未來晶片論壇：可重構計算的黃金時代」在清華大學主樓舉辦，並正式釋出了《人工智慧晶片技術白皮書（2018）》（以下簡稱《白皮書》），《白皮書》電子版在機器之心同步首發。
撰文 | 四月
人工智慧熱潮面前，淘金窪地接踵而至，安防、醫療、零售、出行、教育、製造業……因循守舊的傳統行業正因為人工智慧的嵌入而煥發出更多維度的商業機會，而這些機會都離不開基礎層算力的支援，於是「AI 晶片」成為了 2018 年度最為熱門的關鍵詞之一。
然而，一個尷尬卻無奈的現實正橫亙在人工智慧落地之路上——算力捉襟見肘，走出測試階段的 AI 晶片寥寥無幾，特定計算需求無法滿足，導致再完美的演算法也難以在實際場景中執行。
最典型的例子，安防市場談智慧終端攝像頭已經有兩三年時間，儘管巨頭新秀的口號此起彼伏，但迫於晶片市場進度滯後，該類攝像頭至今仍未普及開來。但與此同時，算力的進步恰恰來自於演算法的迭代和優化。演算法和算力——雞和蛋的互生問題，正在相互促進卻又在彼此制約中發展。
今天，機器之心帶來一篇深刻講述 AI 晶片產業發展全貌的權威報告——由清華大學—北京未來晶片技術高精尖創新中心聯合釋出的《人工智慧晶片技術白皮書（2018）》。
《白皮書》編寫團隊資深權威，包括史丹佛大學、清華大學、香港科技大學、臺灣新竹清華大學及北京半導體行業協會，新思科技等在內的領域頂尖研究者和產業界資深專家，10 餘位 IEEE Fellow，共同編寫完成。
《白皮書》釋出儀式現場，照片從左至右分別為劉勇攀、尹首一、X.Sharon Hu、Kwang-Ting Tim Cheng、魏少軍、唐杉、Yiran Chen、吳華強。
《白皮書》分享了近兩年來 AI 晶片與演算法領域的諸多創新成果，通過客觀闡述 AI 晶片在軟硬體層面的技術難度，剖析 AI 晶片目前所處的產業地位、發展機遇與需求趨勢，梳理 AI 晶片產業現狀及各種技術路線，增進產業人士和從業者對於 AI 晶片市場的風險預判，以更為自信和從容的姿態迎接晶片市場的新機遇和新挑戰。
一、AI 晶片的基本定義
《白皮書》第一、二、三章開宗明義，綜述了 AI 晶片的技術背景，從多個維度提出了滿足不同場景條件下理想的 AI 晶片和硬體平臺的關鍵特徵，提出 AI 晶片技術的重要地位以及對於我國未來晶片及人工智慧領域發展的意義。
業界關於 AI 晶片的定義仍然缺乏一套嚴格和公認的標準。比較寬泛的看法是，面向人工智慧應用的晶片都可以稱為 AI 晶片。由於需求的多樣性，很難有任何單一的設計和方法能夠很好地適用於各類情況。因此，學界和業界湧現出多種專門針對人工智慧應用的新穎設計和方法，覆蓋了從半導體材料、器件、電 路到體系結構的各個層次。
該《白皮書》探討的 AI 晶片主要包括三類：
1）經過軟硬體優化可以高效支援 AI 應用的通用晶片，例如 GPU ;
2）側重加速機器學習（尤其是神經網路、深度學習）演算法的晶片，這也是目前 AI 晶片中最多的形式 ;
3）受生物腦啟發設計的神經形態計算晶片。
AI 技術的落地需要來自多個層面的支援，貫穿了應用、演算法機理、晶片、工具鏈、器件、工藝和材料等技術層級。各個層級環環緊扣形成AI的技術鏈，而AI晶片本身處於整個鏈條的中部，向上為應用和演算法提供高效支援，向下對器件和電路、工藝和材料提出需求。
針對應用目標是「訓練」還是「推斷」，把 AI 晶片的目標領域分成 4 個象限。
1、雲端AI計算
面向雲端 AI 應用，很多公司開始嘗試設計專用晶片以達到更高的效率，其中最著名的例子是 Google TPU，可以支援搜尋查詢、翻譯等應用，也是 AlphaGo 的幕後英雄。
由於使用了專用架構，TPU 實現了比同時期 CPU 和 GPU 更高的效率。
針對雲端的訓練和推斷市場，從晶片巨頭到初創公司都高度重視。英特爾宣佈推出 Nervana 神經網路處理器 (NNP)，可以優化 32GB HBM2、1TB/s 頻寬和 8Tb/s 訪問速度的神經網路計算。 初創公司，如Graphcore、Cerebras、Wave Computing、寒武紀及位元大陸等也加入了競爭的行列。
此外，FPGA 在雲端的推斷也逐漸在應用中佔有一席之地。
微軟的 Brainwave 專案和百度 XPU 都顯示，在處理小批量情況下，FPGA 具有出色的推斷效能。目前， FPGA 的主要廠商如 Xilinx、Intel 都推出了專門針對 AI 應用的 FPGA 硬體（支援更高的儲存頻寬）和軟體工具；主要的雲服務廠商，比如亞馬遜、微軟及阿里雲等推出了專門的雲端 FPGA 例項來支援 AI 應用。
2、邊緣 AI 計算
邊緣裝置的覆蓋範圍其應用場景也五花八門。比如自動駕駛汽車可能就需要一個很強的計算裝置，而在可穿戴領域，則要在嚴格的功耗和成本約束下實現一定的智慧 。
目前應用最為廣泛的邊緣計算裝置來自於智慧手機，蘋果、華為、高通、聯發科和三星等手機晶片廠商紛紛推出或者正在研發專門適應AI應用的晶片產品。創業公司層面，主要為邊緣計算裝置提供晶片和系統方案，比如地平線機器人、寒武紀、深鑑科技、元鼎音訊等。
傳統的 IP 廠商，包括 ARM、Synopsys 等公司也都為手機、智慧攝像頭、無人機、工業和服務機器人、智慧音響以及各種物聯網裝置等邊緣計算裝置開發專用 IP 產品。
自動駕駛是未來邊緣 AI 計算的最重要應用之一，MobileEye SOC 和 NVIDIA Drive PX 系列提供神經網路的處理能力可以支援半自動駕駛和完全自動駕駛。
3、雲和端的融合
總的來說，雲和端各有其優勢和明顯短板。雲側AI處理主要強調精度、處理能力、記憶體容量和頻寬，同時追求低延時和低功耗；邊緣裝置中的 AI 處理則主要關注功耗、響應時間、體積、成本和隱私安全等問題。
在實際應用中，雲和邊緣裝置在各種 AI 應用中往往是配合工作。最普遍的方式是在雲端訓練神經網路，然後在雲端（由邊緣裝置採集資料）或者邊緣裝置進行推斷。隨著邊緣裝置能力不斷增強，雲的邊界逐漸向資料的源頭，AI處理將分佈在各類網路裝置中，未來雲和邊緣裝置以及連線他們的網路可能會構成一個巨大的 AI 處理網路，它們之間的協作訓練和推斷也是一個有待探索的方向。
二、突破 AI 晶片兩大困境
《白皮書》第四章分析在 CMOS 工藝特徵尺寸逐漸逼近極限的大背景下，結合 AI 晶片面臨的架構挑戰，AI 晶片的技術趨勢。一方面，研究具有生物系統優點而規避速度慢等缺點的新材料和新器件，採用新的計算架構和計算正規化，另一方面，將晶片整合從二維平面向三維空間擴充，採用更為先進的整合手段和整合工藝，將是 AI 晶片技術在很長一段時期內的兩條重要的路徑。
1、馮·諾伊曼的「記憶體牆」
在傳統馮·諾伊曼體系結構中，資料從處理單元外的儲存器提取，處理完之後在寫回儲存器。在 AI 晶片實現中，由於訪問儲存器的速度無法跟上運算部件消耗資料的速度，再增加運算部件也無法得到充分利用，即形成所謂的馮·諾伊曼「瓶頸」，或「記憶體牆」問題，是長期困擾計算機體系結構的難題。
提高 AI 晶片效能和能效的關鍵之一在於支援高效的資料訪問。目前常見的方法是利用快取記憶體 (Cache) 等層次化儲存技術儘量緩解運算和儲存的速度差異。
從上圖可見，AI 晶片中需要儲存和處理的資料量遠遠大於之前常見的應用。 比如，在常見的深度神經網路的主要引數中，VGG16 網路需要 138M 個權重引數，一次推斷過程需要 15.5G 次乘累加運算。
不誇張地說，大部分針對 AI，特別是加速神經網路處理而提出的硬體架構創新都是在和馮·諾伊曼的瓶頸做鬥爭。概括來說，在架構層面解決這一問題的基本思路有兩種 :
1）減少訪問儲存器的數量，比如減少神經網路的儲存需求(引數數量，資料精度，中間結果)、 資料壓縮和以運算換儲存等 ；
2）降低訪問儲存器的代價，儘量拉近儲存裝置和運算單元的「距離」，甚至直接在儲存裝置中進行運算。
2、摩爾定律「失效」
由於基礎物理原理限制和經濟的原因，持續提高整合密度將變得越來越困難。目前，CMOS 器件的橫向尺寸接近幾奈米，層厚度只有幾個原子層，這會導致顯著的電流洩漏，降低工藝尺寸縮小的效果。此外，這些奈米級電晶體的能量消耗非常高，很難實現密集封裝。
另外，目前 DRAM 技術已經接近極限，而物聯網 (IoT)、社交媒體和安全裝置產生的大量資料所需要的儲存、交換和處理都需要大量的儲存器。非易失儲存技術的主力是 NAND 快閃記憶體，最先進的 3D NAND 具有多達 64 層和 256 Gb 的容量，預計於 2018 年進入市場。
由於 DRAM 和 NAND 快閃記憶體都是獨立於計算核心的，即使採用最小的 SRAM 單元填充 1 平方釐米晶片面積的一半，也只有約 128 兆的片上儲存容量。因此，我們有充足的理由開發提供大量儲存空間的片上儲存器技術，並探索利用片上儲存器去構建未來的智慧晶片架構。
在計算架構和器件層面，類腦晶片是一個不錯的思路。神經元和大腦突觸的能量消耗比最先進的 CMOS 器件還低幾個數量級。理想情況下，我們需要具有生物系統優點而規避速度慢等缺點的器件和材料。
近年來，可以儲存模擬數值的非易失性儲存器發展迅猛，它可以同時具有儲存和處理資料能力，可以破解傳統計算 體系結構的一些基本限制，有望實現類腦突觸功能。
三、架構設計之三大趨勢
《白皮書》第五章討論了建立在當前 CMOS 技術整合上的雲端和邊緣 AI 晶片架構創新。針對不同計算場景和不同計算需求，雲端和終端晶片的架構設計趨勢將朝不同的方向發展，而軟體定義晶片已經成為靈活計算領域的主流。
1、雲端訓練和推斷:大儲存、高效能、可伸縮
雖然訓練和推斷在資料精度、架構靈活和實時性要求上有一定的差別，但它們在處理能力(吞吐率)、可伸縮可擴充套件能力以及功耗效率上具有類似的需求。
NVIDIA 的 V100 GPU 和 Google 的 Cloud TPU 是目前雲端商用 AI 晶片的標杆。
（Cloud TPU 的機櫃包括 64 個 TPU2，能夠為機器學習的訓練任務提供 11.5 PFLOPS 的處理能力和 4 TB 的 HBM 儲存器。這些運算資源還可以靈活地分配和伸縮，能夠有效支援不同的應用需求。）
從 NVIDIA 和 Google 的設計實踐我們可以看出雲端 AI 晶片在架構層面，技術發展呈現三大特點和趨勢：
1）儲存的需求 (容量和訪問速度) 越來越高。未來雲端 AI 晶片會有越來越多的片上儲存器 (比如 Graphcore 公司就在晶片上實現的 300MB 的 SRAM)，以及能夠提供高頻寬的片外儲存器 (HBM2 和其它新型封裝形式)。
2）處理能力推向每秒千萬億次 (PetaFLOPS)，並支援靈活伸縮和部署。對雲端 AI 晶片來說，單芯 片的處理能力可能會達到 PetaFLOPS 的水平。實現這一目標除了要依靠 CMOS 工藝的進步，也需要靠架構的創新。比如在 Google 第一代 TPU 中，使用了脈動陣列 (Systolic Array) 架構，而在 NVIDIA 的 V100GPU 中，專門增加了張量核來處理矩陣運算。
3）專門針對推斷需求的 FPGA 和 ASIC。推斷和訓練相比有其特殊性，更強調吞吐率、能效和實時性，未來在雲端很可能會有專門針對推斷的 ASIC 晶片 (Google 的第一代 TPU 也是很好的例子)，提供更好的能耗效率並實 現更低的延時。
2、邊緣裝置：把效率推向極致。
相對雲端應用，邊緣裝置的應用需求和場景約束要複雜很多，針對不同的情況可能需要專門的架構設計。拋開需求的複雜性，目前的邊緣裝置主要是執行「推斷」。衡量 AI 晶片實現效率的一個重要指標是能耗效率——TOPs/W，這也成為很多技術創新競爭的焦點。在 ISSCC2018 會議上，就出現了單位元能效達到 772 TOPs/W 的驚人資料。
在提高推斷效率和推斷準確率允許範圍內的各種方法中，降低推斷的量化位元精度是最有效的方法。此外，提升基本運算單元 (MAC) 的效率可以結合一些資料結構轉換來減少運算量，比如通過快速傅立葉變換 (FFT) 變換來減少矩陣運算中的乘法；還可以通過查表的方法來簡化 MAC 的實現等。
另一個重要的方向是減少對儲存器的訪問，這也是緩解馮·諾伊曼「瓶頸」問題的基本方法。利用這樣的稀疏性特性，再有就是拉近運算和儲存的距離，即的概念，比如把神經網路運算放在感測器或者儲存器中。
3、軟體定義晶片
對於複雜的 AI 任務，甚至需要將多種不同型別的 AI 演算法組合在一起。即使是同一型別的 AI 演算法，也會因為具體任務的計算精度、效能和能效等需求不同，具有不同計算引數。因此，AI 晶片必須具備一個重要特性:能夠實時動態改變功能，滿足軟體不斷變化的計算需求，即「軟體定義晶片」。
可重構計算技術允許硬體架構和功能隨軟體變化而變化，具備處理器的靈活性和專用積體電路的高效能和低功耗，是實現「軟體定義晶片」的核心，被公認為是突破性的下一代積體電路技術。清華大學微電子所設計的 AI 晶片 (代號 Thinker)，採用可重構計算架構，能夠支援卷積神經網路、全連線神經網路和遞迴神經網路等多種 AI 演算法。
Thinker 晶片通過三個層面的可重構計算技術，來實現「軟體定義晶片」，最高能量效率達到了 5.09TOPS/W :
1. 計算陣列重構：Thinker 晶片每個計算單元可以根據演算法所需要的基本運算元不同而進行功能重構，支援計算陣列的按需資源劃分以提高資源利用率和能量效率。
2. 儲存頻寬重構 :Thinker 晶片的片上儲存頻寬能夠根據 AI 演算法的不同而進行重構。儲存內的資料分佈會隨著頻寬的改變而調整，以提高資料複用性和計算並行度，提高了計算吞吐和能量效率。
3. 資料位寬重構 :為了滿足 AI 演算法多樣的精度需求，Thinker 晶片的計算單元支援高低 (16/8 位元) 兩種資料位寬重構。高位元模式下計算精度提升，低位元模式下計算單元吞吐量提升進而提高效能。
採用可重構計算技術之後，軟體定義的層面不僅僅侷限於功能這一層面。演算法的計算精度、效能和能效等都可以納入軟體定義的範疇。
四、新興儲存技術開啟新思路
《白皮書》第六章主要介紹對 AI 晶片至關重要的儲存技術，包括傳統儲存技術的改進和基於新興非易失儲存（NVM）的儲存器解決方案。
可以預見的是，從器件到體系結構的全面創新或將賦予 AI 晶片更強的能力。近期，面向數字神經網路的加速器 (GPU、 FPGA 和 ASIC) 迫切需要 AI 友好型儲存器 ;中期，基於存內計算的神經網路可以為規避馮·諾依曼瓶頸問題提供有效的解決方案 ；最後，基於憶阻器的神經形態計算可以模擬人類的大腦，是 AI 晶片遠期解決方案的候選之一。
1、AI 友好型儲存器
上圖顯示了新興儲存技術中頻寬和容量的快速增長。新興的 NVM 由於其相對較大的頻寬和迅速增長的容量，可以在 AI 晶片的儲存技術中發揮至關重要的作用。對於嵌入式應用，NVM 的片上儲存器也可以提供比傳統 NVM 更好的存取速度和低功耗，可在非常有限的功率下工作，這對於物聯網邊緣裝置上的 AI 晶片特別具有吸引力。
2、片外儲存器
3D 整合已經被證明是增加商業儲存器的頻寬和容量的有效策略，其可以通過使用從底部到頂部的矽通孔 (TSV) 技術，堆疊多個管芯或者單片製造的方法來完成。DRAM 的代表作品包括 HBM 和混合儲存器立方體 (HMC)。
上圖顯示了 NVIDA 的 GPU 產品與 HBM 整合的 AI 應用程式。對於 NAND 快閃記憶體，3D NAND 正在深入研究。最近，三星已經開發出 96 層 3D NAND。
3、片上（嵌入型）儲存器
由於能夠連線邏輯和儲存器電路，並且與邏輯器件完全相容，SRAM 是不可或缺的片上儲存器，其效能和密度不斷受益於 CMOS 的尺寸縮放。其易失性使得晶片上或晶片外的非易失性儲存器成為必須。當前主要和新興儲存器的器件指標如下：
此外，自旋力矩傳輸儲存器 (STT-MRAM) 由於其高耐久性和高速度被認為是 DRAM 的替代品。
五、五大計算技術開闢疆界
《白皮書》第七章重點討論 AI 晶片在工藝、器件、電路和儲存器方面的前沿研究工作，和以此為基礎的存內計算、生物神經網路等新技術趨勢。
雖然成熟的 CMOS 器件已被用於實現這些新的計算範例，但是新興器件有望在未來進一步顯著提高系統性 能並降低電路複雜性。這其中包括近記憶體計算、存內計算，以及基於新型儲存器的人工神經網路和生物神經網路。
基於新興非易失性儲存器件的人工神經網路計算最近引起了人們的極大關注。這些器件包括鐵電儲存器 (FeRAM)、磁隧道結儲存器 (MRAM)、相變儲存器 (PCM) 和阻變儲存器 (RRAM) 等，它們可用於構建待機功耗極低的儲存器陣列。更重要的是，它們都可能成為模擬存內計算 (Analog In-memory Computing) 的基礎技術，實現資料儲存功能的同時參與資料處理。這些器件一般都以交叉陣列 (crossbar) 的形態實現，其輸入 / 輸出訊號穿過構成行列的節點。
上圖就是一個 RRAM 交叉陣列的例子，其中矩陣權重被表示為電導。交叉陣列非常自然地實現了向量和矩陣乘法，使用圖中整合 1024 單元的陣列進行並行線上訓練，清華大學吳華強課題組在國際上首次成功實現了灰度人臉分類。
另一種更具生物啟發性的方法是採用脈衝神經網路等，更嚴格地模擬大腦的資訊處理機制。IBM TrueNorth 和最近宣佈的英特爾 Loihi 展示了使用 CMOS 器件的仿生脈衝神經網路硬體實現。
六、神經形態晶片的終極夢想
《白皮書》第八章介紹神經形態計算技術和晶片的演算法、模型以及關鍵技術特徵，並分析該技術面臨的機遇和挑戰。
神經形態晶片 (Neuromorphic chip) 採用電子技術模擬已經被證明了的生物腦的運作規則，從而構建類似於生物腦的電子晶片，即「仿生電腦」。
廣義上來講，神經形態計算的演算法模型可以大致分為人工神經網路 (Artificial Neural Network, ANN)、脈衝神經網路 (Spiking Neural Network, SNN)，以及其他延伸出的具有特殊資料處理功能的模型。在沒有歷史記憶情形下，SNN 與 ANN 具有一定程度的等價性。
借鑑生物腦的互聯結構，神經形態晶片可以實現任意神經元間的互聯。即在指定規模的仿生神經網路下，任意一個神經元都可以把資訊傳遞給指定的另一個或多個神經元。如此強大的細粒度互聯能力是其他神經網路 / 深度學習晶片目前還無法做到的。
神經形態晶片在智慧城市、自動駕駛的實時資訊處理、人臉深度識別等領域都有出色的應用。如 IBM TrueNorth 晶片可以用於檢測影象中的行人、車輛等物體，且功耗極低 (65mW)。它也可被用於語音、 影象資料集識別等任務，準確性不遜於 CNN 加速器晶片。此外，線上學習能力也是神經形態晶片的一大亮點。
研究人員已證明，與其他典型的 SNN 網路相比，在解決 MNIST 數字體識別問題上，英特爾 Loihi 芯 片將學習速度提高了 100 萬倍。
在傳統 CMOS 工藝下，神經形態晶片的物理結構較為成熟，但對於可以模擬大規模神經網路而言 (如 大於人腦 1% 規模的系統而言)，仍存在很多挑戰，包括：
1）散熱問題將導致單晶片規模無法繼續增長，片上儲存和積分計算單元的密度不夠，導致整合的突觸和神經元數量無法繼續提升，功耗居高不下。
2）由於其陣列眾核的特性，在片上、跨晶片、跨板、多機等尺度下的互聯和同步問題突出。
3）為了提升密度，大多 ASIC 晶片可模擬的神經形態演算法過於單一或簡化，缺乏靈活性和模模擬實生物神經元的能力。
七、AI 晶片的測試判斷
《白皮書》第九章探討了 AI 晶片的基準測試和發展路線圖。目前，我們還沒有看到任何公開、全面的針對 AI 晶片的基準測試工作。業界對於 AI 晶片的評估主要靠執行一些 常見的神經網路以及其中使用較多的基本運算來進行，比如由百度提出 Deepbench。
EXCEL 中心的研究人員 (由美國 NSF 和 SRC 資助) 正在積極研究非馮·諾依曼硬體的基準測試方法學，比如針對 MNIST 資料集的任務。為了應對面向 AI 應用的硬體基準測試的相關挑戰，我們需要收集一組架構級功能單元，確定定量和定性的優值 (Figures of Merits, FoM) 並開發測量 FoM 的統一方法。
神經形態計算的材料和器件需要具備：
1) 多型行為，能夠根據過去的歷史決定當前狀態值 ;
2) 低能耗，能以很 低的能耗從一種狀態切換到另一種狀態 ;
3) 非易失性 :無需重新整理就可以保持狀態的屬性 ;
4) 閾值行為 :受到重複激 勵後可以劇烈地改變某些屬性 ;
5) 容錯性。
判斷一顆基於某種特定器件工藝、電路形式和體系結構而實現的晶片好壞，在很大程度上取決於它針對的具體應用和演算法 / 模型。為了對各種各樣的器件進行基準測試，有必要明確目標應用、適用的演算法和模型以及電路設計等資訊。
只有提供足夠詳細的資訊，才可以既不限制選擇範圍，又同時明確器件需求。
《白皮書》最後一章對 AI 晶片的未來發展進行了展望。由於人工智慧技術整體發展還處於初級階段，AI 晶片行業的發展也隨之面臨極大的不確定性。而這種不確定性恰恰為各種 AI 晶片技術創新提供了一個巨大的舞臺，我們可以期待在這個舞臺上看到前所未有的精彩表演。
開啟微信，長按識別小程式二維碼，獲得報告全文。
