AI晶片混戰，誰能挑戰英偉達？

我準備寫一篇預測未來一年的AI晶片，以及英偉達如何應對挑戰的文章，但我很快意識到，文章要比我預期的要長得多。由於有很多內容要介紹，我決定把文章分為3個部分。

在過去五年中，英偉達將其資料中心業務發展成為一個價值數十億美元的巨頭，卻從未遇到過一個像樣的競爭對手。這是一個驚人的事實，在我的記憶中，這在當今的科技世界是無與倫比的。這種快速增長的動力主要來自對人工智慧（AI）和高效能運算（HPC）的快速GPU晶片的需求。英偉達執行長Jensen Huang喜歡談論深度學習領域的“寒武紀大爆發”，特別指的是神經網路演算法創新的快速步伐。我們將在第3部分中討論這對英偉達的意義，但我選擇借用這個概念作為本系列的標題。我們正處於全球許多大型和小型公司的專業AI晶片爆發的門口。三年前，晶片初創企業幾乎不可能獲得風險投資。而現在，有數十家資金充足的挑戰者在為人工智慧構建晶片。

圖1：英偉達將新型神經網路的爆炸式發展比作生命首次出現寒武紀時代。

去年，英偉達和IBM 達到了計算的頂峰，他們宣佈為世界上最快的超級計算機——美國能源部橡樹嶺國家實驗室（ORNL）的Summit超級計算機（約95%的效能歸功於英偉達的Volta GPU）提供動力。儘管這是一項令人難以置信的成就，但許多人開始懷疑，對於英偉達來說，整個童話故事能否持續下去。

圖2：美國能源部橡樹嶺國家實驗室的Summit超級計算機是當今世界上最快的計算機。

根據最新的季度報告，英偉達資料中心收入同比增長58％至7.92億美元，佔公司總收入的近25％。在過去4個季度中，這一數字總計為28.6億美元。如果該公司能保持這種增長，到2019年，資料中心的收入將達到45億美元。這聽起來像天堂，或者至少是地球上的天堂，對吧？

毫無疑問，英偉達在其強大的可擴充套件架構願景的推動下，打造出了卓越的產品。英偉達現在擁有一個由軟體、大學、初創企業和合作夥伴組成的強大和自我維持的生態系統，這些夥伴使它成為自己建立的新世界的主人。雖然有些人會認為，這一生態系統創造了一條不可逾越的護城河，但烏雲現在正出現在地平線上。潛在的威脅來自英特爾、谷歌、AMD以及數十家美國和中國的初創企業，它們都被炙手可熱的人工智慧所吸引。

到目前為止，在我看來，競爭主要是小打小鬧。競爭對手已經發布了幾十項宣告，但我非常確信，除了谷歌之外，沒有一家公司實際上從英偉達的金庫中獲得了任何收入。讓我們看看目前的競爭格局，看看2019年將會是什麼樣子。

儘管《紐約時報》統計有40多家初創公司進入了這一領域，但讓我們現實一點：只有少數公司才能真正在這個市場上取得成功（比如收入超過10億美元）。在深度神經網路的訓練方面，考慮到英偉達的產品、安裝基礎和無處不在的生態系統的強大，英偉達很難被擊敗。然而，目前規模相當小的推理市場最終將超過訓練市場的總收入。與訓練不同，推理不是單一的市場。它由雲端和邊緣的大量資料型別和相關的優化深度學習演算法組成，每種演算法都具有特定的效能、功耗和延遲要求。此外，在推理市場中沒有巨無霸，即使在英偉達聲稱擁有領導地位的汽車市場也是如此。由於這些原因，推理是大多數新進入者主要或最先關注的領域。讓我們看看那些正在爭奪席位的大公司。

最早證明專用晶片（稱為ASIC，或特定於應用的積體電路）可以對抗更可程式設計、更通用的用於深度學習的GPU的公司之一是谷歌。巧合的是，谷歌可能是英偉達最大的客戶之一。正如我之前所述，谷歌現在已經發布了四款“Tensor Processing Units”（TPU），這些晶片和電路板可以加速雲中的深度學習訓練和推理處理，最近還用於邊緣雲。谷歌的TPU用於訓練和處理深度神經網路的效能相當可靠，每塊晶片每秒可提供多達45萬億次操作（TOPS）。相比之下，英偉達的Volta最高可達125 TOPS。谷歌最初的兩個TPU實際上是供內部使用和吹噓的，但Google現在將它們作為一種服務提供給其在Google Compute Cloud上的雲客戶。

儘管TPU無疑對谷歌的人工智慧舉措起到了推動作用，但它們服務於谷歌內部使用案例（當然，這是一個相當大的市場）之外的市場卻是有意受到限制的。TPU只能用於訓練和執行谷歌TensorFlow AI框架; 你不能用它來訓練或執行用Apache MxNet或PyTorch構建的AI（這兩個是Facebook和微軟支援的快速增長的AI框架）。它們也不能用於GPU占主導地位的非AI HPC應用。此外，你不能購買TPU用於企業或政府資料中心和伺服器中的內部計算。但谷歌並不介意這一切，因為它認為TPU和TensorFlow對其人工智慧的整體領導地位具有戰略意義。針對硬體進行優化的軟體和針對軟體進行優化的硬體可以構建強大而持久的平臺。

TPU的更直接的影響可能是驗證ASIC概念可以作為GPU的替代方案，至少對潛在的投資者來說是這樣。一家深度學習晶片初創公司的執行長和我分享了這樣的經歷：在谷歌宣佈其TPU之後，風險資本開始自由流動。他隨後籌集到了數億美元。

谷歌一直善於從英偉達在GPU技術大會（通常是在3月份）上釋出的可預測的宣告中搶得一些風頭，我不會驚訝於看到谷歌今年再次亮相，或許會帶來一款效能資料引人注目的7奈米TPU產品。

亞馬遜網路服務公司（Amazon Web Services）也不甘落後，公司去年秋天宣佈，它也正在構建一個用於推理處理的定製ASIC。然而，該晶片仍在開發中，公司沒有分享任何有關設計或可用性的細節。

圖3：前Nervana執行長Naveen Rao領導著英特爾的AI產品開發，並且對公司的戰略透明化。

這變得有點複雜了，因為英特爾是大公司，同時在做很多工作，雖然英特爾打算在“2019年末”與Nervana晶片競爭人工智慧訓練和推理，但它意識到，推理將成為一個更大的市場，並有非常強大的影響力。除了Xeon CPU（最近更新後，推理效能得到顯著提升）之外，英特爾還收購了MobileEye和Movidius，分別用於汽車和嵌入式推理處理。我看過這兩種裝置的演示，它們確實令人印象深刻。英特爾還投資了一個名為DB2OpenVino的Run-Anywhere軟體棧，它允許開發人員在任何地方進行訓練，然後在一切英特爾處理器上進行優化和執行，非常令人驚豔。

在拉斯維加斯舉行的CES會議上，英特爾透露，它正在與Facebook就Nervana神經網路處理器（NNP-I）的推理版本密切合作，這令人驚訝，因為許多人預測Facebook正在開發自己的推理加速器。

與此同時，英特爾副總裁兼人工智慧產品總經理Naveen Rao在Twitter上分享說，NNP-I將是一個SOC（片上系統），在英特爾10奈米晶圓廠製造，並將包括IceLake x86核心。Rao表示，這將是英特爾未來的一個共同主題，可能是指未來用於桌上型電腦和膝上型電腦的X86/GPU晶片，類似於AMD的APU。

在訓練方面，英特爾最初的計劃是在收購Nervana一年後的2017年釋出一款名為“Lake Crest”Nervana NNP的產品。然後它拖到了2018年……最終，公司決定重新開始。這不太可能是因為Nervana完成的第一部分不好，相反，英特爾意識到，該器件的效能不足以大幅超過英偉達和它新增到Volta和後續GPU中的TensorCores。我想，當英偉達公佈它在7nm工藝上製造的任何令人驚豔的新產品時，我們將再次看到相同劇本的上演，但這有些想太遠了。

為了完整起見，我將這兩家公司包括在內，因為它們都專注於在手機（以及高通的物聯網裝置和自動駕駛汽車）上提供令人印象深刻的人工智慧能力。當然，蘋果專注於iPhone的A系列CPU和支援手機AI的IOS作業系統。隨著手機成為語音和影像處理領域的人工智慧推理的主導平臺，這兩家公司擁有大量可以用來確立領導地位的IP（儘管華為也在大力推動人工智慧，我們將在第2部分介紹）。

在過去的三年裡，AMD一直在努力讓它的AI的軟體工作室正常運轉。我2015年在那裡工作時，如果不啟動Windows，你甚至不能在Linux伺服器上執行它的GPU。從那時起，公司已經取得了長足的進步，ROCm軟體和編譯器簡化了從CUDA的遷移，MlOpen(不要與OpenML混淆)加速了晶片上的數學庫。然而，目前AMD的GPU仍然至少比英偉達V100的AI版本落後一代，而且V100已經接近兩年的歷史了。AMD如何在7 nm上與英偉達 TensorCores競爭仍有待觀察。

毫無疑問，可程式設計邏輯器件（FPGA）的領先供應商賽靈思在2018年的表現非常出色。除了宣佈7nm的下一代架構外，它還在微軟、百度、亞馬遜、阿里巴巴、戴姆勒賓士等公司的設計中取得了重大勝利。在人工智慧推理處理中，FPGA比ASIC有明顯的優勢，因為它們可以為手頭的特定工作動態地重新配置。當底層技術正在快速變化時，這一點非常重要，就像人工智慧的情況一樣。例如，微軟展示了它的FPGA（現在來自賽靈思和英特爾）如何在深度神經網路中對特定層使用1位、3位或幾乎任何精度的數學計算。這可能就像呆子一樣，但這可以大大加快處理速度並減少延遲，同時使用更少的功率。此外，即將推出的賽靈思7nm晶片稱為Versal，它具有AI和DSP引擎，可加速特定應用程式的處理，同時具有可適配的邏輯陣列。Versal將在今年的某個時候開始發貨，我認為它可能會改變推理處理的遊戲規則。

這是關於人工智慧晶片市場狀況，以及2019年將會發生什麼的三篇文章中的第二篇。今年將是新晶片和基準之戰的盛宴，領頭的是我在第一篇部落格中提到的大公司（英特爾、谷歌、AMD、賽靈思、蘋果、高通），此外，還有數十家矽谷初創公司和中國獨角獸的估值超過10億美元。在這一節中，我將介紹西方和中國最著名的初創公司，或者至少是呼聲最高的初創公司，中國政府正致力於打造本土的人工智慧晶片產業。我們將從Wave開始，它似乎是第一個將晶片用於訓練的公司。

Wave Computing經歷了一個多事的2018年，它推出了第一個資料流處理單元，收購了MIPS，建立了MIPS Open，並將它的第一個早期系統交付給了一些幸運的客戶。雖然Wave架構有一些非常有趣的特性，我將在這裡深入探討，但是我們正在等待大規模實際工作負載的客戶體驗資訊。

Wave不是連線到伺服器的加速器；它是用於圖形計算的獨立處理器。這種方法有優點也有缺點。從好的方面來說，Wave不會受到GPU等加速器中存在的記憶體瓶頸的影響。從消極的方面來看，安裝Wave裝置將是一次叉車式升級，需要完全替換傳統的X86伺服器，並且會成為所有伺服器製造商的競爭對手。

我不期待Wave在單個節點上提供優於英偉達的結果，但是它的架構設計得很好，而且公司已經表示，它應該很快就能得到客戶的結果。請繼續關注！

圖1：Wave出貨的系統是根據從上圖展示的4節點“DPU”板構建的。

Graphcore是一家資金雄厚（投資3.1億美元，目前估值為17億美元）的英國獨角獸創業公司，擁有世界一流的團隊。它正在構建一種新穎的圖形處理器架構，其記憶體與其邏輯位於同一晶片上，這將使實際應用具有更高的效能。這個團隊在很長一段時間裡一直在挑逗它將要釋出的新產品。去年4月，它“幾乎準備好上市”，而該公司去年12月的最新資訊表明，它將很快開始生產。它的投資者名單頗為引人注目，其中包括紅杉資本、寶馬、微軟、博世和戴爾科技。

我已經瞭解了Graphcore的架構，它看起來相當引人注目，從邊緣器件擴充套件到用於資料中心的訓練和推理的“Colossus”雙晶片封裝。在最近的NeurIPS活動上，Graphcore展示了它的RackScale IPU Pod，它在一個有32個伺服器的機架上提供了超過16 petaflp的效能。雖然Graphcore經常聲稱它的效能將是同類最佳GPU的100倍以上，但我的計算結果與此不同。

Graphcore表示，一個4“Colossus”GC2（8晶片）伺服器提供500 TFlops（每秒萬億次運算）的混合精度效能。單個英偉達V100可提供125 TFlops，因此從理論上講，4個V100應提供相同的效能。與往常一樣，問題在於細節，只有對程式碼進行重構以執行TensorCore執行的4x4矩陣乘法時，V100峰值效能才可用，Graphcore架構巧妙地避免了這一限制。更不用說V100價格昂貴，且耗電量高達300瓦。此外，Graphcore支援片上互連和“處理器記憶體”（片上儲存器）方法，這可能會帶來超出TFlops基準測試所暗示的優秀應用效能。在一些神經網路中，如生成性對抗網路（GAN），記憶體是瓶頸。

再次強調，我們將不得不等待真實的使用者用實際應用結果來評估此架構。儘管如此，Graphcore的投資者名單、專家名冊和超高的估值告訴我，這可能是一個好東西。

圖2:GraphCore展示了處理ImageNet資料集的這張非常酷的圖片。這種視覺化可以幫助開發人員瞭解他們的訓練處理消耗了處理週期中的哪些部分。

去年9月，以色列初創公司Habana Labs在第一屆人工智慧硬體峰會上宣佈，它已準備好推出第一款用於推理的晶片，並以創紀錄的效能執行卷積神經網路進行影像處理，這令許多人感到意外。結果顯示，在Resnet50影像分類資料庫中，該處理器每秒分類15,000張影像，比英偉達的T4高出約50％，功耗僅為100瓦。2018年12月，Habana Labs的最新一輪融資由英特爾風險投資（Intel Venture Capital）領投，WRV Capital、Bessemer Venture Partners和Battery Ventures跟投，該公司的融資也由此前的4500萬美元增加了7500萬美元。最近的資金將部分用於其名為“Gaudi”的第二款晶片的流片，該晶片將專注於訓練市場，據稱可擴充套件到1000多個處理器。在這個競爭激烈的領域，Habana Labs表現出很多希望。

我知道世界上有40多家公司在製造用於人工智慧訓練和推理的晶片。 我發現大多數公司都在做簡單的FMA（浮點乘法累加）和混合精度數學（8位整數，16位和32位浮點數），我對此並不驚訝。這種方法相對容易構建，也會得到一些容易摘到的果實，但與英偉達、英特爾等大公司以及少數幾家開發酷炫架構的初創公司（如Wave和GraphCore）相比，這無法提供持久的架構優勢。以下是幾家引起我注意的公司：

Groq：由從事TPU工作的前Google員工創立，有統治世界的雄心。Tenstorrent：加拿大前AMD員工創立，目前仍處於保密階段。我只能說其CEO的願景和架構給我留下了深刻的印象。

ThinCi：印度公司，專注於邊緣器件和自動駕駛汽車，與三星和Denso建立了合作伙伴關係。

Cerebras：由包括Andrew Feldman在內的前SeaMicro（AMD子公司）員工領導，目前仍處於深度“隱身”模式。

Mythic：一家採用獨特方法進行邊緣推理處理的創業公司，類似於非易失性儲存器上的模擬處理；應該在2019年推出晶片。

中國一直在努力尋找一條擺脫對美國半導體依賴的道路，而人工智慧加速器可能提供它一直尋求的出口。中國中央政府制定了2030年建設萬億美元人工智慧產業的目標，自2012年以來，投資者已經向初創公司投入了超過40億美元。美國國會稱這是一場人工智慧軍備競賽，由於中國企業和研究機構在推動創新方面較少考慮阻礙西方進步的隱私和倫理問題，美國科技行業可能會落後。

Cambricon（寒武紀科技）和SenseTime（商湯科技）可能是最值得關注的中國人工智慧公司，但邊緣AI領域Horizon Robotics這樣的公司值得關注。此外，請密切關注像百度、華為、騰訊和阿里巴巴這樣的大型網際網路公司，它們都在人工智慧軟體和硬體方面進行了大量投資。

寒武紀科技是一家估值25億美元的中國獨角獸公司，已經發布了第三代人工智慧晶片。該公司聲稱，在低功耗條件下，它可以比英偉達V100提供大約30%的效能優勢。寒武紀科技還向客戶銷售IP，併為華為麒麟970移動晶片組提供人工智慧硬體。

商湯科技或許是估值最高的人工智慧初創公司，它最出名的是在中國各地推廣智慧監控攝像頭。這些攝像頭的數量超過1.75億臺，其中包括其他公司生產的攝像頭。商湯科技在香港成立，最近一輪融資數額達6億美元，由阿里巴巴領投。據多家媒體報導，這家初創公司目前的估值為45億美元。商湯科技與阿里巴巴、高通、本田、甚至英偉達等大公司建立了戰略合作伙伴關係。該公司現在擁有一臺超級計算機，執行大約8000個（可能是英偉達提供的）GPU，並計劃再建造5臺超級計算機來處理數百萬個攝像頭採集的面部識別資料。

既然我已經震驚了所有持有英偉達股票的人，並把希望帶給了那些花很多錢購買英偉達GPU的人，那麼讓我們現實地看看英偉達如何在一個競爭激烈得多的市場中保持其領導地位。我們需要分別研究訓練和推理市場。

首先，讓我們看看英特爾在Nervana方面的經驗。在被英特爾收購之前，Nervana聲稱它的表現將比GPU至少高出10倍。然後，在通往勝利的路上發生了一件有趣的事情：英偉達的TensorCores讓每個人都感到驚訝，它強於Pascal不是2倍，而是5倍。接著，英偉達又在NVSwitch上加倍努力，構建出了效能驚人的8 GPU DGX-2伺服器（售價40萬美元，相當昂貴），擊敗了大部分（或許全部）競爭對手。與此同時，英偉達的CuDNN庫和驅動程式的效能幾乎翻了一番。它還構建了GPU雲，使得使用GPU就像單擊和下載優化的軟體堆疊容器一樣簡單，可以用於大約30個深度學習和科學工作負載。因此，正如我在之前的文章中所分享的那樣，英特爾承諾的10倍效能優勢消失了，而承諾在2019年末推出一款Nervana新晶片現在不得不回到設計階段。基本上，英偉達證明了，在一個虛擬車庫中，有著堅實履歷和技術儲備的1萬多名工程師可以勝過50名聰明的工程師。任何人都不應該感到驚訝，對吧？

現在，快到三年到2019年。再一次，競爭對手聲稱他們的晶片有10倍甚至100倍的效能優勢，而這一切都還在開發中。英偉達仍擁有一萬名工程師隊伍，並與全球頂尖的研究人員和終端使用者保持著技術合作關係。現在，他們都在為英偉達的下一代7nm晶片獻技，在我看來，這基本上將使該公司的產品從“帶AI的GPU晶片”轉變為“帶GPU的AI晶片”。

圖1：英偉達的DGX-2超級計算機用連線在NVSwitch上的16 V100 GPU提供了2 peta-ops的AI效能。 

英偉達工程師需要為公司的下一代產品新增多少額外的邏輯區域？雖然下面的分析很簡單，但它可以有效地構建對這個關鍵問題的答案。

讓我們從第一款貌似具有出色效能的ASIC開始，即谷歌TPU。我看到分析說每個谷歌TPU晶片大約是2-2.5B個電晶體。Volta V100在12nm製造工藝中擁有大約21B電晶體。它是臺積電可以製造的最大晶片。隨著英偉達從12nm遷移到7nm，晶片可以包含大約1.96（1.4x1.4）倍的電晶體。因此，從理論上講，如果英偉達不新增任何圖形邏輯（當然不太可能），它將會有另外200億個電晶體可以使用，大約是整個Google TPU邏輯量的十倍。假設我的邏輯部分佔去2倍。在這種情況下，英偉達工程師仍然有5倍的邏輯可用於新AI功能。現在，所有這一切都假設英偉達將全力追求效能，而不去降低成本或電力。不過，在訓練市場上，這正是使用者所需要的：縮短訓練時間。關於英偉達可能提供什麼，有很多想法，包括處理器記憶體和更多版本的tensorcore。

我的觀點是，英偉達毫無疑問擁有足夠的專業知識和可用的晶片空間來進行創新，就像它在tensorcore上所做的那樣。我和許多有趣的AI晶片初創公司談過，但我最尊敬的那些公司告訴我，他們沒有低估英偉達，也不認為他們被困在GPU的思維模式中。英偉達DLA和Xavier，一個ASIC和一個SOC，分別證明了英偉達可以建立各種各樣的加速器，而不僅僅是GPU。因此，這些初創公司的CEO中有許多人決定不採用英偉達的方式，而是首先關注推理。

我認為英偉達在訓練方面不會長期處於劣勢。它的問題可能是晶片成本高，但在訓練方面，客戶會買單。此外，在推理方面，英偉達的Xavier是一款令人印象深刻的晶片。

讓我們回到寒武紀大爆發的觀點。英偉達正確地指出，我們正處於演算法研究和實驗的早期階段。一個在處理方面做得很好的ASIC（比如用於影像處理的卷積神經網路）可能（而且幾乎肯定會）在處理方面做得很糟糕（例如，GAN、RNN或尚待發明的神經網路）。這裡是GPU可程式設計性與英偉達的研究人員生態系統相結合的地方，如果英偉達能夠解決即將出現的記憶體問題，那麼GPU可以相當快地適應一種新的神經網路處理方式。通過使用NVLink建立一個由8個GPU和256 GB高頻寬（HBM）記憶體組成的網狀結構，英偉達已經以高昂的代價顯著降低了記憶體容量問題。我們將不得不等待它的下一代GPU來了解它是否以及如何解決延遲和頻寬問題，這些問題需要的記憶體大約是HBM的10倍。

正如我在本系列的第1部分中所寫的那樣，對於推理領域，現在不存在巨無霸，邊緣和資料中心推理市場是多樣化的，並準備快速增長，但我不得不懷疑，從利潤率的角度來看，大規模推理市場是否會是一個特別有吸引力的市場。畢竟，在未來的大宗商品市場上，由於許多公司都在爭奪注意力和銷量，利潤率可能相當微薄。有些推理很簡單，有些則非常困難。後一個市場將保持較高的利潤率，因為只有配備了CPU、Nervana、GPU、DSP和ASIC等並行處理引擎的複雜SOC才能提供自動駕駛所需的效能。英特爾的Naveen Rao最近在twitter上釋出訊息稱，Nervana推理處理器實際上將是一個採用Ice Lake CPU核心的10nm SOC。英偉達已經率先將Xavier SOC用於自動駕駛，而賽靈思也將在今年晚些時候採用類似的方法把Versal晶片用於自動駕駛。任何走在這條道路上的創業公司都需要有以下兩點：a)非常好的“效能/瓦特”值，b)創新路線圖，使他們保持領先於大宗商品。

總之，我要重申以下幾點：

1. AI的未來是由專用晶片實現的，專用晶片的市場將變得巨大。

2. 全球最大的幾家晶片公司打算在未來的人工智慧晶片戰爭中獲勝。雖然英特爾正在追趕，但不要低估它的能力。

3. 有許多資金充足的初創企業，其中一些將會成功。如果你想投資一家風投支援的公司，請確保他們不會輕視英偉達的實力。

4. 未來5年，中國將在很大程度上擺脫對美國人工智慧技術的依賴。

5. 英偉達擁有超過1萬名工程師，其下一代用於人工智慧的高階GPU可能會讓我們所有人大吃一驚。

6. 推理市場將迅速增長，並將有許多特定於應用的器件的空間。FPGA可能在這裡發揮重要作用，特別是賽靈思的下一代FPGA。

顯然，關於這個主題有很多內容要介紹，而我只是觸及了皮毛！感謝您花時間閱讀本系列文章，我希望它具有啟發性和知識性。