「（關於 AI 晶片的開發）我們正處於非常初期的階段……」在國際晶片頂會 ISSCC 上，深度學習先驅 Yann LeCun 破天荒地披露了 Facebook 正在自研深度學習晶片的資訊。在這個硬體大會上，這一次他不僅說了很多，而且面對的是滿堂晶片領域專家，頗有一副「我來教你怎麼做晶片」的姿態。
2019 ISSCC 大會近日在美國舊金山開幕，Facebook 首席 AI 科學家 Yann LeCun 在會上發表了主題演講「深度學習硬體：過去、現在和未來」，介紹了深度學習研究的發展將如何影響未來硬體架構。
LeCun 在演講中表示，我們對深度學習專業硬體的需求只會增加，動態網路、聯合記憶結構和稀疏啟用都將會影響未來硬體架構的型別。「這可能需要我們重造電路中的演算法。」LeCun 說，如今的計算晶片明顯沒有面向深度學習進行優化，「所以人們正在嘗試設計表達數值的更高效方式。」
此外，在接受 VentureBeat 的採訪中他還表示：深度學習可能需要一種比 Python 更靈活、更易於使用的新程式語言，目前尚不清楚是否有必要對此進行研究，但這種未來的語言與研究人員和工程師們根深蒂固的思想肯定是完全相反的。
在下面的視訊中，LeCun 討論了業內需要解決的硬體挑戰，以創造更高效、更有效的 AI 系統。LeCun 在 Twitter 上表示該視訊很好地總結了他今天在 ISSCC 的演講。
接下來，機器之心將對 Yann LeCun ISSCC 大會演講的核心內容進行介紹：
PPT 地址：https://pan.baidu.com/s/1lXv0aDSEKXKYQVhJc5X6-A
LeCun 蛋糕 2.0 版、對圖網路優化的 AI 晶片
未來的人工智慧晶片肯定和現在相對通用化的 CPU、GPU 有著不同架構，這一切還要從深度學習的發展說起。所以 LeCun 首先對在場的觀眾們介紹了 AI 演算法的發展。
我們都知道機器學習的蛋糕理論：假設機器學習是一個蛋糕，強化學習是蛋糕上的櫻桃，監督學習是外面的糖衣，無監督學習則是蛋糕本體。在這之中，無監督學習的重要性不言而喻。為了讓強化學習奏效，也離不開無監督學習的支援。
在 ISSCC 2019 上，Yann LeCun 再次放出了最新版的「LeCun 蛋糕圖」：
其中，無監督學習變成了自監督學習，我們可以認為 LeCun 所說的自監督學習就是一種無監督方法，模型預測的結果就是輸入本身或輸入的一部分。例如常見的自編碼器，我們希望將影像壓縮到一個短向量，再恢復完整的影像，我們希望輸入和輸出都是相同的，因此這可以視為一種自監督。又例如近來非常流行的預訓練語言模型，我們會刪除完整句子的某個或某些詞，並希望模型重建完整語句，這裡輸入和預測也是相同的，因此它也是一種自監督學習。
目前的蛋糕與 LeCun 在 NIPS 2016 大會上第一次釋出的版本已有所不同：
事實證明，機器學習的研究人員真的喜歡蛋糕，有時也會在上面放個櫻桃。
未來的 AI 晶片將會發展成什麼樣？在回顧了歷史之後，LeCun 給出了自己的期望。首先，我們迫切地需要低功耗晶片處理來自移動裝置的所有感測器資料，因為一些資料對於頻寬和延遲較為敏感，在傳送到雲端之前需要預先處理。
然後是「中間段」計算的範疇，它們通常是傳統的「離線」神經網路訓練和傳統雲端推理。這些任務都會消耗大量資源，因此科技公司急需獲得更加高效的硬體。
在深度學習「食物鏈」的最高階，Facebook 和亞馬遜、谷歌的研發部門一樣正需要英偉達 GPU 之外的更多解決方案。當前，英偉達 GPU 是深度學習訓練事實上的解決方案。「在最高階的位置，我們需要的是目前主流解決方案之外的競爭者。」LeCun 表示，「這並不是因為它們（英偉達晶片）並不擅長機器學習任務，而是因為我們需要未來計算的另一種思路，作為目前 GPU 短板的補充。」
下一代晶片的架構仍然是一個懸而未決的問題。顯然，未來的神經網路體量將遠遠超過當前，因為我們可能需要輸入整個視訊的畫素進行推理，從而預測視訊片段的運動。但與此同時，這些操作可能必須在與當今基於矩陣乘法硬體不同的處理架構中進行計算。LeCun 認為，矩陣和張量是當今人工智慧計算的基石，但在未來的 AI 計算中，它們可能並非最佳解決方案。
「當前最先進的晶片基本上都是對大量 4×4 矩陣乘法在進行優化。」LeCun 表示。「所以如果你可以把自己的整個神經網路簡化為 4×4 矩陣乘法，它就很好用。但這種硬體可能無法對大量卷積運算進行優化。」
「在某種程度上，這和目前深度學習研究者在思考的執行操作相同：訪問資料不再通過互動作用，而是通過純粹陣列。你所擁有的就是指標的陣列，指向所需的資料。」Yann LeCun 說道。這對於處理基於計算圖的資料非常有效。
深度學習演算法的進步
LeCun 在演講中詳細介紹了機器學習演算法的發展歷程、硬體和算力的發展、深度學習的崛起、新架構的研究、強化學習的突破和自監督學習的未來。雖然很多內容是我們比較熟悉的，例如深度學習部分介紹的各種前沿視覺模型、DL 新架構中介紹的圖神經網路、自監督學習中的預訓練語言模型，但還是有一些新的觀點或角度。
這一部分將簡要介紹 LeCun 演講的脈絡，更詳細的內容可檢視 PPT 或其它資源。首先 LeCun 從感知機開始介紹了機器學習發展的風風雨雨，尤其是 SGD 及反向傳播演算法的提出，以及通用計算晶片的大力發展，這些都為深度模型提供了基礎。當然機器學習早期發展肯定少不了 LeNet-5，它簡單優美的 5 層結構奠定了後續眾多卷積神經網路的基礎。
儘管 1990 年 LeCun 就已經提出了 LeNet-5，但直到 2012 年 AlexNet 在 ImageNet 的成功，卷積網路才真正進入研究前沿。因此 LeCun 表示當時學到的經驗教訓是硬體條件真的會影響研究方向，好的軟硬體框架能大幅度提升新方法的進一步研究。
隨著深度學習的崛起，卷積神經網路展現出強大的資訊提取能力，它結構簡潔、引數高效、計算快速，是理想而優雅的建模工具。因此深度 AlexNet、更深的 VGG 以及突破深度瓶頸的 ResNet 都相繼提出。LeCun 表示這一段時間大家都在探索高效的卷積架構，包括探索更小卷積核的 VGG-Net、探索優良區域性拓撲結構的 GoogLeNet，以及探索更優梯度傳播路徑的 ResNet 與 DenseNet。
雖然看起來只是網路變得越來越深，但隱藏在下面的資訊流、梯度流、感受野以及張量計算流都經過不同的考慮，每一個基礎架構的更新都令我們興奮不已。
在基礎架構不斷進步的過程中，各種視覺任務及其子任務也都在大步向前。例如視覺領域最基礎的識別、定位和分割任務，它們各自經歷一系列發展歷程：從簡單的基礎卷積架構到為特定任務構建的高效卷積運算與結構。例如兩階段目標檢測演算法，它們從 R-CNN 到 Fast R-CNN 再到 Faster R-CNN，這三種模型的提出旨在更高效地利用卷積和卷積抽取的特徵，更快地預測影像類別和物體位置。
除此之外，各種用於特定任務的架構和工具也層出不窮，包括大名鼎鼎的 Mask R-CNN、結合底層和抽象資訊的 FPN、用於醫療影像的 3D 卷積網路等。到了近兩年，視覺任務除了變得越來越精細化、衍生了很多子任務以外，它本身也在進化。例如統一例項分割與語義分割，我們就可以提出全新的全景分割，這種新任務的端到端訓練方法仍然是研究前沿。
在深度學習時代，模型架構的突破很大程度都依賴於 GPU 提供的巨大算力。但僅僅取得好結果還不夠，我們的經驗教訓是它還必須易於復現及可靠，這比單純提供跑分結果重要得多。
對於新型 DL 架構，LeCun 表示我們關注的是記憶、推理和結構化處理，這三者都是目前還未真正解決的問題。首先記憶不僅包括像 LSTM 或 GRU 那樣的短期記憶，同時還包括神經圖靈機那樣的長期記憶，它們是令模型真正理解語境並進行推理的關鍵。
其次最近圖神經網路在結構化資料上展示了很好的效果，LeCun 也介紹了它和一般卷積網路的不同及使用範圍。與傳統的圖嵌入相比，圖神經網路可以在整個網路上進行資訊傳播、聚合等建模，也就是說它可以把網路當成一個整體進行建模。DeepMind 提出的圖神經網路一般框架 Graph Network 在一定程度上能為深度學習提供對歸納和推理的建模方式，因此得到了很多研究者的關注。
前沿的深度學習研究還有很多，但 LeCun 表示也許動態網路會成為主流，因為它能打破當前硬體的很多假設。儘管圖神經網路可能在很多應用上會有很好的表現，但它主要處理圖結構的結構化資料。而像影像或語音那樣的非結構化資料，我們沒有高效的手段轉化為結構化資料，因此圖網路仍然任重道遠。
強化學習怎麼樣？Yann LeCun 總結說它在遊戲和虛擬環境中表現很好，但存粹的強化學習難以用到真實世界中。
存粹的強化學習需要太多的試錯，難以學習所有東西。那麼我們離「真實的」AI 還差了什麼？下圖給出了說明。
自監督學習是 AI 的未來
LeCun 在演講中還展望了未來，他認為自監督學習將是潛在的研究方向和解決方案。自監督學習能夠通過輸入的某一部分預測其它部分。在空間層面上包括影像補全、影像變換等，在時間層面上包括時序資料預測、視訊幀預測等。
LeCun 再次用著名的「蛋糕圖」解釋了自監督學習，並介紹了自監督學習在計算機視覺、自然語言處理中的應用，如在文字中的應用（Word2vec、FastText、BERT）。
不過他也表示自監督學習在處理高維連續訊號時表現不佳，例如做視訊預測。
但是人工智慧的未來不會是監督學習，當然也不會純粹是強化學習，它應該是包含了深度模組的自監督學習。
此外，LeCun 還介紹了自監督學習在學習世界模型上的應用及前景。使用自監督學習，機器可以通過輸入的未標註影像、視訊或音訊來學習世界的抽象表徵。
學習世界預測模型
在這一部分，Yann LeCun 介紹瞭如何學習預測、推理、規劃，如何學習常識。
規劃需要預測。為了提前規劃，我們需要模擬世界。
難題：不確定性預測。不變數預測：訓練樣本只是全部有可能輸出的表示。
自監督對抗學習做視訊預測。
使用前饋模型進行規劃（學習開車）。
學習到的經驗包括：1. 自監督學習是未來，網路將會變得更大，也可能稀疏。2. 通過最小化進行推理/推斷。3. 深度學習硬體的使用案例。
最後，常懟人的 Yann LeCun 在演講結尾還是質疑了一下，雖然現場並未展開講太多。從下頁 PPT 中，我們可以看到，Yann LeCun 對脈衝神經網路、神經形態架構提出了質疑。他表示，沒有基於脈衝的神經網路能在實際任務上取得 SOTA 水平，為什麼還要為無效演算法做晶片？
AI 晶片讓人工智慧避開寒冬
全球 AI 晶片創業公司的融資金額正逐年提升。
縱觀 AI 領域發展的歷史，只有新的晶片和硬體架構才能將 AI 帶出低谷。LeCun 以反向傳播舉例，這是一種當今深度學習廣泛採用的技術，但也是在計算機硬體大發展後才在 20 世紀 90 年代開始得到廣泛應用。在過去，Facebook 曾經設計過其他型別的硬體，如資料中心的新架構，這些研究目前都已開放。在未來，同樣的事情或許也會發生在 AI 晶片上。
參考內容：
https://www.businessinsider.com/facebook-artificial-intelligence-yann-lecun-2019-2