首先是ISSCC 2018文章列表連結:
http://submissions.mirasmart.com/ISSCC2018/PDF/ISSCC2018AdvanceProgram.pdf
然後進入正題:
再見吧!馮諾伊曼
——機器學習的儲存器之路
大概ISSCC 2018的目錄,掃過各個Session的名字,你會看到一個從來沒有出現的Session,叫做 Computation in Memory for Machine Learning,應用於機器學習的計算儲存器。
簡直是一種豁然開朗,或者是恍如隔世的感覺。那麼多年,我們糾結在計算機體系結構,糾結在馮諾伊曼架構下的處理器與儲存器訪問頻寬的限制,是不是在這個session 就“強擼”灰飛煙滅了?平行計算再也不用依靠處理器了,儲存器包攬一切問題。
該Session的儲存器實現包含了兩種策略,(1)是基於SRAM的計算儲存器,對應了 CNN,甚至是線上訓練的實現。(其中31.2 的作者在ESSCIRC 2017上發表了前期的研究成果,基於SRAM的放電原理,實現隨機森林演算法,有興趣的讀者可以自行搜尋。);(2)是基於新材料的ReRAM的儲存器。ReRAM電阻型儲存器是目前最接近量產的憶阻器(Memristor)實現方式。
精度限制了我的想象力
—— BNN離現實還有多遠?
相較於ISSCC 2017,今年的一個重要變化就是50%以上的晶片都支援,甚至專門最佳化,低進位制的神經網路,特別是二進位制的神經網路設計(Binary Neural Network)。相關論文包括
由於極簡單的計算電路,和低頻寬的要求,BNN網路能達到的能效值非常高至少有50TOPS/W,傳言在13.5一文中達到了100TOPS/W的數量級,可是說是蔚為壯觀。可是,在現實應用中有多少應用可以接受BNN,這可能就不是一個電路設計者能夠回答的問題。但隨著近來在演算法領域的突破,越來越多的BNN正在走向應用,前途不可限量。
其實我相信13.2的作者或許比我們有更清楚的答案,來自北海道大學的Motomura教授組曾在VLSI 2017上發表過BNN的實現,又在ISSCC 2018上發表了基於Log的量化的通用實現。兩相比較或許更能說明問題。不過還是要拜拜這篇文章,7.5TOPS實在高山仰止。
從你的全世界路過
—— 類比電路不再是旁觀者
除了兩個以Machine learning命名的session外,還有不少其他設計中也或多或少的整合了機器學習的實現,而這些設計,都是並不是純粹的數字積體電路,比如:
ISSCC 2014 ISSCC 2015都有基於Current Steering/Cap Arrary的設計,今年的Time domain也是可以關注的方向。
另外,對與許多實際的應用而言,整合在前端的Always-on Detector的細分應用是應該和完成的AI演算法分離的,比如智慧音響中的Wake-up word detection (喚醒檢測),安防應用中的有效區域識別等,它處於對於整個神經網路SoC進行開關的位置,或許低功耗的模擬新思路比具有精度保證的AI 處理器更適合。21.2 / 13.5 就是很好的例子。
最後,不要忘了老大處理器Intel的IoT智慧處理與安全應用大作——
Self power ? Mote Feature ? 雖然小編從題目開始就只能表示一臉蒙圈。