AIxiv專欄是機器之心釋出學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報導了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯絡報導。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
團隊資訊：這一工作由上海交大先進計算機體系結構實驗室蔣力教授和劉方鑫助理教授所在課題組（IMPACT）完成，同時也獲得了上海期智研究院的支援。第一作者是博士生汪宗武。
會議介紹
MICRO 全稱 IEEE/ACM International Symposium on Microarchitecture，與 ISCA、HPCA、ASPLOS 並稱為體系結構「四大頂會」，囊括了當年最先進的體系結構成果，被視作國際前沿體系結構研究的風向標，見證了諸多突破性成果的首次亮相，包括谷歌、英特爾、英偉達等企業在半導體領域的多項技術創新。本次會議共收到投稿 497 篇，收錄文章 113 篇，錄取率為 22%。
近年來，類腦計算在人工智慧領域迅速崛起，尤其是脈衝神經網路（SNN）的出現，為低能耗、高效能計算提供了新的可能。然而，現有的脈衝神經網路在追求高準確性的同時，往往會增加能量消耗和計算延遲，這使得其在邊緣裝置上的應用面臨諸多挑戰。為解決這一問題，最新研究提出了一種基於 SRAM 的存內計算（CIM）架構 ——COMPASS，為 SNN 在硬體加速器上的高效部署提供了全新方案。
類腦計算的挑戰與突破
傳統的深度神經網路（DNN）已經在計算機視覺、自然語言處理和語音識別等領域取得了卓越的成果，但其對計算資源的巨大需求使其在能量效率方面的表現不盡如人意。相比之下，SNN 利用二進位制脈衝事件代替連續啟用值，以事件驅動的資訊處理方式顯著降低了計算需求。然而，SNN 的優勢在高時效性任務中變得效能低下，這也給 SNN 的硬體實現提出了新的挑戰：如何在保持高能效的同時，減少計算延遲和記憶體佔用？
為應對這些挑戰，論文提出的 COMPASS 架構創新性地利用了輸入脈衝的顯式稀疏性和輸出脈衝的隱式稀疏性。透過引入動態脈衝模式的推測機制，該架構不僅顯著減少了冗餘計算，還最佳化了硬體資源的利用效率。此外，COMPASS 還設計了一種適用於輸入和輸出脈衝的時間維度壓縮技術，進一步降低了記憶體佔用，實現了高效的並行執行。
創新架構的技術細節
COMPASS 架構的核心在於其基於 SRAM 的存內架構的高稀疏性利用。傳統的 CIM 架構面臨的一個主要挑戰是脈衝的不規則性和時間依賴性，這使得高並行架構中高效利用脈衝稀疏性變得困難。為了克服這些挑戰，研究團隊提出了 COMPASS 架構。這一架構基於 SRAM 的 CIM 技術，旨在透過高效利用輸入脈衝（顯式）和輸出脈衝（隱式）中的不規則稀疏性，來顯著提高 SNNs 的計算效率。
COMPASS 利用 SNN 的脈衝稀疏性設計了動態脈衝投機模式，實現了對推理延遲的對數時間步壓縮，從而減少了冗餘計算，並降低了硬體開銷。為了充分發揮 CIM 架構的平行計算能力，COMPASS 架構還透過引入自適應投機視窗排程和時間脈衝稀疏表示，最佳化了輸入和輸出脈衝的處理流程，進一步降低了記憶體佔用，實現了並行執行。
效能評估與結果
表一：COMPASS 的計算和儲存資源與基線硬體對比
COMPASS 架構的效能評估結果令人矚目。與現有的 SNN 加速器硬體實現相比，COMPASS 在端到端加速方面實現了 24.4 倍的提升，同時每次推理的能耗降低了 386.7 倍。這一結果不僅證明了 COMPASS 架構在處理 SNN 任務中的優越性，也展示了其在實際應用中的巨大潛力。
研究團隊透過一系列實驗對 COMPASS 的效能進行了詳盡的分析。在與傳統 DNN 和其他 SNN 模型的對比中，COMPASS 表現出了顯著的效能優勢，尤其是在處理複雜任務時，COMPASS 的低能耗特性尤為突出。這一成果表明，COMPASS 架構在實現高效、低能耗計算方面具有廣闊的應用前景。
圖 1：(a) 吞吐量和 (b) 能源效率的效能比較。由於稀疏性利用率低，PTB-CIM 表現出與 Strawman 方案（沒有利用稀疏性）相當的效能，而 COMPASS 在所有基準測試中都提高了吞吐量和能源效率。
前景展望
隨著人工智慧應用場景的不斷擴充套件，尤其是在邊緣計算裝置中的應用，能效比成為衡量演算法和硬體設計的重要指標。COMPASS 架構的提出為這一問題提供了全新的解決方案。未來，該架構有望在更多的實際場景中得到應用，包括物聯網裝置、自動駕駛、智慧機器人等領域。
展望未來，研究團隊計劃進一步最佳化 COMPASS 架構，使其在更多的 SNN 模型上實現高效部署。同時，隨著 SRAM 技術的不斷髮展，COMPASS 有望進一步降低能耗，並在更大規模的應用中發揮其獨特優勢。這一創新成果不僅為類腦計算的研究提供了新的思路，也為未來低能耗人工智慧的發展奠定了堅實基礎。
結語
COMPASS 架構的成功研發標誌著類腦計算邁出了關鍵性的一步。透過高效利用脈衝稀疏性和時間壓縮技術，COMPASS 不僅克服了傳統 SNN 硬體實現的瓶頸，還為未來智慧裝置的低能耗計算提供了強有力的支援。在人工智慧領域快速發展的今天，這一突破性的創新無疑將對未來計算架構的發展產生深遠影響。
論文資訊：Zongwu Wang, Fangxin Liu*, Ning Yang, Shiyuan Huang, Haomin Li and Li Jiang*. COMPASS: SRAM-Based Computing-in-Memory SNN Accelerator with Adaptive Spike Speculation. Proceedings of the 57th IEEE/ACM International Symposium on Microarchitecture (MICRO'24). November 2024.（標 * 為通訊作者）