人腦能夠執行非常複雜且龐大的神經網路，總功耗卻僅為20瓦，遠小於現有的人工智慧系統。因此，在算力比拼加速，能耗日益攀升的今日，借鑑人腦的低功耗特性發展新型智慧計算系統成為極具潛力的方向。
近日，中國科學院自動化研究所李國齊、徐波課題組與時識科技公司等單位合作設計了一套能夠實現動態計算的演算法-軟體-硬體協同設計的類腦神經形態SOC（System on Chip，系統級晶片）Speck，展示了類腦神經形態計算在融合高抽象層次大腦機制時的天然優勢，相關研究線上發表於《自然·通訊》（Nature Communications）。
該研究提出了“神經形態動態計算”的概念，透過設計了一種類腦神經形態晶片Speck來實現基於注意力機制的動態計算，在硬體層面做到“沒有輸入，沒有功耗”，在演算法層面做到“有輸入時，根據輸入重要性程度動態調整計算”，從而在典型視覺場景任務功耗可低至0.7毫瓦，進一步挖掘了神經形態計算在效能和能效上的潛力。
Speck是一款非同步感算一體類腦神經形態SoC，採用全非同步設計，在一塊晶片上整合了動態視覺感測器（DVS相機）和類腦神經形態晶片，具有極低的靜息功耗（僅為0.42毫瓦）。Speck能夠以微秒級的時間解析度感知視覺資訊，以全非同步方式設計拋棄了全域性時鐘控制訊號，避免時鐘空翻帶來的能耗開銷，僅在有事件輸入時才觸發稀疏加法運算。
針對脈衝神經網路（SNN）在更高層面，比如時間維度中不能根據輸入難易度調整其脈衝發放等“動態失衡”問題，該研究基於注意力機制的神經形態脈衝動態計算框架(圖2)，在多種粒度上實現對不同的輸入進行有區分地動態響應；同時Speck軟體工具鏈Sinabs程式設計框架支援動態計算SNN演算法訓練和部署。實驗結果表明，注意力機制可使得SNN具備動態計算能力，即根據輸入難易度調整其脈衝發放模式解決“動態失衡”問題，在顯著降低功耗的同時，提升任務效能。在DVS128 Gesture資料集上，融合脈衝動態計算的Speck在任務精度提升9%的同時，平均功耗由9.5毫瓦降低至3.8毫瓦（圖3）。
該工作的實踐證實高、低抽象層次大腦機制的融合能進一步激發類腦計算潛力，為未來將大腦進化過程中產生的各種高階神經機制融合至神經形態計算提供積極啟發。
相關工作得到了國家傑出青年科學基金、北京市傑出青年基金、國家自然科學基金委重點專案、區域創新聯合重點專案等專案的支援。
圖1.類腦神經形態SOC系統Speck設計框架
圖2.人腦中的注意力機制
圖3.融合了注意力脈衝動態計算的Speck
論文地址：https://www.nature.com/articles/s41467-024-47811-6