編輯 | KX
最近，微軟系統故障導致全球大範圍當機。計算已經成為我們生活中不可或缺的一部分。然而，儘管計算機硬體和軟體不斷改進，但人類大腦仍然是我們所知的最複雜、最強大的計算機。
人類大腦透過數十億個神經元與數萬億個突觸相互作用來共享其計算能力，因此，它不僅可以與最強大的超級計算機相媲美，而且由於其消耗的能量比冰箱中的燈亮所需能量還少，因此，人類大腦在效率方面毫無疑問勝過計算機。
類腦計算是一個不斷髮展的跨學科研究領域，研究如何將生物大腦的計算原理轉化為硬體設計，從而提高能源效率。類腦計算涵蓋各種子領域，包括神經形態計算和記憶體計算，這些領域在執行特定任務方面優於傳統數字硬體。
隨著對更強大、更節能的大規模人工神經網路硬體的需求不斷增長，類腦計算可實現節能計算，並將人工智慧擴充套件到邊緣。
然而，與最先進的數字解決方案相比，該領域的廣泛範圍使得比較和評估解決方案的有效性變得具有挑戰性。
荷蘭特溫特大學和比利時豐田汽車歐洲公司（Toyota Motor Europe）的研究人員在《The European Physical Journal B》發表綜述文章《Brain-inspired computing systems: a systematic literature review》，全面概述了類腦計算硬體的最新進展。
首先介紹了關鍵概念並指出各自的深入專題評論。對主流硬體平臺進行分類。重點介紹了可以從類腦計算系統中受益匪淺的各種研究和潛在應用，並比較了它們報告的計算準確性。最後，為了公平比較不同方法的效能，研究人員對文獻中報告的能源效率採用了標準化方法進行標準化。
在資料分析的計算模型中，深度神經網路 (DNN) 是目前使用最廣泛、最成功的方法。然而，DNN 是計算成本高昂的模型，即需要在相當短的時間內進行大量計算才能滿足響應時間要求。
在計算模型開發方面，已經研究了各種方法，例如高效深度學習、神經架構搜尋和利用矩陣乘法的稀疏性。然而，這些技術的核心是瞭解硬體如何完成這些操作。
僅遵循傳統的硬體開發實踐不足以滿足人工智慧 (AI) 系統對高效計算能力的需求，無論它們是部署在資料中心還是邊緣。
因此，人們對主要針對人工智慧最佳化的節能硬體越來越感興趣。從人腦汲取靈感，並將這些見解融入硬體設計或智慧材料設計。類腦計算可以被視為非常規計算 (UC) 正規化的一個子類。UC 的共同特點是它通常涉及直接操作物理系統來執行計算任務，而不是操縱符號。除了類腦計算之外，它還涉及多種方法，例如分子計算、量子計算、光學計算和熱力學計算。
類腦計算的目標是透過從大腦的結構和功能中汲取靈感，建立比現有計算系統更高效、適應性更強、更強大、能夠執行復雜認知任務的計算系統。神經形態計算、超維計算、儲層計算和記憶體計算，都是可以被視為類腦計運算元領域的計算正規化，在某些情況下，它們有重疊。
該綜述系統回顧了 2016 年至 2023 年之間的類腦計算出版物，以回答以下關鍵問題：
1、正在探索哪些不同的類腦計算方法？
2、類腦計算適用於哪些應用？
3、不同方法在能源效率方面的權衡是什麼？
文獻檢索是系統文獻綜述的第一步，也是確定研究問題的第一步。下圖圖 3 描述了先前文獻綜述中每個主題的百分比份額。神經形態和記憶體計算是研究最多的腦啟發方法，佔先前文獻綜述的 50% 以上。
首先，對神經形態、記憶體、儲層和超維計算進行了基本介紹。
記憶體（近記憶體）計算
馮·諾依曼瓶頸是現代計算機提高效能和能效的一個根本限制。在數字計算機中，不同層次的記憶體單元主要在物理上與處理單元分離，用於儲存資料和指令。考慮到有限的記憶體響應時間和頻寬，資料傳輸（從記憶體到處理單元，反之亦然）會產生大量的能源和延遲（響應延遲）成本。此外，記憶體大小和頻寬面臨著擴充套件挑戰。
這些限制促使硬體設計師從以處理器為中心的設計遷移到以資料為中心的設計，其中記憶體系統可以同時儲存和處理資料，這種方法稱為記憶體計算。記憶體計算的靈感來自大腦中的突觸操作，旨在整合記憶體和處理單元，以解決現代計算系統的資料移動瓶頸。
圖 4：記憶體計算，從系統架構設計（左）到器件材料科學（右）。（來源：論文）
與數字解決方案相比，這種非馮·諾依曼方法顯著減少了記憶體訪問次數，從而提供了一種大規模並行且更節能的解決方案。然而，值得一提的是，驅動記憶體計算核心需要外圍電路，例如模數轉換器和數模轉換器 (ADC/DAC)、全域性記憶體和控制器邏輯，這些對晶片的總功耗有顯著貢獻。相關挑戰包括實現更高的計算精度 、裝置固有的隨機切換及其對可靠性的影響以及並行性水平。
神經形態計算
現代圖形處理單元 (GPU) 目前可為數學運算（如 MAC）提供大約每秒數十萬億次浮點運算 (TFLOPS)。另一方面，人類大腦在解決複雜的認知任務方面非常高效，例如人臉識別、駕駛和邏輯決策。據估計，大腦每秒執行約 10^15 次「操作」，消耗約 20 W——明顯低於執行類似任務的現代超級計算機。
因此，在過去的幾十年裡，直接在硬體中模擬腦細胞的功能引起了廣泛關注，這一概念被稱為神經形態計算。目標是開發受大腦啟發的適應性強、可學習且節能的計算系統。
脈衝神經網路 (SNN) 是人工神經網路 (ANN) 的一個子類。與傳統的 DNN 不同，在傳統的 DNN 中，實值訊號（例如浮點數）被儲存為權重和輸入啟用，而 SNN 將資料編碼為脈衝的時間動態。具體而言，脈衝是時間上的離散事件，資訊通常基於這些事件的時間順序而不是其大小進行編碼。SNN 方法的核心概念之一是神經元模型，它代表神經元及其互連的硬體（或計算）模型。
神經形態工程受益於材料科學，可以開發出創新裝置，從而提供更高效的解決方案。
儲層計算
生物神經網路迴圈連線中發現的時間動態是儲層計算領域的另一個大腦靈感來源。儘管迴圈神經網路 (RNN) 在時間序列分析任務中表現出色，但由於梯度消失問題，RNN 的訓練具有挑戰性，並且在時間和功耗方面執行成本高昂。此外，需要更多的迴圈單元和訓練資料才能在複雜任務中實現更高的效能。為了克服這些挑戰，儲層計算 (RC)作為一種 RNN 計算模型，已被證明是一種有效的工具，解決了 RNN 的計算問題。
RC 是一個廣義術語，指的是類似方法，包括回聲狀態網路 (ESN) 和液態機 (LSM)，它們使用不同型別的輸入編碼。
儲層可以在不同的材料系統中實現，例如憶阻器、自旋轉矩奈米振盪器和有機電化學裝置。儲層不需要訓練；它利用底層材料系統固有的時間動力學進行高維投影。此外，短期記憶是不同儲存器的共同特徵，它會在特定時間內消失。
儲層的功能不易解釋，因為它是一個複雜的動態系統。然而，人們認為不同節點之間的迴圈連線以及（可變的）時間延遲會導致高維輸入對映。然後，高維特徵變為線性可分，讀出（線性）層將這些特徵與所需輸出相關聯。與 RNN 相比，RC 模型的可學習引數明顯較少，僅在讀出（線性）層中。因此，對於手勢識別等時間任務，RC 方法解決了 RNN 訓練階段成本高昂的問題。
超維計算（向量符號架構）
人腦在完成複雜認知任務時的能量效率可以歸因於大腦處理模式而不是執行精確的數學運算。每個突觸操作（神經元相互通訊並形成/加強連線）都會消耗少量能量，而使用傳統電子電路在硬體中實現神經元模型則需要高出幾個數量級的能量。因此，最近出現了一種計算框架，其靈感來自神經迴路的屬性，而不是單個神經元的建模，即超維計算。
超維計算（HD，也稱為向量符號架構）的核心是維數約為 1000 s 的超向量，它們是（偽）隨機的，具有獨立且相同的分佈（i.i.d）分量；即近似正交向量。例如，在經典計算機中，影像由畫素強度矩陣表示，其中更高的強度意味著更亮的畫素。但是，影像也可以儲存為超維向量（例如，維數為 10,000），這是一種完全整體的表示，超向量中的每個資料單元（二進位制數字）都包含與其他資料單元相同的資訊量。這種超寬資訊表示允許更快但更可靠的機器學習方法。
將資訊編碼為超向量後，可以定義一組操作來組合、操作和比較超向量 。具體而言，超向量類之間的相似性檢查是高畫質計算中資料分類的重要步驟。此外，超維計算中使用三種操作，即捆綁、繫結和置換，分別用於累積、在保留相似性的情況下組合以及生成新的超向量。
用硬體實現向量符號架構來操作大型超向量可能非常具有挑戰性。由於記憶體訪問速度慢，比較和排列 HD 向量很快就會成為瓶頸。因此，記憶體計算作為一種節能的超維計算方法被廣泛研究。
AI 進步
圖 7 描述了機器學習和機器學習的腦啟發硬體兩個領域的已發表文章數量，自 2015 年以來，這兩個數字都急劇上升。這種趨勢在神經形態、記憶體和儲層計算領域更為明顯。
這種相關性很有趣，原因有二。首先，它表明隨著人工智慧的進步，以及越來越多的應用程式使用智慧資料處理，對能夠執行大規模神經網路模型的更高效硬體的需求也在增加。人們尋求新穎的解決方案來幫助人工智慧變得更加通用並適用於不同的應用。其次，人工智慧的計算需求和研究興趣都可能繼續上升。
能源效率視角
除了計算密度（單位面積效能）和計算精度之外，能源效率是主要的基準指標之一。在此，研究人員建議採用 8 位整數乘法累加（MAC）運算作為標準計算方法，用於比較詳細說明其計算系統功耗的研究中效率指標。圖 8 總結了綜合研究文章的標準化能效報告。
無論使用何種硬體型別（即使用基於 CMOS 的 SRAM 單元還是非易失性憶阻裝置），記憶體計算都能提供最高的能效。這種觀察結果可能有兩種解釋。首先，記憶體計算（尤其是交叉陣列）可以大規模並行化 MAC 操作。此外，累積操作是基於基爾霍夫定律的電流累積執行的，這有助於隨著並行運算元量的增加而降低總體操作成本。
其次，靜態隨機存取儲存器（SRAM）計算受益於成熟的互補金氧半導體（CMOS）技術。這使得外圍電路和處理器整合更容易、更高效。此外，各種材料科學研究報告了非易失性儲存裝置，其中可以實現更高的電阻水平動態範圍，從而實現更高的計算精度。這些結果表明，透過更好的架構、材料和軟硬體協同設計，記憶體計算可以為並行處理設定新的標準。
圖 8 中進一步突出的是，加速矩陣向量乘法 (MVM) 的光子張量核儘管具有令人欽佩的吞吐量，但報告的能源效率卻不高。儘管光子與記憶體計算的整合引起了人們的廣泛關注，但光電源、訊號轉換和調製器是主要的耗電裝置。
降低吞吐量（即單位時間內的操作次數）可以提高光子張量核的能效。圖 8 顯示了光子張量核的最高能效。然而，隨著矩陣向量加速器的大小（相當於吞吐量）的增加，功耗顯著增加。
儲層計算實現代表了一種光子計算方法。與光子張量核的結果一致，基於之前提供的相同論據，光學儲層實現在能效方面也受到限制。提高效率指標的一種可能方法是將所有儲存層（即輸入層、儲存層和讀出層）實現在一個訊號域中。這種方法可能會消除一些必要的訊號轉換並降低總體能耗。因此，可以得出結論，未來的研究應努力透過創新解決方案解決上述挑戰，以引入不僅快速而且高效的光子計算機。
最後，研究人員寫道：「類腦計算領域具有巨大潛力，有望徹底改變以人腦效率和適應性為目標的計算領域，甚至超越人腦。我們可能很快就能構建不僅功能更強大，而且更節能、更靈活、適應性更強的計算系統，為智慧計算的新時代鋪平道路。」
參考內容：https://techxplore.com/news/2024-08-brain.html