編輯 | 蘿蔔皮
大腦運算是動態的、具有聯想能力的、高效的。它透過將輸入與過去的經驗聯絡起來，將記憶和處理融合在一起，從而進行重新配置。
相比之下，人工智慧模型是靜態的，無法將輸入與過去的經驗聯絡起來，並且在具有物理分離的記憶和處理的數字計算機上執行。
復旦大學、香港大學、中國科學院等機構組成的聯合團隊提出了一種軟硬體協同設計方案，即使用憶阻器的基於語義記憶的動態神經網路。
該網路將傳入的資料與儲存為語義向量的過去經驗相關聯。網路和語義儲存器分別在基於抗噪三元憶阻器的記憶體計算 (CIM) 和內容可定址儲存器 (CAM) 電路上物理實現。
研究人員使用 40 奈米憶阻器宏在 ResNet 和 PointNet++ 上驗證了該設計，用於對 MNIST 和 ModelNet 資料集中的影像和三維點進行分類，這不僅實現了與軟體相當的準確度，而且還將計算預算減少了 48.1% 和 15.9%。此外，它還降低了 77.6% 和 93.3% 的能耗。
該研究以「Semantic memory–based dynamic neural network using memristive ternary CIM and CAM for 2D and 3D vision」為題，於 2024 年 8 月 14 日釋出在《Science Advances》。
大腦低能耗高效運算給 AI 設計的啟示
人類大腦在低能量下執行復雜任務的效率依賴於動態重構、與過去經驗的聯想記憶以及記憶與資訊處理的搭配的協同作用。
大腦處理資訊的方式是動態且自適應的。大腦的神經網路不會維持靜態的計算模型，而是會針對各種刺激和任務表現出複雜且動態的啟用和連線模式。大腦的動態連線主要取決於結構可塑性。
此外，大腦還表現出另一層動態行為；當個體遇到不同複雜程度的物體或任務時，大腦的不同區域會被啟用。
大腦的神經活動模式可以在不同的大腦區域有所不同，並隨時間而變化，使大腦能夠整合感官資訊、做出決策並適應不熟悉的情況。大腦的動態特性使其能夠高效地處理任務，同時消耗最少的能量。
相比之下，大多數神經網路都是靜態的，具有固定的拓撲結構，缺乏這種適應性，導致資源分配效率低下，在處理不斷變化的資訊或任務時受到限制。
大腦能夠將不熟悉的資訊與過去的經驗聯絡起來，例如在語義和高階視覺處理領域。生物實驗證明，大腦能夠透過啟用的神經元內的記憶編碼和檢索過程來加速對熟悉物體的識別，並充當語義快取，從而快速檢索過去的經歷。
然而，傳統計算機依賴於基於地址的資訊儲存和搜尋，而不是根據相似性來關聯觀察結果。
此外，大腦不僅使用化學突觸來儲存資訊，而且還可以在儲存資訊的地方處理資訊，具有低功耗和高並行性的特點。
這與當前馮諾依曼數字計算機架構帶來的高能耗和延遲挑戰形成了鮮明對比，其中計算單元和儲存單元之間的分離需要頻繁的資料傳輸。
一種借鑑大腦計算正規化的協同設計方法
在最新的研究中，復旦大學、香港大學等機構的研究團隊提出了一種硬體-軟體協同設計，即使用憶阻器的基於語義記憶的動態神經網路（DNN），以反映腦計算正規化的三個特點。
從軟體角度來看，基於語義記憶的 DNN 旨在為人工神經網路配備大腦的動態可重構性。該網路將陌生的資訊與過去的經驗聯絡起來，並根據需求分配計算，在許多應用中比靜態網路更高效、更有效。
此外，網路的適應性使其能夠透過實時調整不同的計算預算來平衡準確性和效率，適用於計算預算可能發生變化或變化的情況，例如在資源受限的裝置或分散式計算環境中。
硬體方面，研究人員使用憶阻器（一種在物理上類似於大腦突觸的新興裝置），分別使用記憶體計算 (CIM) 和內容可定址儲存器 (CAM) 電路來物理實現抗噪 DNN 和聯想語義記憶的三元權重。
基於憶阻器的 CIM 電路使用簡單的物理定律進行矩陣向量乘法。由於矩陣權重物理上儲存在憶阻器陣列中，而乘法就在權重儲存的位置執行，因此它們將計算和儲存元素融合在一起，這不僅克服了馮·諾依曼瓶頸，而且還實現了高並行性。
基於憶阻器的 CAM 電路是一種受大腦啟發的聯想儲存器，可作為 DNN 中的語義快取儲存器。與依賴地址進行資訊檢索的傳統電子儲存器不同，大腦和 CAM 具有並行基於內容的搜尋功能。具體來說，CAM 測量輸入向量和記憶體中儲存的向量之間的距離，從而無需像 CIM 那樣進行資料移動。
圖示：硬體-軟體協同設計：使用 CIM 和 CAM 的基於語義記憶的動態神經網路。（來源：論文）
用於二維視覺的動態 ResNet
研究人員應用他們的協同設計，使用 ResNet 模型對 MNIST 資料集進行分類。研究人員基於憶阻器的混合模擬數字系統進行前向推理的實驗示例。
首先對模型和語義記憶進行原位訓練，然後進行量化並物理對映到基於憶阻器的 CIM 和 CAM。
在推理過程中，手寫影像（例如數字 8）被對映到電壓，CIM 物理計算每個殘差塊的特徵圖。這些特徵圖在 GAP 之後生成每個殘差塊的關聯搜尋向量，透過測量餘弦相似度與 CAM 中同一塊的語義中心進行比較。
當正向傳遞到達第四個塊時，計算出的第八個類別的相似度超過了閾值，表明有足夠的置信度將輸入的手寫數字歸類為八。因此，正向傳遞在此處停止，並跳過所有剩餘的殘差塊。
圖示：用於 MNIST 資料集分類的硬體和軟體共同設計的動態 ResNet。（來源：論文）
用於模擬噪聲抑制的三元量化
噪聲抑制對於使用憶阻器的模擬計算至關重要。
該團隊的協同設計中有兩種主要噪聲，即寫入噪聲和讀取噪聲。寫入噪聲源於憶阻器不可避免的程式設計隨機性，而讀取噪聲則源於由於程式設計不穩定性和其他電子噪聲的綜合影響而導致的電導時間波動。
圖示：憶阻器的固有物理噪聲以及使用三元量化網路的緩解方法。（來源：論文）
為了減輕寫入和讀取噪聲對基於憶阻器的 CIM 和 CAM 的影響，研究人員採用權重和語義中心的三元量化，其效能優於受寫入和讀取噪聲影響的對映全精度模型。該團隊模擬了寫入噪聲對有無三元權重量化的動態 ResNet 分類準確率的影響。
三元量化網路對增加的寫入噪聲表現出了相當大的彈性，而全精度對映網路的效能則隨著程式設計噪聲的增加而迅速下降。
此外，研究人員結合固定的 15% 寫入噪聲模擬讀取噪聲影響。三元量化網路與直接將全精度權重對映到憶阻器相比，準確度提高了 10%。
用於 3D 視覺的動態 PointNet++
儘管是 2D 影像，但 3D 感測技術的出現凸顯了 3D 點雲在捕獲和解釋 3D 物體的空間屬性方面的重要性。3D 點雲的分類對於自動駕駛、機器人技術和擴增實境至關重要。
該團隊使用 PointNet++ 模型模擬他們的協同設計，以對 ModelNet 資料集進行分類。PointNet++ 包含多個集合抽象（SA）層。這些層以分層方式工作，每層選擇代表點，轉換與代表點相鄰的所有點的特徵，並聚合相鄰點特徵以更新代表點的特徵。
透過這種方式，PointNet++ 可以捕獲點雲中不同深度的區域性和全域性特徵，該模型廣泛用於 3D 點分類和分割。
使用 TPE 解決預算和準確性之間的權衡最佳化問題
每一層的閾值都起著至關重要的作用，決定輸入樣本是否可以提前退出以減少計算預算，或者繼續前向傳遞以獲得更好的準確性，從而在準確性和效率之間取得平衡。
這裡的目標是找到一個帕累托最優解，在 DNN 的計算預算和準確率之間取得平衡。
首先，研究人員使用網格搜尋來探索計算預算和準確率之間的相關性。然後，他們設計了一個兼顧計算預算和準確率的目標函式，並利用 TPE 的方法最佳化各層的閾值，目標函式的最優解即為一個兼顧計算預算和準確率的 DNN。
計算預算顯著減少，透過基於語義記憶的 DNN 對 MNIST 資料集進行分類時減少了 48.1%，對 ModelNet 資料集進行了分類時減少了 15.9%。
此外，能源效率顯著提高，與最先進的 GPU 相比，各個資料集分類的能耗分別降低了 77.6% 和 93.3%。
這些發現為未來模擬大腦對計算資源的自適應分配、對過去經驗的聯想回憶以及記憶和處理的搭配的研究開闢了道路。
相關報導：https://www.science.org/doi/10.1126/sciadv.ado1058