儲層計算可能發揮重要作用的應用領域。
編輯 | 紫羅
儘管深度學習在處理資訊方面取得了巨大成功，但其依賴於訓練大型神經網路模型，限制了其在常見應用中的部署。
因此，人們對開發能快速推理和快速適應的小型輕量級模型的需求日益增長。
作為當前深度學習正規化的替代方向，神經形態計算研究引起了人們的極大興趣，其主要關注開發新型計算系統，這些系統的能耗只有當前基於電晶體的計算機的一小部分。
在神經形態計算中，一個重要的模型家族是儲層計算（RC），儲層計算起源於 21 世紀初，它在過去的二十年中取得了重大進展。
為了釋放儲層計算的全部功能，為時態動力系統提供快速、輕量級且可解釋性更高的學習框架，需要進行更多的研究。
近日，華為聯合復旦大學、伯明翰大學和根特大學（Ghent University）在《Nature Communications》發表題為《Emerging opportunities and challenges for the future of reservoir computing》的 Perspective 文章。
該綜述旨在闡明儲層計算的數學理論、演算法設計和實驗實現的並行進展，並確定大規模工業採用儲層計算的新機遇和現有挑戰，以及如何透過跨學科學術和工業研究人員的共同努力來解決這些挑戰的一些想法和觀點。
論文連結：https://www.nature.com/articles/s41467-024-45187-1
儲層計算起源於 21 世紀初，在過去二十年，RC 研究在數學理論、計算方法以及實驗原型和實現方面都取得了重大成果。
RC 的核心思想是利用動力系統作為儲層（標準基的非線性推廣）來自適應學習複雜時間序列中的時空特徵和隱藏模式。這些開創性研究證明，在混沌系統中具有更高精度預測的潛力，引起了非線性動力學和複雜系統界的極大興趣和後續關注。
RC 概念化了類腦系統如何執行，具有核心三層架構：輸入（感知）層接收資訊並執行一些預處理，中間（處理）層通常由一些非線性迴圈網路動力學定義，輸入訊號充當激勵，輸出（控制）層重新組合來自處理層的訊號以產生最終輸出。
圖示：深度學習與儲層計算的比較。（來源：論文）
圖示：RC 框架的示意圖。（來源：論文）
儘管在各個方向取得了成功，但在整個工業範圍內大規模採用 RC，或在合成和實驗室實驗之外，還沒有廣泛令人信服的「殺手級應用」。實際上，由於其緊湊的設計和快速的訓練，RC 長期以來一直被視為許多工業級訊號處理和學習任務的理想解決方案。
圖示：近 20 年來，RC 研究在數學理論、計算方法以及實驗原型和實現方面取得的重大成果。（來源：論文）
RC 系統理論與演算法設計
RC 的核心思想是設計和使用動態系統作為儲層，根據輸入資料自適應地生成訊號基礎，並以某種最佳方式組合它們以模擬所需過程的動態行為。在這個角度下，回顧和討論了RC 系統的數學表示、常見的 RC 設計和 RC 背後的數學理論。
RC 系統的物理設計：從積體電路到矽光子學
為了歸檔具有短期記憶的可控非線 性高維繫統，可以使用一些具有非線性動態特性的特定物理系統來實現儲層，其中網路連線由物理相互作用決定。
隨著電學和光學器件整合技術的發展，計算效率相對於傳統的布林邏輯方法可以大大提高。物理儲層的實現與軟體方式類似，但略有不同。
圖示：物理儲層計算示意圖。（來源：論文）
原則上，現有的形態電路，例如 FPGA 和 ASIC，可以實現為電子儲存器。
除了基於布林邏輯和馮諾依曼結構的蓄電池之外，人們一直在追求更高效率和更低能耗的方法。對於儲層模型，可採用非線性類比電子電路直接建立儲層模型，如 Mackey-Glass 電路。
另一方面，光子技術的發展為超高速、低能耗的硬體系統帶來了希望，特別是神經網路訓練。與傳統的微電子技術相比，光學系統在高頻寬、低延遲和低能耗方面具有顯著的優勢。基於光學系統的儲層網路也取得了重大進展。
相比較而言，基於 FPGA 和 ASIC 的儲層方案由於其計算的非馮諾依曼/記憶體性質，與通用 CPU 電子架構相比可以大大提高計算速度和功耗。此外，輸入端和輸出端均無需進行光電轉換，方便資料縮放和處理。但計算效率已接近理論極限。綜合利用各自優勢，採用異構整合方案或許是一條可行的路徑。
RC 的應用基準
RC 的應用非常多樣化，主要分為幾類：訊號分類（例如，語音數字識別）、時間序列預測（例如，Mackey-Glass 動力學中的混沌預測）、系統動力學控制（例如， 學習實時控制機器人）和偏微分方程計算（例如，Kuramoto-Sivashinsky 方程的快速模擬）。
圖示：RC 的應用示例。（來源：論文）
總體而言，RC 在一系列基準測試和任務中表現出色，並不斷努力進一步改善結果。下圖總結了典型應用場景中 RC 效能的趨勢。
圖示：典型應用場景中 RC 效能的趨勢。（來源：論文）
鑑於理論上 RC 與通用神經網路一樣具有通用逼近能力，原則上似乎沒有什麼能阻止 RC 模型推動最具挑戰性的人工智慧任務的前沿，這應該是整個 RC 社群的主要目標。
RC 未來發展的機遇和技術挑戰
隨著技術不斷快速進步，開發動態、輕量級且可低成本廣泛部署的智慧資訊處理系統的需求不斷增加。
據預測，到 2030-2035 年，無線和光通訊都將迎來第六代（6G/F6G），為數百億裝置和數十億使用者提供連線。
預計全球資料中心的吞吐量將達到數萬億 GB，需要超過 200 太瓦時的功耗。
此外，數以千萬計的機器人將進入我們的日常生活，以低成本提高勞動效率。
虛擬現實和元宇宙嚴重依賴於物理世界的實時模擬。
這些主要應用需要大量的能力，包括動態不確定性資訊的準確識別、快速預測和計算以及動態控制，所有這些都可以由 RC 系統提供。
研究人員詳細討論了 RC 研究將在 6G、下一代光網路、物聯網 (IoT)、綠色資料中心、智慧機器人、科學人工智慧和數字孿生幾個重要的應用領域發揮的關鍵作用。
展望
綜上所述，雖然 RC 在功能上具備大規模應用的潛力，但要真正解決上述各類重大應用中的技術問題，現有 RC 系統在各方面仍存在諸多關鍵挑戰。
在實驗層面，將 RC 模型對映到物理系統時仍然存在一些差距。第一個是物理基底RC的時間尺度問題。第二個是實時資料處理問題。除了這些實際挑戰之外，硬體漂移通常需要定期重複校準過程，因此它不能是一種最佳化。此外，資料預處理和後處理也限制了物理 RC 系統的整體計算速度。解決此問題的一種方法是使用基於硬體的讀出而不是基於軟體的讀出。
展望未來，徹底探索基於動力系統的智慧學習機的潛力至關重要。在理論和演算法研究領域，需要不斷突破效能界限，為實驗設計提供指導。RC 研究可以紮根於理論和演算法，實驗可以作為理論和演算法結果的近似。
展望未來，釋放 RC 和神經擬態計算的全部潛力至關重要，但也充滿挑戰。事實上，這不僅僅是釋出開原始碼或解決一些具體問題。創新理念和跨學科研究形式非常需要。
儘管面臨許多挑戰，但透過堅持和創新，RC 和神經形態計算的工作可能會出現一種新的、未來的智慧學習和計算正規化。
【推薦閱讀】
- 低能耗低時耗，中科院&香港大學團隊使用新方法進行多工學習的可穿戴感測器內儲層計算
- 為儲層計算開闢新的可能性，北大提出基於α-In2Se3的新型人工光電突觸
- 將儲層計算與統計預測和深度神經網路連線起來