AIxiv專欄是機器之心釋出學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報導了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯絡報導。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
本篇工作發表在《Nature Computational Science》上，共同通訊作者是中國科學院自動化所李國齊研究員、徐波研究員，北京大學田永鴻教授。共同一作是清華大學錢學森班的本科生何林軒（自動化所實習生）、數理基科班本科生徐蘊輝（自動化所實習生），清華大學精儀系博士生何煒華和林逸晗。
讓模型具有更加廣泛和通用的認知能力，是當前人工智慧（AI）領域發展的重要目標。目前流行的大模型路徑是基於 Scaling Law (尺度定律) 去構建更大、更深和更寬的神經網路提升模型的表現，可稱之為 “基於外生複雜性” 的通用智慧實現方法。然而，這一路徑也面臨著一些難以克服的困境，例如高昂的計算資源消耗和能源消耗，並且在可解釋性方面存在不足。
人工智慧與神經科學長期以來相互依存，協同發展。為了克服 “基於外生複雜性” 實現通用智慧的困境，中國科學院自動化研究所李國齊、徐波研究團隊聯合清華大學、北京大學等借鑑大腦神經元複雜動力學特性，提出了 “基於內生複雜性” 的類腦神經元模型構建方法 （圖 1），改善了傳統模型透過向外擴充規模帶來的計算資源消耗問題，為有效利用神經科學發展人工智慧提供了示例。Nature Computational Science 期刊對此評論道：“AI 研究更加貼近工程與應用，而神經科學的研究更加具有探索性。研究團隊挑戰了這一傳統觀點，並表明更詳細且生物學上更真實的神經元模型可以推動深度學習取得更大進展。”
論文連結：https://www.nature.com/articles/s43588-024-00674-9
評論連結：https://www.nature.com/articles/s43588-024-00677-6
圖 1. “外生複雜性” 和 “內生複雜性” 定義示意圖。內生複雜性是指向內借鑑大腦神經元複雜動力學特性構建神經網路基元模型
具有內生複雜性的小網路模型：生物神經元的啟示
生物神經元具有複雜的內部結構，例如離子通道、突觸傳遞機制等，這些複雜的內部結構使得神經元能夠處理複雜的訊號併產生多樣化的響應。相比之下，目前的人工脈衝神經網路模型，例如經典的 LIF （Leaky Integrate and Fire）網路，通常採用簡單的內部結構，難以模擬生物神經元的複雜動力學和功能。
在這項研究中，研究者提出了 “具有內生複雜性的小網路模型” 這一概念，其核心思路是透過模擬生物神經元的複雜動力學，將複雜的內部結構引入單個神經元，從而構建更高效的 AI 模型。例如在本研究中，研究者在脈衝神經網路中使用 HH（Hodgkin-Huxley）模型來替代傳統的 LIF 模型。作為一種描述神經元動作電位產生機制的數學模型，HH 模型具有由複雜的內部結構帶來的精細動力學，可以模擬神經元對各種刺激的響應。
從外生複雜性至內生複雜性的轉化
理論動力學推導與模擬
研究團隊透過理論證明了 HH 模型與 LIF 模型在動作電位產生機制上存在某種等效關係，即一個 HH 神經元可以和四個時變引數 LIF 神經元（tv-LIF）以特定連線方式形成的微結構等效，其中每個 LIF 神經元描述 HH 模型中的一個離子通道。基於這種等效性，可以透過設計微結構提升計算單元的內生複雜性，使 HH 網路模型能夠模擬更大規模 LIF 網路模型的動力學特性，在更小的網路結構上實現與之相似的計算功能。
研究團隊透過模擬神經元刺激輸入對比網路輸出對該理論進行了模擬驗證。在相同的輸入刺激下，具有更高外生複雜性的 tv-LIF 網路能夠與 HH 模型產生相同的輸出響應。進一步，團隊將由四個 tv-LIF 神經元構建的 “HH 模型”（tv-LIF2HH）簡化為 s-LIF2HH 模型，透過模擬實驗驗證了這種簡化模型依然保有捕捉 HH 模型動力學行為的可能性 （圖 2）。
圖 2. “外生複雜性” 和 “內生複雜性” 神經元能夠保持等效的動力學行為，為計算任務簡化後仍舊能夠保持相近的動力學行為
網路學習實驗對比
除了透過模擬研究相同刺激下不同網路的動力學行為，研究者構建了更大規模的 HH 網路模型， s-LIF2HH 網路模型，並進行了多工分類和深度強化學習實驗。結果表明，具有內生複雜性 HH 網路模型能夠與更大規模的 s-LIF2HH 網路模型在表示能力和魯棒性上具有相似的效能，相比更大規模的一般 LIF 網路表現出更好的效能。
多工學習實驗：研究者透過使用 Fashion-MNIST 資料集進行多工學習實驗，結果表明 HH 網路模型能夠與更大規模的 s-LIF2HH 網路模型實現相當效能，甚至略優於更大規模的一般 LIF 網路（圖 3）。
圖 3. 具有內生複雜性的 HH 網路模型在多工上能與更大規模外生複雜性網路絡效能相當
時序強化學習實驗：研究者在倒立擺（Inverted Pendulum）和倒立雙擺（Inverted Double Pendulum）環境下進行時序強化學習實驗，結果表明 HH 網路模型能夠與更大規模的 LIF 網路模型相比，表現出更強的時序資訊提取能力（圖 4）。
圖 4. 具有內生複雜性的 HH 網路模型在時序強化學習任務上能與更大規模外生複雜性網路效能相當
魯棒性實驗：研究者在多工學習和深度強化學習任務中新增高斯噪聲，以評估網路的魯棒性。實驗結果顯示，更大規模的一般 LIF 網路模型在噪聲影響下效能下降幅度最大，而 HH 網路模型和更大規模的 s-LIF2HH 網路模型則表現出更強的魯棒性。在噪聲強度增加的情況下，HH 網路模型和 s-LIF2HH 網路模型的獎勵曲線仍然保持接近，並且相比一般 LIF 網路模型受到的影響顯著地更小（圖 5）。
圖 5. 具有內生複雜性的 HH 網路模型比更大規模外生複雜性網路具有更好的魯棒性
實驗證明了內生複雜性模型在處理複雜任務時的有效性和可靠性。同時，研究發現 HH 網路模型在計算資源消耗上更為高效，顯著減少了記憶體和計算時間的使用，從而提高了整體的運算效率。研究團隊透過資訊瓶頸理論對上述研究結果進行了解釋。除此之外，小規模的模型外部結構相對簡單，更容易理解其決策過程，這也提高了模型的可解釋性和安全性。
結語與展望
具有內生複雜性的小型模型為 AI 的發展帶來了新的機遇。透過模擬生物神經元的複雜動力學，最佳化模型的區域性微結構擴充套件內生複雜性，我們可以構建更高效、更強大的 AI 模型，並克服外部複雜性大型模型的困境。未來，擴充內生複雜性或將成為 AI 研究的重要方向，並推動 AI 技術走向更廣泛的應用。
本研究為將神經科學的複雜動力學特性融入人工智慧提供了新的方法和理論支援，為實際應用中的 AI 模型最佳化和效能提升提供了可行的解決方案。目前，研究團隊已開展對更大規模 HH 網路，以及具備更大內生複雜性的多分枝多房室神經元的研究，有望進一步提升大模型計算效率與任務處理能力，實現在實際應用場景中的快速落地。