MIT將生物學機制引入神經網路,新模型或揭開抑制神經元功能

微胖發表於2017-01-10

MIT CSAIL(電腦科學和人工智慧實驗室)研究員們開發出一個新的大腦神經迴路計算模型,這一模型將有助於理解抑制神經元(阻止其他神經元放電)的生物學功能。


這一模型描述了一個由一列輸入神經元和等量輸出神經元構成的神經迴路,執行神經科學家所謂的「贏家通吃」策略(winner-take-all。重要研究發現,神經系統以這樣一種簡單的競爭機制保證了使用頻率較高、輸入較強的環路聯接被保留下來並加以強化,而使用頻率低、輸入較弱的聯接被去除,從而使系統資源得到最優化的分配,神經環路的聯接更加精確。這種基於競爭的分子機制,對理解正常腦發育十分重要,對研究自閉症(又稱孤獨症)、精神分裂症等發育性神經系統疾病有重要的借鑑作用。——譯者注),其中,來自多個輸入神經元的訊號僅引發一個輸出神經元的訊號。

運用理論電腦科學工具,研究員們證明:在他們的模型條件下,一種特定抑制神經元的配置是能夠提供激發「贏家通吃」操作的最有效手段。這一模型能對大腦中抑制神經元的行為做出實證性預測,從而為計算分析援助神經科學研究的方式提供一個範本。


研究員們將在這周的理論電腦科學創新(Innovations in Theoretical Comptuer Science)大會上展示他們的研究成果。MIT 軟體科學和工程系的 NEC 教授 Nancy Lynch 是這篇論文的第一作者。加入這項研究的還有她研究團隊裡的一位博後 Merav Parter,以及 MIT 電子工程與電腦科學系的研究生 Cameron Musco。


多年以來,Lynch 的團隊在自組織網路(ad hoc networks)的交流和資源分配上開展研究,自組織網路是一種組織成員不斷離開和再次加入的網路。直到最近,團隊開始使用網路分析工具來研究生物學現象。


「計算機網路的行為(或者其他裝置如手機)與生物系統之間有密切的對應關係,」Lynch 談到。「我們嘗試去尋找這樣一些問題,這些問題能夠從這樣的分散式計算視角中受益,並關注我們可以證明出數學性質的演算法。」


人工神經學


近年以來,人工神經網路——計算機模型幾乎都是基於大腦結構而構建的。此後,從語音轉錄到面部識別軟體,人工智慧系統裡一些最快速的改進都得益於人工神經網路。


一個人工神經網路包含一系列結點(nodes),這些節點就如一個個神經元,單個結點的資訊處理能力有限,但結點之間的相互聯絡非常稠密。資料會首先輸入到第一層結點中,如果一個有閾值判定條件的給定結點接收到資料之後,比如說這個資料值超過某一特定值,那麼這個結點就被激發了也即把訊號沿著它所有的輸出連線傳給下一層結點。


所有的這些輸出連線每一個都是有關聯權重值的,這些權重值可以增強或者減弱傳遞訊號。下一層的每一個結點將會接收到第一層多個結點輸出的帶有權重的訊號;每個結點將會把所有的輸入訊號累加起來,同理,如果所有訊號的累加總值超過某一閾值,這個結點就被激發了,且這個節點的所有輸出訊號傳遞到下一層,如此進行下去。


在人工智慧應用中,我們使用樣本資料「訓練」神經網路,不斷調整權重和放電閾值,直到最終層的輸出能持續表徵出一些計算問題的解決方案。


生物合理性


Lynch, Parter 和 Musco 對這款設計做了一些修改,讓它更具生物合理性。第一處修改是增加了抑制「神經元」。一個標準的神經網路中,連線的權重值常常是正的,或者可能為正或負。但是,大腦中的一些神經元顯然完全起抑制作用,防止其他神經元放電。MIT 研究人員將這些神經元建模為僅有負權重的連線節點。


許多人工智慧應用也是「前饋」網路,訊號的傳遞方向是單一的,從接收輸入資料的第一層單向傳遞到輸出計算結果的最後一層。但是,大腦連線要複雜的多。Lynch 等人設計的迴路包括

反饋:訊號經由輸出神經元被傳遞給抑制神經元,它的輸出再接著被傳遞迴給輸出神經元。輸出神經元的訊號也反饋給自身,實驗證實,這對贏者通吃的策略來說非常重要。


最後,研究人員的網路是概率性的。在一個典型的人工神經網路中,如果節點輸入值超過閾值,節點就會放電。但是,大腦中,增大訊號通過輸入神經元的力量只會增加一個輸出神經元放電的機率。研究人員模型中的節點也是這種情況。這一修改對贏者通吃的策略來說,再次起到了關鍵作用。


在該研究模型中,輸入輸出神經元的數量是固定的,執行贏者通吃計算也是完全是一堆輔助神經元的任務。Parter 解釋說:「我們正在試著觀察解決給定問題所花時間和輔助神經元數量之間的平衡。我們將神經元視為一種資源;不想太浪費。」


抑制的好處


Parter 和她的同事也表明,在他們的模型語境下,贏者通吃的策略要奏效,僅有一個抑制神經元肯定是不夠的。但是兩個抑制神經元就足夠了。技巧在於一個抑制神經元——研究人員稱之為收斂神經元——會發出強烈的抑制訊號,如果不止一個輸出神經元放電的話。另一個抑制神經元——穩定神經元——會發出弱得多的訊號,只要任一輸出神經元正在放電。


收斂神經元驅使迴路挑選出一個單獨的輸出神經元,在這一點上停止放電;而穩定神經元防止第二個輸出神經元被啟用,一旦收斂神經元被關閉的話。源自輸出神經元的自反饋迴路提升了該效果。一個輸出神經元被關閉的時間越長,就有可能繼續維持關閉狀態;開著的時間越長,就越有可能繼續開啟著。一但一個單獨的輸出神經元被選中,其自發聵迴路就能確保克服穩定神經元的抑制。


不過,沒有隨機,迴路就不會收斂到一個單獨的輸出神經元:抑制神經元權重的任一一種設定都會平等影響到所有輸出神經元。Parter 解釋說,你需要使用隨機來打破這種對稱性。


研究人員可以確定保證一個特定收斂速度最少需要多少個輔助神經元,以及給定特定數量的輔助神經元,其最快收斂速度是多少。


增加更多的收斂神經元會增加收斂速度,不過速度會有上限。比如,100 個輸入神經元,兩到三個收斂神經元就夠了;增加一個也不會提升效率。只要一個穩定神經元就已經最優了。


不過,或許更有啟發性的是,研究人員表明,包括興奮神經元——刺激而不是抑制其他神經元放電的神經元——以及輔助神經元中的抑制神經元無法證明迴路的效率。類似,任何一種沒有察覺收斂神經元和穩定神經元差異的抑制神經元的安排都要比可以察覺到這一區別的安排更低效。


那麼,假設進化趨於找到解決工程問題的有效解決方案,模型既告訴我們問題的答案就在大腦中,也提出了一個適於經驗研究的撩人問題:真實的抑制神經元展示出類似收斂神經元和穩定神經元之間的區別了嗎?


參考文獻:


PAPER: Computational tradeoffs in biological neural networks: Self-stabilizing winner-take-all networks https://arxiv.org/pdf/1610.02084v1.pdf
ARCHIVE: Exploring networks efficiently http://news.mit.edu/2016/ant-colony-behavior-better-algorithms-network-communication-0713
ARCHIVE: New frontier in error-correcting codes http://news.mit.edu/2014/interactive-error-correcting-code-1002
ARCHIVE: New approach to vertex connectivity could maximize networks' bandwidthhttp://news.mit.edu/2013/new-approach-to-vertex-connectivity-could-maximize-networks-bandwidth-1224
ARCHIVE: Reliable communication, unreliable networks http://news.mit.edu/2013/reliable-communication-unreliable-networks-0806

相關文章