三位研究者分別是 MIT 大腦與行為科學系主任 James DiCarlo、MIT 博士後 Pouya Bashivan 和 Kohitij Kar。相關論文發表在 5 月 2 日 Science 的網路版上。
論文連結: http s://www.biorxiv.org/content/10.1101/461525v1
研究人員表示,他們最初的目的是探索大腦如何感知和理解視覺世界。為此,他們建立了可以模擬大腦視覺皮層的計算模型。但僅僅建立模型是不夠的,他們還想知道自己建立的模型是否準確。
於是,他們嘗試用建立的模型控制神經元,測試他們的模型能否精確地控制單個神經元以及視覺神經網路中的神經元群。這是一項非常嚴格的測試。
他們將自己建立的計算模型稱為「controller」,用這一模型控制另一個系統的輸出,也就是實驗中猴子大腦的神經活動。
首先,他們利用從該計算模型中獲得的資訊建立了特定的影像。這些影像與自然影像存在很大的差別,如下圖所示。
研究人員利用深度神經網路模型合成的影像。
研究人員將這些影像展示給實驗中的猴子,觀察影像是否可以強烈啟用他們選擇的特定腦神經元。
實驗結果表明,這些影像可以強烈啟用他們選擇的特定腦神經元。也就是說,他們利用自己建立的人工神經系統成功控制了真實神經系統的活動。
實驗步驟
過去幾年裡,DiCarlo 及其他人開發出了基於人工神經網路的視覺系統模型。每個網路開始時具有一個包含模型神經元或節點的任意架構,這些不同強度(也可稱權重)的神經元或節點彼此之間可以相互連線。
隨後,研究者在一個擁有 100 多萬張影像的庫中訓練這些模型。當研究者向模型展示每張影像,並給影像中最突出的物體新增標籤(如飛機或椅子等)時,模型通過改變其連線強度來學習識別物體。
雖然很難準確確定模型如何實現這種識別,但 DiCarlo 及其同事之前已經證實了這些模型中的「神經元」產生的活動模式與動物視覺皮層對同一影像的反應非常相似。
研究者設計了幾個閉環的神經生理學實驗:在將模型神經元與每個記錄的大腦神經位點匹配之後,他們使用模型合成了全新的「controller」影像。接下來,他們將這些影像展示給每個目標,以測試模型控制目標神經元的能力。
在一項測試中,研究人員讓模型嘗試控制每個大腦神經元,使其啟用程度超過其平時觀察到的最大啟用水平。他們發現,模型生成的合成刺激成功地驅動 68% 的神經位點超出了它們的自然觀察啟用水平。
在一項更加嚴格的測試中,研究人員試圖生成能夠最大限度地控制一個神經元的影像,同時保持附近神經元的活躍度非常低,這是一項更加困難的任務。
但這沒有難倒他們。對於測試的大多數神經元,研究人員能夠增強目標神經元的活躍度,而周圍神經元的活躍度幾乎沒有增加。
接下來,研究者利用這些非自然合成的 controller 影像來測試模型預測大腦反應的能力是否可以適用於這些全新的影像。結果表明,模型非常準確,預測到了 54% 的影像誘發的大腦反應模式,不過這還不夠完美。
「此前,模型已經能夠預測神經對其他未見過的刺激的反應,」Bashivan 表示。「這裡主要的不同之處在於我們又往前走了一步,即利用模型控制神經元達到我們想要的狀態。」
為了達到這一目標,研究人員首先在計算模型中建立了大腦 V4 視覺區域神經元到節點的一對一對映。他們通過向動物和模型展示影像,並比較它們對相同影像的反應來實現這一目的。V4 區有數百萬個神經元,但在這項研究中,研究人員每次只建立 5~40 個神經元的對映。
「一旦搞清楚了每個神經元的分工,模型就能對神經元做出預測。」DiCarlo 表示。
研究人員開始研究能否利用這些預測來控制視覺皮層單個神經元的活動。他們用到的第一種控制叫做「stretching」,包括展示一幅將會控制某個特定神經元的影像。
研究人員發現,當他們向動物展示這些由模型建立的非常規「合成」影像時,目標神經元的確做出了預期的反應。平均而言,這些神經元對合成影像的反應要比它們看到用於訓練模型的自然影像時活躍 40% 左右。這種控制方法也是首創性的。
「實驗資料收集和計算建模分開進行是神經科學的一個普遍趨勢,這使得模型驗證非常少,因此缺乏可量化的進展。我們的工作使這一『閉環』方法」重獲生機,將模型預測和神經測量都包含進來,這些對成功構建和測試最接近大腦的模型至關重要,」Kar 表示。
圖 1:合成步驟概覽。A) 兩個受測控制場景的圖示。C) 神經控制實驗具體步驟。D) 猴子 M(黑色)、N(紅色)和 S(藍色)的神經位點感受野。其中 C 展示了神經控制實驗的四個步驟:在大量標註自然影像上訓練神經網路,以優化其引數,然後保持不變;將 ANN「神經元」對映到每個記錄的 V4 神經位點;使用得到的可微模型合成「controller」影像,用於 single-site 或群體控制;將這些影像指定的發光模式應用於受試者的視網膜,衡量神經位點的控制水平。
證明用人工神經網路理解真實神經網路的可行性
實驗結果表明,當前這些模型與大腦非常類似,可用於控制動物的腦狀態。James DiCarlo 稱,該研究還有助於確定這些模型的有用性,而這引起了它們是否可以精確模擬視覺皮層工作的激烈爭論。
他還說道:「人們對這些模型是否可以理解視覺系統提出了質疑。拋卻學術意義上的爭論,我們證實了這些模型已經足夠強大,能夠促成一項重要的新應用。無論你是否理解該模型的工作原理,從這層意義上來說已經很有用了。」
「他們做到的這一點真的很棒。就好像那副理想的影像突然抓住了那個神經元的注意力。那個神經元突然找到了它一直以來尋找的刺激,」匹茲堡大學生物工程學副教授 Aaron Batista 表示。「這個想法非常了不起,將其變為現實更加了不起。*這可能是用人工神經網路理解真實神經網路迄今為止最有力的證明*。」
研究成果有望用於治療抑鬱症
研究者表示,對於那些想要研究不同神經元如何相互作用和如何連線的神經科學家來說,這種控制可能有用。在遙遠的未來,這種方法有可能在治療抑鬱症等情緒障礙中發揮作用。目前,研究者正在研究將他們的模型擴充套件至為杏仁體提供養料的顳下皮層,而杏仁體又涉及到情緒處理。
Bashivan 表示:「如果我們有一個優秀的神經元模型,它可以體驗情緒或引發不同種類的失調,我們就可以使用該模型控制神經元,來幫助緩解失調狀況。」
參考連結:
http://news.mit.edu/2019/computer-model-brain-visual-cortex-0502
https://science.sciencemag.org/content/364/6439/eaav9436
https://www.biorxiv.org/content/10.1101/461525v1