論文:https://www.biorxiv.org/content/biorxiv/early/2019/04/11/605634.full.pdf
近日,谷歌與霍華德·修斯醫學研究所(HHMI)珍妮莉亞研究園區(Janelia Research Campus)以及劍橋大學展開合作,共同在細胞雜誌上發表了論文《Automated Reconstruction of a Serial-p EM Drosophila Brain with Flood-Filling Networks and Local Realignment》,深入果蠅大腦的所有 神經元和突觸。
為了生成詳盡的大腦影像,研究人員使用了多達 7062 個大腦切片,共計 2100 萬張圖片——其背後使用的演算法和硬體可謂強大。
谷歌 AI 負責人,計算機大神 Jeff Dean 點評了這項最新研究:TPU 帶你飛!
這一連線組學研究有望加速人類對於果蠅——乃至所有生物學習、記憶和 感知方面的研究。目前該成果已開源,人們可以在 Neuroglancer 上對果蠅的大腦進行 3D 預覽。這項研究的作者之一、Janelia 研究組長 Davi Bock 表示:「此前人類從未對果蠅大腦實現 神經元連線級別的成像。」這種級別的細節是繪製大腦電路的關鍵——只有獲取精確的 神經元連線網路,我們才能瞭解果蠅行為的生成機制。
連線組學研究的目標是繪製大腦的「接線圖」,以瞭解神經系統的工作方式。果蠅是生物學上公認的一種研究動物,果蠅的大腦更是近來研究的主要目標物件。截至目前,已有八項諾貝爾獎授予了果蠅相關研究,這些研究推動了分子生物學、遺傳學和 神經科學的發展。果蠅研究的重大優勢在於它們的大小:與老鼠大腦(1 億個 神經元)、章魚大腦(5 億個 神經元)或人類大腦(1000 億個 神經元)相比,果蠅大腦相對較小(只有 10 萬個 神經元)。這種優勢使得研究人員更容易將果蠅大腦作為一個完整迴路來研究。
40 萬億畫素下的果蠅大腦重建,任何人都可以互動瀏覽。
40 萬億畫素下的果蠅大腦自動重建
谷歌在霍華德·修斯醫學研究所的合作者將果蠅大腦切分成數千個 40 奈米的超薄切片,並且使用透射電子顯微鏡生成每個切片的影像(由此產生了 40 萬億畫素以上的果蠅大腦影像),然後將 2D 影像排列對齊形成完整果蠅大腦的 3D 影像。這項研究用到了數千塊谷歌 Cloud TPU 和泛洪演算法網路(Flood-Filling Network,FNN),後者能夠自動跟蹤果蠅大腦中的每個 神經元。
雖然該演算法大體上執行良好,但研究人員發現,當對齊效果不完美(連續切片中的影像內容不穩定)或切片和成像過程存在問題導致多個連續切片缺失時,該演算法的效能會下降。
為了應對這些問題,研究人員將泛洪演算法網路與以下兩個處理流程相結合:
其一,研究人員估計了 3D 影像各位置切片之間的一致性,然後在 FFN 跟蹤每個 神經元時確保各位置影像內容的穩定性;
其二,研究人員使用 Segmentation-Enhanced CycleGAN(SECGAN)計算出缺失影像的近似圖。
SECGAN 是一種專門用於影像分割的生成對抗網路。研究人員發現,當使用 SECGAN 幻覺影像資料時,FFN 能夠更加魯棒地跟蹤多個缺失切片的位置。
果蠅大腦在 Neuroglancer 的互動式視覺化
使用 3D 影像重建大腦之後還有一個問題,就是怎麼展示:當影像包含上萬億畫素時,視覺化顯得極其重要和困難。
受到谷歌新視覺化技術的啟發,研究人員設計了一種可擴充套件且功能強大的工具。目前,任何有瀏覽器且支援 WebGL 的裝置都可以前往觀察該研究的開源結果。
它以 Neuroglancer 技術呈現:https://bit.ly/2GKmDF2
谷歌表示,這項技術可以幫助人們展示 PB 級的 3D 內容,並支援很多高階功能,如任意軸橫截面的重新拼接、多解析度網格,以及通過 Python 開發自定義分析任務的強大能力與 Python 整合。
研究展望
谷歌表示,其在 HHMI 和劍橋大學的合作者們已經開始了基於該研究的進一步探索,儘管目前的研究結果還不是真正的 神經元連線圖——建立連線組還需要識別突觸。但作者正在與 FlyEM 團隊共同構建一個具有高度可驗證性且詳盡的果蠅大腦連線體。
參考內容:
https://www.biorxiv.org/content/biorxiv/early/2019/04/11/605634.full.pdf
https://ai.googleblog.com/2019/08/an-interactive-automated-3d.html
https://www.sciencedaily.com/releases/2018/07/180719142110.htm