編輯 | 蘿蔔皮
計算超解析度方法，包括傳統的分析演算法和深度學習模型，極大地改進了光學顯微鏡。其中，有監督深度神經網路表現出了出色的效能，但由於活細胞的高動態性，需要大量的高質量訓練資料，而獲取這些資料非常費力甚至不切實際。
在最新的研究中，清華大學和中國科學院的研究人員開發了零樣本反摺積網路（Zero-shot deconvolution networks，ZS-DeconvNet），可立即將顯微鏡影像的解析度提高超過衍射極限 1.5 倍以上，同時熒光比普通超解析度成像條件低 10 倍，以無監督的方式進行，無需地面事實或額外的資料採集。
研究人員還展示了 ZS-DeconvNet 在多種成像模式上的多功能適用性，包括全內反射熒光顯微鏡、三維寬視場顯微鏡、共焦顯微鏡、雙光子顯微鏡、晶格光片顯微鏡和多模態結構照明顯微鏡；它能夠對從有絲分裂單細胞到小鼠和秀麗隱杆線蟲的多細胞胚胎的亞細胞生物過程進行多色、長期、超解析度 2D/3D 成像。
該研究以「Zero-shot learning enables instant denoising and super-resolution in optical fluorescence microscopy」為題，於 2024 年 5 月 16 日釋出在《Nature Communications》。
光學熒光顯微鏡對於生物研究至關重要，而超解析度技術的進步極大提高了成像細節，但伴隨空間解析度提升的是其他成像引數的折衷。計算超解析度方法憑藉其能線上提升影像質量、增強現有裝置效能且擴充套件應用範圍的能力，成為研究熱點。
這些方法分為基於分析模型的去卷積等技術和基於深度學習的 Super-Resolution（SR）網路兩大類。前者受限於引數調優及對複雜成像環境適應性差的問題，後者雖能透過大資料學習複雜影像轉換，卻面臨資料獲取難度大、高度依賴訓練資料質量的挑戰，這限制了深度學習超解析度技術在生物研究日常應用中的普及。
在這裡，清華大學和中國科學院的研究團隊提出了一個零樣本反摺積深度神經網路框架 ZS-DeconvNet，它能夠以無監督的方式訓練 DLSR 網路，僅使用一張低解析度和低訊雜比的平面影像或體積影像堆疊，從而實現零樣本實現。
因此，與最先進的 DLSR 方法相比，ZS-DeconvNet 可以適應不同的生物成像環境，其中生物過程過於動態、對光過於敏感而無法獲取真實的 SR 影像，或者影像獲取過程受到未知和非理想因素的影響。
研究人員表示，即使在單個低訊雜比輸入影像上進行訓練，ZS-DeconvNet 也可以將解析度提高超過衍射極限 1.5 倍以上，並具有高保真度和可量化性，並且無需進行特定於影像的引數調整。
ZS-DeconvNet 適用於多種成像模式，從掃描顯微鏡到寬場檢測顯微鏡，並在多種樣本和顯微鏡設定中展示了其能力。
圖示：將 ZS-DeconvNet 推廣到多種成像模式。（來源：論文）
研究人員證明了經過適當訓練的 ZS-DeconvNet 可以在毫秒時間尺度上推斷出高解析度影像，實現對多個細胞器相互作用、遷移和有絲分裂的光敏感過程中的細胞骨架和細胞器動力學，以及發育中的線蟲和小鼠胚胎的亞細胞結構和動力學的高通量長期 SR 2D/3D 成像。
圖示：多模態 SIM 資料中的零樣本去噪和解析度增強。（來源：論文）
此外，為了讓生物學研究社群能夠廣泛使用 ZS-DeconvNet，該團隊建立了一個 Fiji 外掛工具箱和一個 ZS-DeconvNet 方法的教程主頁，使用者無須深度學習知識也能輕鬆使用。
儘管具有廣泛適用性和穩健性，ZS-DeconvNet 使用者需注意潛在的幻想生成及其侷限，如低熒光訊號誤識別、應用於不同成像模式的影像時效能下降、PSF 匹配不當導致的問題，以及無監督學習下的解析度提升不如監督學習明顯。
未來，透過結合更先進的網路架構、擴充至其他光學超分辨技術、採用領域適應或泛化技術，以及處理空間變化的PSF，ZS-DeconvNet的功能和應用範圍將進一步擴大。
論文連結：https://www.nature.com/articles/s41467-024-48575-9