編輯 | KX
卷積神經網路（CNN）憑藉其出色的影像識別能力，在人工智慧領域表現出色，尤其是在 ChatGPT 等平臺中。
近日，上海理工大學團隊成功將 CNN 概念引入光學領域，實現卷積全光神經網路，為人工智慧成像技術帶來了革命性的進步。
研究團隊開發了一種超快卷積光學神經網路（ONN），該網路無需依賴光學記憶效應，即可實現對散射介質後方物體的高效清晰成像。
該神經網路利用強散射過程直接提取特徵，實現無記憶影像重建，視野擴大 271 倍，計算速度達到了每秒 1.57 千萬億次運算。
該研究以「Memory-less scattering imaging with ultrafast convolutional optical neural networks」為題，於 6 月 14 日發表在《Science Advances》雜誌上。
論文連結：https://www.science.org/doi/10.1126/sciadv.adn2205
卷積運算是 CNN 的核心，從影像中提取區域性特徵，並逐層構建更為複雜抽象的特徵表示，極大地推動了影像處理和模式識別等領域的發展。然而，將卷積網路運算的理念應用到光學領域，面臨著將電子訊號轉換為光訊號的挑戰。
複雜散射介質（包括渾濁組織和散斑層）中的光學記憶效應（Optical Memory Effect，OME）一直是宏觀和微觀成像方法的重要基礎。然而，沒有光記憶效應的強散射介質的影像重建尚未實現。
圖示：透過散射層堆疊實現無記憶影像重建的機制。（來源：論文）
全光學解決方案，真正的光學計算速度
研究團隊巧妙地設計了一種全光學解決方案，直接在光域進行卷積網路運算，省去了繁瑣的訊號轉換過程，實現了真正的光學計算速度。
研究人員透過開發一個整合了多個以光速執行的並行核心的多級卷積光學神經網路 (ONN)，展示了透過不存在光記憶效應的散射層進行影像重建。
卷積 ONN 全光學、無參考、無掃描、無導星（guide-star–free）、無標籤；不需要照明控制或計算重建；並且不受記憶效應的限制。此外，它可以透過強散射介質重建複雜的場景和影像。
卷積 ONN 由一個光學輸入層、兩個卷積層和一個全連線輸出層組成，可進行光速並行的一步計算。獨特的是，並行多級光學卷積核採用渦旋和隨機照明直接提取特徵。該神經網路可透過強散射過程進行訓練，使視野（Field of view）擴大 271 倍。
這一過程不僅大大提高了成像速度，而且顯著增強了影像質量，使得在複雜散射環境下成像成為可能。而且，卷積 ONN 的計算速度達到了每秒 1.57 千萬億次運算（POPS），為實時動態成像提供了強大的支援。這為圖形處理建立了一個超快、高能效的光學機器學習平臺。
圖示：光學卷積神經網路原理。（來源：論文）
該研究的另一大亮點是其多工處理能力，只需簡單調整網路結構，同一個卷積 ONN 就能同時執行多種不同的影像處理任務，如分類、重建等，這在光學人工智慧領域尚屬首次。
為了在複雜的無記憶散射成像場景中重建物體，將訓練過程中的損失函式從交叉熵誤差函式更改為負皮爾遜相關係數（PCC）。因此，卷積 ONN 在具有兩個不同間距的擴散層的強散射情況下進行物理訓練，其中每種情況下考慮 2000 個訓練物體散斑圖案。
結果表明，當散射板間距（d）增加時，卷積 ONN 表現出基本相同的效能。在雙層無記憶散射的情況下，卷積 ONN 可以學習散斑圖案和輸入物件之間的低階紋理的可泛化對映。因此，所提出的卷積 ONN 可以重建未知物體。
圖示：無記憶影像重建的實驗驗證。（來源：論文）
實時無記憶影像重建
接下來，討論了經過訓練的卷積 ONN 的動態推理能力，該特性對於實時無記憶影像重建非常重要。為此，研究人員重新配置了卷積 ONN，以基於可程式設計 SLM 和高速互補金氧半導體 (CMOS) 相機執行影片速率影像重建。
結果如下圖所示。可以看出，卷積 ONN 可以在給定的幀速率下根據散斑圖案正確推斷或重建影像，展示了大約 1.57 POPS 的計算能力。
圖示：可訓練卷積 ONN 的動態和多工效能的演示。（來源：論文）
為光學成像技術開闢新途徑
與現有的基於波長或偏振複用的 ONN 進行多工推理相比，所提出的可訓練卷積 ONN 可以在多工模式下執行，並區分不同類別的獨立無記憶散斑圖案。
為了實現這一點，只需修改第三個全連線層的結構來執行不同的任務，因為前兩層卷積操作的影像處理效率很高。因此，卷積層和核心可以在不同的任務之間共享，從而提高多工效能。
上海理工大學光子晶片研究院張啟明教授指出：「這種靈活性和效率的結合，不僅凸顯了卷積網路在人工智慧中的重要性，也為光學成像技術開闢了新途徑。」
該研究不僅是卷積神經網路在光學領域的成功移植，更是對 AI 成像技術的重大助力。
上海理工大學光子晶片研究院顧敏教授表示：「在不久的將來，卷積光學神經網路將在自動駕駛、機器人視覺、醫學成像等領域發揮越來越重要的作用。」
參考內容：https://techxplore.com/news/2024-06-convolutional-optical-neural-networks-herald.html