編輯 | 2049
近年來，人工智慧技術在各個領域的廣泛應用對計算效率提出了更高要求。特別是在邊緣計算場景中，如何降低深度學習模型的計算成本和功耗成為關鍵挑戰。
來自清華大學的研究團隊提出了一種創新的光譜卷積神經網路（Spectral Convolutional Neural Network，SCNN）晶片架構，透過將光學計算與電子計算相結合，實現了無相干自然光的片上邊緣計算。
該研究以「Spectral convolutional neural network chip for in-sensor edge computing of incoherent natural light」為題，於 2025 年 1 月 2 日釋出在《Nature Communications》。
研究背景
隨著人工智慧技術的發展，CNN 已成為最常用的神經網路架構之一。儘管卷積層使 CNN 能夠從原始影像資料中提取高層次特徵，顯著降低了引數複雜度，但其巨大的計算開銷仍然制約著在便攜終端的部署。
現有的片上光學卷積神經網路通常需要先將自然光轉換為相干光，這不僅降低了能量效率，還丟失了包含物質資訊的光場特徵，如光譜、偏振和入射角等，特別是在複雜視覺任務中至關重要的光譜特徵。
技術創新
該研究的核心創新在於提出了一種全新的光電混合計算框架。光譜卷積神經網路（SCNN）採用光學卷積層（OCL）與可重構電子後端相結合的架構，既保留了光學計算的高並行度和低功耗優勢，又兼顧了電子電路的靈活性。OCL 透過在 CMOS 影像感測器（CIS）上整合大規模畫素對齊的光譜濾波器實現，可直接處理包含空間和光譜資訊的自然光資料。
研究團隊開發了兩種光譜濾波器實現方案：一種基於超表面，具有優異的光譜調製能力；另一種採用顏料，可在 12 英寸晶圓上實現量產，適合規模化生產。
在技術實現上，每個光譜濾波器精確對準一個 CIS 畫素，K = k × k 個 CIS 畫素構成一個超畫素，N = n × n 個超畫素形成一個光學卷積單元（OCU）。整個 OCL 由 H × W 個相同的 OCU 組成，實現了大規模並行的二維卷積運算。OCL 的計算速度與 CIS 的成像速度同步自適應，確保實時處理能力。
實驗表明，該系統能夠根據 CMOS 影像感測器的成像速度自適應地進行實時計算，資料吞吐量降低了 96%，顯著減輕了電子後端的計算負擔，並且透過光學卷積層實現了高能效的計算。
實驗驗證
研究團隊透過多個實際應用驗證了 SCNN 的效能，包括面部防偽和甲狀腺疾病診斷。
在面部防偽任務中，SCNN 晶片能夠有效識別高保真矽膠面具，測試集包含 31 個不同人的 108 個測試樣本。在甲狀腺疾病診斷任務中，SCNN 晶片對正常甲狀腺組織和四種不同疾病的組織進行了自動診斷。
在面部防偽識別任務中，同一片 SCNN 晶片透過重新設計和訓練電子網路層，能夠準確識別高仿矽膠面具。實驗結果顯示，在包含 31 個不同人物的 108 個測試樣本上，晶片實現了影像級 100% 和畫素級 96.23% 的準確率。
圖示：SCNN 用於與人臉識別相關的多項視覺任務。（來源：論文）
在甲狀腺病理組織診斷任務中，晶片對正常組織和四種疾病（單純性甲狀腺腫、毒性甲狀腺腫、甲狀腺腺瘤和甲狀腺癌）的分類準確率達到 96.4%。
特別值得注意的是，當移除 OCL 僅使用普通的 CIS 時，影像級診斷準確率從 96.4% 下降至 93.6%，而畫素級準確率從 82.0% 顯著下降至 60.6%，充分證明了光譜資訊處理的重要性。
圖示：SCNN 診斷甲狀腺組織學切片的實驗結果。（來源：論文）
結語
光譜卷積神經網路（SCNN）晶片的提出，為在感測器內直接處理非相干自然光提供了一種創新的解決方案。該技術在降低計算成本、提高能效方面具有顯著優勢。
雖然 OCL 的權重在特定應用中是固定的，且計算速度依賴於 CIS 的成像速度，但 SCNN 為邊緣計算和人工智慧硬體發展提供了新的技術路線，具有廣闊的應用前景。
論文連結：https://www.nature.com/articles/s41467-024-55558-3