編輯 | 蘿蔔皮
在醫學顯微影像分類（MIC）領域，基於 CNN 和 Transformer 的模型得到了廣泛的研究。然而，CNN 在建模長距離依賴關係方面存在短板，限制了其充分利用影像中語義資訊的能力。相反，Transformer 受到二次計算複雜性的制約。
為了解決這些挑戰，南京農業大學、國防科技大學、湘潭大學、南京郵電大學、蘇州大學組成的聯合研究團隊提出了一個基於 Mamba 架構的模型：Microscopic-Mamba。
具體來說，該團隊設計了部分選擇前饋網路（PSFFN）來取代視覺狀態空間模組（VSSM）的最後一層線性層，增強了 Mamba 的區域性特徵提取能力。
此外，研究人員提出了調製互動特徵聚合（MIFA）模組，使模型可以有效地調製和動態聚合全域性和區域性特徵。他們還採用了並行 VSSM 機制，以改善通道間資訊互動，同時減少引數數量。
該研究以「Microscopic-Mamba: Revealing the Secrets of Microscopic Images with Just 4M Parameters」為題，於 2024 年 9 月 12 日釋出在 arXiv 預印平臺。
顯微成像技術在醫學中至關重要，能夠在細胞和分子水平上分析生物結構，幫助診斷疾病。然而，對顯微影像的手動分類效率低下，且需要大量專業知識。雖然 CNN 能有效提取區域性特徵，但其捕捉長距離依賴關係的能力有限；ViT 雖能建模全域性依賴關係，但計算複雜度高。
現有的解決這些限制的方法包括結合 CNN 和 Transformer 的混合方法。這些方法試圖在區域性和全域性特徵提取之間取得平衡，但通常以犧牲準確性或計算效率為代價。
因此，科學家需要設計更高效的模型，能有效地處理區域性和全域性資訊，同時無需承擔巨大的計算負擔。
南京農業大學、國防科技大學、湘潭大學、南京郵電大學和蘇州大學的研究團隊提出了一種名為 Microscopic-Mamba 的新型架構來應對這些挑戰。
它以較低的計算複雜度緩解了現實醫療場景中的計算限制。該模型專門用於透過結合 CNN 在區域性特徵提取方面的優勢與狀態空間模型（SSM）在捕獲長距離依賴關係方面的效率來改善微觀影像分類。
該團隊的模型整合了部分選擇前饋網路（PSFFN）來取代視覺狀態空間模組（VSSM）中的最終線性層，在保持緊湊高效的架構的同時，顯著增強了感知區域性特徵的能力。透過結合全域性和區域性資訊處理能力，Microscopic-Mamba 模型力圖在醫學影像分類領域樹立新的標杆。
Microscopic-Mamba 背後的核心方法在於其雙分支結構，由用於區域性特徵提取的卷積分支和用於全域性特徵建模的 SSM 分支組成。該模型還引入了調製互動特徵聚合 (MIFA) 模組，旨在有效融合全域性特徵和區域性特徵。在此架構中，CNN 分支使用深度可分離卷積（DWConv）和逐點卷積（PWConv）進行區域性特徵提取。
相比之下，SSM 分支則專注於透過並行視覺狀態空間模組（VSSM）進行全域性特徵建模。整合這兩個模組使 Microscopic-Mamba 能夠處理詳細的區域性資訊和廣泛的全域性模式，這對於準確的醫學影像分析至關重要。
VSSM 中的最後一層被 PSFFN 取代，這提高了模型捕獲區域性資訊的能力，最佳化了細節和泛化之間的平衡。
研究人員用五個公共醫學影像資料集對 Microscopic-Mamba 模型進行了廣泛的測試，均表現出了優異的效能。
這些資料集包括視網膜色素上皮 (RPE) 細胞資料集、用於瘧疾細胞分類的 SARS 資料集、用於結直腸息肉分類的 MHIST 資料集、用於腫瘤組織分類的 MedFM Colon 資料集，以及包含超過 236,386 張人類腎細胞影像的 TissueMNIST 資料集。
該模型在高準確率和低計算需求之間實現了完美平衡，非常適合實際醫療應用。例如，在 RPE 資料集上，Microscopic-Mamba 實現了 87.60% 的總體準確率 (OA) 和 98.28% 的曲線下面積 (AUC)，優於現有方法。
該模型的輕量級設計，在某些任務上僅有 4.49 GMAC 和 110 萬個引數，確保它可以部署在計算資源有限的環境中，同時保持高精度。
消融研究表明，引入 MIFA 模組和 PSFFN 對模型的成功至關重要。將這兩個元素結合起來，可顯著提高所有資料集的效能。在 MHIST 資料集上，該模型僅用 486 萬個引數就實現了 99.56% 的 AUC，凸顯了其在醫學影像分類中的效率和有效性。
總之，Microscopic-Mamba 模型顯著推進了醫學影像分類。透過結合 CNN 和 SSM 的優勢，這種混合架構成功解決了以前方法的侷限性，提供了一種計算效率高且高度準確的解決方案。
該模型能夠處理和整合區域性和全域性特徵，非常適合進行顯微影像分析。Microscopic-Mamba 在多個資料集上表現出色，有望成為自動化醫療診斷的標準工具，從而簡化流程並提高疾病識別的準確性。
論文連結：https://arxiv.org/pdf/2409.07896v1