編輯 | X
基礎模型有望為醫學領域帶來前所未有的進步。
在計算病理學 (CPath) 中，基礎模型在提高診斷準確性、預後以及預測治療反應方面發揮著關鍵作用。
近日，美國麻省總醫院（Massachusetts General Hospital）、哈佛醫學院等組成研究團隊設計了迄今為止最大的兩個 CPath 基礎模型：UNI 和 CONCH。這些基礎模型適用於 30 多種臨床和診斷需求，包括疾病檢測、疾病診斷、器官移植評估和罕見疾病分析。
新模型克服了當前模型的侷限性，不僅在研究人員測試的臨床任務中表現良好，而且在識別新的、罕見的和具有挑戰性的疾病方面也顯示出了前景。UNI 和 CONCH 的相關論文發表在《Nature Medicine》上。
UNI：理解病理學影像的基礎模型
組織影像的定量評估對於計算病理學任務至關重要，需要從全玻片影像 (WSI) 中客觀表徵組織病理學實體。WSI 的高解析度和形態特徵的可變性給高效能應用的大規模資料標註帶來了巨大挑戰。
為了應對這一挑戰，目前的研究已經提出了透過自然影像資料集的遷移學習，或對公開的組織病理學資料集的自監督學習來使用預訓練的影像編碼器，但尚未在不同的組織型別中大規模地廣泛開發和評估。
為此，該研究團隊推出一種通用的病理學自監督模型 UNI。UNI 是理解病理學影像的基礎模型，從識別組織學感興趣區域中的疾病到十億畫素全幻燈片成像。它使用包含超過 1 億個組織斑塊和超過 100,000 張 WSI 的資料庫進行訓練，在解剖病理學中具有通用的人工智慧應用。
圖示：UNI 概述。（來源：論文）
該模型在 34 個具有不同診斷難度的代表性 CPath 任務上進行了評估。除了超越以前最先進的模型之外，還展示了 CPath 中的新建模功能，例如與解析度無關的組織分類，使用少量類別原型的幻燈片分類，以及在 OncoTree 分類系統中對多達 108 種癌症進行分類的疾病亞型概括。
UNI 在預訓練資料和下游評估方面在 CPath 中大規模推進無監督表示學習，從而實現資料高效的人工智慧模型，該模型可以泛化並轉移到解剖病理學中廣泛的診斷挑戰性任務和臨床工作流程。
相關研究以《Towards a general-purpose foundation model for computational pathology》為題，於 2024 年 3 月 19 日釋出在《Nature Medicine》上。
開源地址：https://github.com/mahmoodlab/UNI
論文連結：https://www.nature.com/articles/s41591-024-02857-3
CONCH：計算病理學的視覺語言基礎模型
數字病理學的廣泛應用和深度學習技術的進步，已經為各類疾病和患者群體中的多種病理任務開發出強大模型提供了可能。
然而，由於醫學領域標籤稀缺，模型訓練通常很困難，並且模型的使用受到訓練的特定任務和疾病的限制。此外，大多陣列織病理學模型僅利用影像資料，這與人類相互教導和推理組織病理學實體的方式形成鮮明對比。
基於此，該研究團隊提出了一種視覺語言基礎模型 CONCH，CONCH 經過超過 117 萬個組織病理學影像-文字對的資料庫的訓練。
CONCH 在識別罕見疾病、腫瘤分割和理解十億畫素影像等任務方面表現出色。由於 CONCH 接受了文字訓練，病理學家可以與模型互動以搜尋感興趣的形態。
圖示：資料整理和 CONCH 模型示意圖。（來源：論文）
CONCH 根據一套 14 個不同的基準進行評估，可以轉移到涉及組織病理學影像、文字的廣泛下游任務，在組織病理學影像分類、分割、字幕、文字到影像和影像到文字檢索方面實現最先進的效能。
CONCH 代表了組織病理學併發視覺語言預訓練系統的重大飛躍，有可能直接促進各種基於機器學習的工作流程，只需要很少或不需要進一步的監督微調。
相關研究以《A visual-language foundation model for computational pathology》為題，於 3 月 19 日釋出在《Nature Medicine》上。
開源地址：https://github.com/mahmoodlab/CONCH
論文連結：https://www.nature.com/articles/s41591-024-02856-4
研究團隊正在向其他學術團體公開該程式碼，以用於解決臨床相關問題。
麻省總醫院病理科計算病理學部的通訊作者 Faisal Mahmood 博士說，「基礎模型代表了醫學人工智慧的新正規化，這些模型是 AI 系統，可以適應許多下游、臨床相關的任務。我們希望這些研究中提出的概念驗證將為此類自監督模型在更大、更多樣化的資料集上進行訓練奠定基礎。」
參考內容：https://medicalxpress.com/news/2024-03-ai-foundation-advance-pathology.html