AI病理助手來了！浙大OmniPT上崗，3秒鎖定癌症病灶，準確率超95%
机器之心發表於2024-12-16
病理是疾病診斷的「金標準」，而我國面臨病理診斷人才嚴重匱乏窘境。近年來癌症發病率不斷攀升，如何藉助 AI 賦能醫生精準診斷，提高工作效率及醫療質量，成為當前世界病理學科的前沿熱點。近日，浙江大學釋出了視覺與語言模型融合的人機互動 AI 病理萬能助手 - OmniPT，該模型已在浙江大學醫學院附屬第一醫院（以下簡稱「浙大一院」）病理科進行臨床應用驗證，病理診斷技術進入了智慧化與個性化的新時代。浙江大學在 AI + 醫學交叉領域開展的技術突破、技術轉化、臨床驗證等系列成果，以實際行動有力響應了科技創新引領衛生健康事業新發展的國家戰略。OmniPT 由浙大計算機學院宋明黎教授團隊聯合浙大一院共同開發，雙方自 2020 年開展深度合作，2022 年 6 月聯合申請到數字病理人工智慧醫療器械臨床試驗中心（工信部 & 國家藥監局聯合審批）。在浙江大學和浙大一院雙方領導的大力支援下，2024 年 8 月該中心獲批人工智慧醫療器械創新任務揭榜掛帥優勝單位。世界衛生組織（WHO）釋出《醫療衛生中人工智慧的倫理治理》指南中指出，AI 應用部署落地臨床需要滿足人工智慧倫理共識，確定醫生決策和道德主體地位，醫生需要確認診斷結果的安全與準確性。OmniPT 的研發以臨床落地應用為目標，圍繞互動便捷性、診斷效率、診斷精準性、診斷可信性等痛點需求開展技術攻關，以病理科醫生為主導，透過人機互動形式，大幅提升診斷效率及質量，有效緩解了病理人才匱乏的窘境。2024 年 12 月 13 日，在第十七屆中國病理醫師年會上，浙大一院病理科章京教授詳細介紹了人機互動 AI 病理萬能助手 - OmniPT。面向臨床病理診斷真實需求，依託數字病理人工智慧醫療器械臨床試驗中心豐富資料和算力資源，透過多項關鍵技術突破，助力病理大模型在胃癌、結直腸癌和宮頸癌等高發病率癌種上開展臨床應用，有效解決數字病理 AI 臨床應用難題。 浙大一院章京教授在 2024 年中國病理醫師年會上首次對外展示 OmniPT 的功能超大尺寸病理圖蘊含多層級豐富資訊，如何精準、快速給出可信診斷結果是病理大模型需要解決的核心難題。研發團隊透過跨層級高效特徵鎖定、提示引導細節特徵補全等關鍵技術突破，解決 GB 級超大尺寸病理圖秒級推理、精準分析難題。進一步地，透過多工協同分析技術，將文字語義與視覺特徵強關聯，首次實現分類、分割、檢測等多型別診斷任務全覆蓋，為病理報告一鍵生成提供支撐。透過整合上述核心技術，病理萬能診斷助手 OmniPT 有效滿足臨床人機互動診斷分析實時、精準、可信需求。技術負責人馮尊磊副教授介紹：「以往醫生在分析病理切片時，需要耗費大量時間逐一觀察微觀細節，而 OmniPT 可以在不影響推理速度的情況下，1~3 秒內準確鎖定病灶區域，十餘個癌種上取得 95% 以上診斷準確性。此外，OmniPT 支援文字輸入、視覺框選等多種便捷互動方式，能夠實現從全域性到區域性多尺度病變特徵精準鎖定，給文字診斷結果提供視覺特徵依據，有效解決臨床應用可信診斷難題」。這一成果將進一步推動智慧化病理診斷的臨床應用程序，為患者提供更高質量的醫療服務。OmniPT 目前已在癌症分型、分級、血管及神經侵犯識別、預後標誌物發現等多項核心任務中取得突破性進展。在腫瘤病理診斷中，OmniPT 可精準識別腫瘤微環境的各種細胞及組織，並進行精細化分析。基於此，OmniPT 衍生出了預後分析能力，能夠在多個癌種上達到 80~90% 預後精準預測，並從病理表型層面智慧化挖掘預後關聯多個新型標誌物，有效輔助臨床個體化治療。實驗資料顯示，OmniPT 的整體效能顯著優於目前國際上釋出的主流病理模型，為複雜病理診斷分析、腫瘤預後標誌物挖掘提供了可靠的智慧化解決方案。總結而言，人機互動 AI 病理萬能助手圍繞可信性、實時性、精準性等臨床痛點需求取得的核心技術創新，推動人機互動 AI 在病理臨床實踐場景從 0 到 1 的突破。研發團隊積極開源共享研發核心技術，促進領域協同合作發展，提升我國 AI 智慧病理國際競爭力。資料質控負責人張秀明醫生表示：「高質量病理資料是 OmniPT 構建的基石，隨著算力規模的提升和更多癌種資料樣本的擴充，OmniPT 將在更廣泛的臨床場景中應用，為病理醫生減負的同時，為患者帶來更精準和高效的醫療體驗。」依託數字病理人工智慧醫療器械臨床試驗中心，OmniPT 已在浙大一院病理科多個高發病率癌種率先應用，同步在神經病理（如阿爾茨海默病）等重大慢病領域開展結合液體活檢、基因組學的多模態轉化研究，未來將擴充到更多癌種及非腫瘤疾病中的應用。進一步地，透過結合底層數字病理掃描裝置以及病理遠端診斷場景，OmniPT 將成為病理科高效、精準診斷智慧助手，加快推動 AI 技術在真實臨床場景應用建設程序。