檢出率達95.78%！一致性出色！武漢協和醫院披露結節AI臨床試驗結果

2019年的今天，使用影像AI進行輔助診斷已成為越來越多放射科醫生的常規操作。據不完全統計，國內涉足智慧影像診斷的AI企業已高達200餘家，肺部結節AI更是達到了20餘家，成為醫療AI最為火熱的領域之一。

然而結節AI的火爆也引發了諸多爭議，AI的結節檢出效能到底如何？金標準如何選定？走出高質量的研發資料集之後，面對複雜多變的臨床環境，AI的效能能否保持穩定？眾多公司都依然停留在小樣本資料的概念驗證階段時，AI的真實臨床價值如何才能被驗證？

最重要的是，AI到底能在多大程度上輔助臨床醫生？

近期，由華中科技大學同濟醫學院附屬協和醫院與國內醫療AI獨角獸依圖醫療聯合完成的care.ai®胸部CT智慧4D影像系統臨床效能驗證試驗資料公佈，管窺一豹，為我們揭開了影像AI在真實臨床環境中的效能表現。

問題一:AI檢出率到底如何？

結節是肺癌的重要表現之一，如何精準的檢出結節，既能夠高敏感防漏，又能確保優異的特異性，避免過度檢出給醫生帶來額外負擔？

本次效能驗證試驗中，共納入薄層胸部CT片（掃描層厚≤2mm）100餘份，男女比例分別為69%、31%，平均年齡48歲，排除嚴重呼吸偽影、圖片讀取不完整，以及單個病人結節＞10個的情況，以2名高年資醫生盲標交集為金標準，研究在真實臨床環境中， AI效能與高年資醫生的差異，從而探討影像科醫生如何使用AI，以及AI的真實臨床價值。

圖片來源：醫學影像服務中心以“AI+醫生”的檢出為結果，並以第三方兩位高年資醫生分別做確認，“AI+醫生”的結節檢出率達到了95.78%，而其漏檢率卻僅有4.22%。在擁有較高靈敏度的同時，也達到了優異的特異性。

問題二：檢出結果一致性

高質量的影像資料一直號稱影像AI的“糧食”，研發過程中，各路研發團隊“八仙過海”獲取的高質量研發資料集質量極高，遠超真實臨床環境。問題來了，在脫離高質量的研發資料集後， AI在複雜多變的真實臨床環境下表現又如何呢？

而此次試驗資料回答了這一疑問：醫生和AI針對同一組影像檢出的結節中，其判斷有著極高的一致性。

圖片來源：醫學影像服務中心1、對結節大小的判斷：醫生組結節平均長度為3.1±1.51毫米，AI組結節長度為3.4±1.72毫米，差異無統計學意義(p=0.18) 。

採取結節長徑來計算時，獲得同樣結果——醫生組最長徑為3.5±1.86毫米，AI組為3.8±2.15毫米，差異無統計學意義（p=0.21）。雙方對於結節大小的定義無顯著差異。

圖片來源：醫學影像服務中心2、對結節密度的分析（實性、鈣化、純磨玻璃和混合磨玻璃），醫師和AI的判定也幾乎一致，Kappa係數達到0.90。

綜上所述：care.ai®胸部CT智慧4D影像系統能夠幫助醫生提供多維、高價值的病灶資訊，輔助臨床結節檢出。“AI+醫生”的閱片模式也能夠有效提高診斷效率和診斷精度。

問題三：結構化報告採納率？

儘管試驗結果證實：AI能夠以極高的質量、極快的速度完成結節檢出，但在醫生書寫完成的影像報告中，有41份僅提及了1個主要結節，為什麼會出現這種情況？

圖片來源：醫學影像服務中心通過AI檢出結節數量與醫生最終報告結節數量的對比可以發現：AI檢出了絕大部分結節，包括微小結節，而醫生則會根據臨床經驗選擇性的最有臨床價值的結節，報告更簡潔，書寫工作量更少。

為滿足臨床需求，依託依圖醫療雄厚的自然文字處理技術，care.ai®胸部CT智慧4D影像系統實現了結構化報告的秒級自動生成，既可提示所有結節，亦可按照醫生需求選擇性提及重要結節，滿足多種臨床需求。實際臨床工作中，由AI系統出具的結構化報告採納率超過92%。

問題四：哪些結節會有爭議？

此外，在疑難位置，也依然存在部分AI檢出而醫生未檢出，醫生檢出而AI未檢出的情況，需要以“AI+醫生”的形式進行互補。

血管旁結節（圖片來源：醫學影像服務中心）

胸膜上淺淡磨玻璃（圖片來源：醫學影像服務中心）從質疑到信賴 聽聽醫生怎麼說

“作為湖北省首家試用醫療AI產品的單位，一開始，我們對於AI的效能和作用確實是有懷疑的，” 華中科技大學同濟醫學院附屬協和醫院放射科前任主任韓萍教授表示，“AI輔助影像診斷肯定是未來，但必須經受臨床的嚴苛考驗。”

在韓萍教授的大力支援下，依圖醫療團隊與協和醫院專家組多次溝通、反饋，就醫療AI的應用細節展開深入探討，在原則及流程確認後，啟動了AI與臨床工作流的深度融合，通過培訓科室骨幹人員，聽取反饋意見，不斷完善軟體，最終逐漸擴充套件到科室全部醫生。

而隨著影像資料的增多與培訓的進行，AI系統強大的學習能力，以及良好的敏感性、特異性指標迅速得到了科室醫生的喜愛，“AI+醫生”的工作模式也得到越來越多的專家認可。

截至2019年3月，協和醫院的本部、腫瘤中心、西院放射科共安裝AI系統客戶端100餘個，供放射科全科醫生使用。

韓萍教授認為，能夠深入理解臨床痛點，減輕臨床醫師壓力，質量穩定可靠是AI系統廣泛落地的基礎。她透露，在協和醫院，由於診療量巨大，即便夜晚放射科醫生也很難得到休息，2位醫生同時出報告依然壓力巨大，而隨著AI技術的進步，臨床醫生對於AI的信任度越來越高，每月參與診療案例近萬例，從“嘗試AI”到“離不開AI”，AI已經真正成為臨床醫生的好幫手。

全部位影像AI時代來臨！

值得注意的是，目前各大結節AI廠商在技術路徑選擇上也各有不同，作為武漢協和的深度合作伙伴，依圖醫療的care.ai®胸部CT智慧4D影像診斷系統已經在業內率先完成從“點狀任務”階段向“單病種、單科室解決方案”階段的能力進階。

據悉，該系統在業內首次突破結節檢測，病灶檢出能力涵蓋結節、斑片影、條索影、囊狀影以及縱膈淋巴結、胸腔積液等絕大部分胸部CT影像所見，在全球尚屬首次。

參考資料：

[1] 檢出率達95.78%！一致性出色！武漢協和醫院披露結節AI臨床試驗結果 . Retrieved May 16, 2019, from 醫學影像服務中心微信公眾號