最近，來自 Salesforce AI 研究院、谷歌、史丹佛大學等機構的研究人員合作撰寫了一篇文章，綜述了基於深度學習的計算機視覺技術在醫療領域中的現狀與應用。該論文發表在 Nature 旗下期刊 npj Digital Medicine 上。
機器之心選取文章的部分內容為大家展開介紹。
論文地址：https://www.nature.com/articles/s41746-020-00376-2#Sec6
摘要
十年來，人工智慧取得了前所未有的進展，包括醫學在內的許多領域都有望從中受益。在該論文中，研究者調查了以深度學習為支撐的現代計算機視覺技術在醫學領域的最新進展，重點包括醫學成像、醫療影片和臨床部署。
該論文首先簡要概述了卷積神經網路的十年進展，包括它們在醫療領域中實現的視覺任務。接下來，論文討論了一些有益的醫學成像應用示例，涉及心臟病學、病理學、皮膚病學、眼科醫學，併為後續研究工作提出了新的方向。此外，研究者還介紹了醫療影片，重點介紹瞭如何將臨床工作流程與計算機視覺結合來改善醫療效果。最後，論文討論了在現實世界中部署這些技術面臨的挑戰和障礙。
圖 1：醫療領域中的計算機視覺任務示例。
計算機視覺
目標分類、定位和檢測分別是指識別影像中的目標型別、確定目標所在位置，以及同時確定目標的型別和位置。過去十年，ImageNet 大規模視覺識別挑戰賽（ILSVRC）是促成這些任務進步的先鋒。它建立了一個由深度學習研究人員組成的大型社群，社群中的研究者相互競爭和合作以改進各種 CV 任務的技術。
2012 年，首個使用 GPU 的現代 DL 方法成為該社群發展的拐點，它預示著該領域接下來幾年的顯著進展，直到 2017 年 ILSVRC 競賽舉辦了最後一屆。值得注意的是，在此期間，分類準確率已經達到了人類級別。在醫學上，這些方法的細粒度版本已成功用於許多疾病的分類和檢測，如下圖 2 所示。
圖 2：醫師級別的診斷效能。
醫學成像
近年來，使用計算機視覺技術處理靜態醫學成像的論文從數百篇增長至幾千篇。其中，放射學、病理學、眼科醫學和皮膚病學等幾個領域受到了廣泛關注。
醫學影像的獨特特徵給基於 DL 的計算機視覺提出了許多挑戰。例如，影像可能非常龐大，數字化組織病理學影像可以產生約 100000 x 100000 畫素的千兆畫素影像，而典型的 CNN 影像輸入約為 200 x 200 畫素。
目前已有數十家公司獲得美國 FDA 和歐盟 CE 的醫學成像 AI 批准。隨著可持續商業模式的建立，商業市場已經開始形成。例如，印度和泰國等地歡迎部署糖尿病性視網膜病變篩查系統等技術。如今這種快速發展已經達到了直接影響患者治療效果的地步。
心臟病學
心臟成像越來越廣泛地應用於臨床診斷等流程中，深度學習的關鍵臨床應用包括診斷和篩選。心血管醫學中最常見的成像方式是心臟超聲或超聲心動圖。作為一種經濟高效的無輻射技術，超聲心動圖因其直接的資料採集和解釋功能而特別適合應用 DL 技術，它常被用於急診住院設施、門診中心和急診室中。
病理學
病理學家在癌症的檢測和治療中起著關鍵作用。病理分析（基於顯微鏡下組織樣本的目視檢查）本質上是主觀的，視覺感知和臨床訓練的差異可能導致診斷和預測意見不一致。
DL 可以支援很多重要的醫療任務，包括診斷、預測病情和治療效果、疾病監測等。
近年來，醫療領域已經採用了亞微米級解析度的組織掃描器，該儀器可以捕獲千兆畫素的全視野數字切片（whole-slide images ，WSI）。這種發展和計算機視覺的進步促成了 AI 驅動的數字組織病理學的研究和商業化活動。該領域具有以下潛力：
透過提高日常任務的效率和準確性來克服人類視覺感知和認知的侷限性；
從人眼看不見的形態結構中開發出疾病和治療的新特徵；
將病理學與放射學、基因組學和蛋白質組學測量結合起來，以改善診斷和預測效果。
皮膚病學
皮膚病學中 DL 的關鍵臨床任務包括特定於病灶的鑑別診斷、在良性病灶中發現與病灶有關的問題，以及幫助跟蹤病灶隨時間的增長。一系列研究表明，CNN 在歸類良性與惡性皮膚病變時的效能可以媲美皮膚科醫生。這些研究依次測試了越來越多的皮膚科醫生，並且始終展示出匹配甚至超過醫師水平的分類敏感性和特異性。但這些研究很大程度上侷限於二分類任務，如鑑別良性與惡性皮膚病變。
最近，這些研究還包括了對數十種皮膚病的診斷，包括非贅生性皮膚病（如皮疹），其分類器輸入還囊括了非視覺後設資料（如病人的人口統計特徵）。
將這些演算法整合到臨床工作流程可以使其支援其他關鍵任務，包括對具有多個病灶的病人進行大規模惡性病變檢測等。這一領域仍待探索。
眼科學
近年來，眼科領域出現了很多 AI 研究，許多論文展示了其 AI 成果超出當前人類的臨床診斷和分析能力。這帶來的潛在影響是巨大的，眼睛檢查儀器的便攜性意味著可以利用臨時診所和遠端醫療為偏遠地區帶去檢測點。該領域極大地依賴眼底成像和光學相干斷層掃描 (OCT) 來診斷和管理病人。
CNN 可以準確診斷許多疾病。眼睛包含大量人類無法解釋的特徵，包含有意義的醫療資訊，而 CNN 可以獲取這些特徵。CNN 還可以基於眼底成像分類多種心血管和糖尿病風險因素，包括年齡、性別、收縮壓等。這表明未來 AI 研究有可能基於眼部影像預測非眼部資訊，帶來醫療領域的正規化轉變，即透過眼部檢查判斷眼部和非眼部疾病，而這是人類醫生目前無法做到的。
醫療影片
手術應用
計算機視覺可以在手術和內窺鏡檢查等醫療步驟中提供極大的用途。深度學習在醫療方面的重要應用包括透過實時環境感知、技能評估和訓練來提升手術效能。早期研究主要在基於影片的機器人手術和腹腔鏡手術中開展。另一個方向則是利用計算機視覺識別不同的手術階段，從而開發環境感知的計算機輔助系統。
此外，計算機視覺還開始出現在開放手術中。這裡的挑戰在於影片捕捉視角的多樣性（如頭戴式、側視和懸吊式攝影機）和手術型別的多樣化。對於所有型別的手術影片，將 CV 分析轉換為可以提升治療效果的工具與應用是下一個研究方向。
人類活動
計算機視覺可以識別物理空間中的人類活動，可用於大量「環境智慧」應用。環境智慧指連續、非侵入式地感知物理空間中的活動，從而為醫生、護士等醫療工作人員提供幫助，如病人監測、自動化文件等，參見圖 3。
圖 3：環境智慧。計算機視覺與感測器和影片流讓很多安全應用在臨床和居家環境中變為了可能，為醫護工作者擴充套件了監測病人的能力。這些應用主要使用細粒度活動識別模型構建，可能包括 ICU 中的患者監測、醫院和診所中的洗手動作監測、異常事件檢測等。
環境感知還可以在醫院之外應用，幫助更多人及時獲取醫療服務。例如，它可以透過監測日常活動中的異常情況來幫助獨居老人及時獲取醫療服務。此外，計算機視覺技術還有望成為遠端生理指標測量的工具，例如系統利用影片來分析心率和呼吸頻率。
臨床部署
醫療 AI 的應用可以給社會帶來福利，也有可能加劇長期存在的不平等。當得到恰當、符合倫理的使用時，醫療 AI 可以促成更公平的醫療環境。而其關鍵在於理解模型基於什麼樣的資料構建、在什麼樣的環境中部署。該論文展示了將機器學習技術應用於醫療領域時需要注意的四個要點：資料評估、模型侷限性解決、社群參與和信任建立。
資料質量很大程度上決定了模型質量，發現資料中的不公平並解決將帶來更公平的醫療環境。目前有多種移除資料偏見的方法。個體層面上的偏見可以透過專家討論和標註判定來解決，而群體層面偏見則需要缺失資料補足和分佈漂移來解決。國際多機構評估是確定模型在多種不同群體、醫療裝置、資源設定和實踐模式間泛化效能的魯棒方法。此外，使用多工學習訓練模型執行多種任務也會使模型更具普遍用途和魯棒性。
透明報告可以解決模型的潛在缺陷，幫助解決模型侷限性。然而，僅僅報告，以及在通用資料集上實現強大效能並不足夠，我們還應理解模型失敗的特定例項。一種解決方案是將評估人口統計效能與顯著圖結合起來，從而視覺化模型關注的地方，發現潛在的偏差。下圖 4 展示了模型部署中的偏見。
圖 4：模型部署中的偏見。
從病人、醫生、電腦科學家和其他利益相關人的角度來看，社群參與對於模型的成功部署更為重要。它可以幫助識別醫療診斷中種族偏見的結構化成因，具體表現是發現資料集中的偏見、確定導致模型失敗的人口統計特徵。以使用者為中心的評估是確保模型可用性並使其適應現實世界的重要工具。
另一個使醫生建立起對 AI 信任的有效工具是 ML 模型與現有工作流的並行部署，參見圖 5：
圖 5：臨床部署。該示例工作流程展示了 AI 增強工作流的積極效果，以及可建立起的信任。人工智慧的預測結果為醫生提供了直接價值，而隨著收集到的資料增加，這種能力還會不斷提升。