自UNet的提出，卷積神經網路成為了醫學影像分割的標配演算法。近年來，隨著更加先進的網路結構的陸續提出，醫學影像分割的準確率被不斷重新整理。然而，網路結構的改進對演算法效能的提升漸漸趨於飽和，醫學影像分割的另一個問題——高質量標註資料集稀缺——成為了限制演算法效能亟待解決的問題。在醫學影像領域，影像資料和高質量的標註資料的獲取都十分的昂貴，現有的醫學影像資料集普遍存在著標註稀缺和弱標註這兩個問題，嚴重限制了演算法在生產環境中的應用。 針對這一難題，體素科技的科學家們回顧了以往的研究成果， 針對業務設計了創新的演算法。最新研究論文《Embracing Imperfect Datasets: A Review of Deep Learning Solutions for Medical Image Segmentation》近日在醫學影像分析頂級期刊《Medical Image Analysis》上發表，主要介紹了體素科技在小資料下的醫學影像分割這一問題上取得的一些研究成果，並希望能提高大家對可用於處理不完整醫學影像分割資料集的技術的認識。
發表回顧性文章總結以往研究成果目前先進的神經網路分割演算法需要大量的高質量標註影像進行訓練。然而現實情況中，高質量的標註影像卻很難獲得，尤其對於醫學影像分割，影像資料和標註都很昂貴。針對這個問題，近期大量的研究工作試圖解決不完善資料集的兩類典型問題：
- 標註稀缺。資料集中只有極稀少的影像資料有分割標註。
- 弱標籤。資料集中的影像資料只有部分標註、或者標註帶有噪聲、或者只有影像級的類別標籤沒有逐畫素的分割標註。
體素科技在發表到醫學影像分析頂級期刊《Medical Image Analysis》的文章《Embracing Imperfect Datasets: A Review of Deep Learning Solutions for Medical Image Segmentation》中，針對這兩個主要問題，系統性的對現有的方案進行了詳細的回顧和分類總結（見圖1所示）。
圖 1 資料集缺陷問題及相應訓練策略（圖片摘自[1]）針對資料集的不同問題和資料量需求的多寡，體素科技對這些以往方案的選擇給出了以下指導建議：
1、對於標註稀缺的問題，
a）當僅使用現有的標註資料，不使用額外資料時，傳統的data augmentation （包括synthetic augmentation）和shape regularization對2D和3D網路的訓練都有明顯幫助；基於CRF的後處理技術對2D網路的分割結果有較明顯幫助。
b）如果要使用額外的同源資料，基於self-supervised的預訓練通常是有效的方法之一。另外，基於額外輔助資料集來進行multi-task learning和dataset fusion也能取得較好的效果。 Domain adaptation也是可行的方案之一。
c）當要引入大量新的未標註資料時，active learning和interactive segmentation是目前可行的兩種方案。Active learning從大量樣本中挑選出對演算法提升最大的少量樣本，給到醫生標註，從而減少標註需求；Interactive segmentation建立起human-in-the-loop的標註方式，減輕醫生的標註壓力。
2、對於弱標註的問題，
a）Noisy annotations是醫學影像分割資料集中的常見問題。Noisy annotations表現為醫生標註的分割邊界和目標區域的理想邊界無法完美重合。Noise-resilient策略使演算法可以使用這種粗糙的標註進行訓練，達到與精準標註相似的分割結果。
b）Sparse annotations是指目標區域只有部分標註，例如用稀疏的點或線條標記器官。Selective loss with mask completion方法首先透過稀疏標註重構出完整的標註，然後使用完整的標註進行訓練；selective loss without mask completion重新設計了目標函式，使用稀疏的規則點陣標註目標區域。Sparse annotations往往只對較大的目標區域（例如器官）有效，對於小目標區域（例如病灶）效果不佳。
c）Image-level annotations只需要給出影像級的語義標籤，是標註代價最小的標註方式。基於Class activation maps的方法能夠在利用image-level annotation的同時較大地提升影像分割的結果，是使用image-level annotation處理影像分割問題的理想方案。
體素科技的解決方案
針對以往研究工作的不足， 結合自身業務， 體素科技針對小樣本資料下的醫學影像分割和分析難題提出了多個解決方案， 並發表到了ISBI， MICCAI等國際醫學頂會中。
ErrorNet: 透過預測分割錯誤來提高小樣本下的醫學影像分割效果
圖 2 ErrorNet 的網路架構（圖片摘自[2]）深度卷積神經網路已證明能有效分段各種醫學成像方式中的病變和解剖學。但是，在存在小樣本問題或資料分佈不一致（domain shift）問題時，這些模型通常會產生出乎預料的分割錯誤。在發表到ISBI 2020 的論文《ERRORNET: LEARNING ERROR REPRESENTATIONS FROM LIMITED DATA TO IMPROVE VASCULAR SEGMENTATION》 中，體素科技提出了一個稱為ErrorNet的分割框架來糾正這些分割錯誤，該過程基於事先學習的形狀將自動生成的分割誤差注入分割結果，然後嘗試預測分割誤差。在預測過程中，ErrorNet 透過將預測的分割誤差新增到初始分割結果中來糾正分割錯誤 （見圖2所示）。我們在五個視網膜分割的公共資料集評估了ErrorNet的效果。實驗表明，ErrorNet 表現優於基本的分割模型、基於 CRF 的後處理方案和域自適應的方法，在資料不足的情況下，效能提升更大。
Surrogate Supervision for Medical Image Analysis: 使用代理監督學習來進行醫學影像分析
圖 3 體素科技針對不同醫學影像分析任務提出的自監督策略（圖片摘自[3]）在發表到ISBI 2019的文章《SURROGATE SUPERVISION FOR MEDICAL IMAGE ANALYSIS: EFFECTIVE DEEP LEARNING FROM LIMITED QUANTITIES OF LABELED DATA》中，體素科技研究了一種簡明的解決方案，用以解決深度學習應用到醫學影像分析領域時，標註訓練資料缺失的問題。其基本思想是將人工標註分配給大量可用的未標註醫學影像，並透過稱為代理監督的過程，為缺乏足夠標註資料的醫學影像分析任務進行網路預訓練。特別地，體素科技針對2D和3D醫學影像分類和分割這4種任務，採用了3種代理監督方案，即旋轉、重建和著色（見圖3所示）。我們的研究得出了3個主要結論：1）帶有代理監督的預訓練對小數量訓練資料有效；2）從頭開始透過代理監督進行預訓練的網路模型的效果優於從頭開始進行訓練時的相同網路模型的效果，表明在訓練任何3D網路模型之前應考慮使用代理監督進行預訓練；3）使用醫學影像進行代理監督得到的預訓練模型比從無關領域（例如自然影像）進行遷移更有效，表明未標註的醫學影像資料對模型訓練也具有實用價值。
Models Genesis:一個通用的自監督網路構架用於3D醫學分析任務
圖 4 Model Genesis 的網路構架（圖片摘自[4]）從自然影像到醫學影像的轉移學習已被證實為深度學習在醫學影像分析中最實用的學習正規化之一。但是，為了適應這種學習正規化，必須以2D形式逐層處理3D醫學影像資料（例如CT和MRI），丟失了豐富的3D解剖結構資訊，導致演算法效能的損失。為了克服這種限制，體素科技聯合創始人梁建明教授在發表在MICCAI19 的獲獎論文《Models Genesis: Generic Autodidactic Models for 3D Medical Image Analysis》中， 提出了一組稱為Models Genesis的模型 （見圖4所示），該模型無需人工標註，透過self-supervision進行學習，並可以遷移至其他特定的任務。實驗結果表明，在分割和分類的五個3D任務中，Models Genesis顯著優於從頭重新訓練。另外，簡單地從頭重新訓練得到的3D網路模型不一定比使用2D網路從ImageNet進行遷移學習的效果好，但是Models Genesis的效果始終優於其他2D遷移學習方法，包括對ImageNet預訓練模型進行fine-tuning以及對2D Models Genesis模型進行fine-tuning，表明3D結構資訊的重要性以及Models Genesis處理3D醫學影像的有效性。該論文在MICCAI19中獲得了 Best Young Scientist 獎。
論文釋出：《醫學影像分析》雜誌
主題：影像和影片處理；計算機視覺和模式識別；機器學習
論文作者：Nima Tajbakhsh, PhD（體素科技首席科學家）
論文連結：https://arxiv.org/abs/1908.10454
相關文獻：
[1] Tajbakhsh, N., Jeyaseelan, L., Li, Q., Chiang, J. N., Wu, Z., & Ding, X. (2020). Embracing imperfect datasets: A review of deep learning solutions for medical image segmentation. Medical Image Analysis, 101693.
[2] Tajbakhsh, N., Lai, B., Ananth, S., & Ding, X. (2019). ErrorNet: Learning error representations from limited data to improve vascular segmentation. arXiv preprint arXiv:1910.04814.
[3] Tajbakhsh, N., Hu, Y., Cao, J., Yan, X., Xiao, Y., Lu, Y., ... & Ding, X. (2019). Surrogate supervision for medical image analysis: Effective deep learning from limited quantities of labeled data. In 2019 IEEE 16th International Symposium on Biomedical Imaging (ISBI 2019)
[4] Zhou, Z., Sodha, V., Siddiquee, M. M. R., Feng, R., Tajbakhsh, N., Gotway, M. B., & Liang, J. (2019). Models genesis: Generic autodidactic models for 3d medical image analysis. In International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI 2019).