- 醫學影像是什麼？
醫學影像是反映解剖區域內部結構或內部功能的影像，它是由一組影像元素--畫素（2D）或立體畫素（3D）組成的。醫學影像是由取樣或者重建產生的離散影像，它能將數值對映到不同的空間位置上。畫素所表達的具體數值是由成像裝置、成像協議、影像重建以及後期加工所決定的。 - 醫學影像的模態
常見的醫學影像包括X射線、計算機斷層掃描（CT）、單光子發射計算機斷層掃描（SPECT）、超聲波（US）、磁共振成像（MRI）、功能磁共振成像（fMRI）、紅外和紫外線、正電子發射斷層掃描（PET）等 - 醫學影像的格式
主要有六種，分別為DICOM（醫學數字成像和通訊）、NIFTI（神經影像資訊科技）、PAR/REC（Philips磁共振掃描格式）、ANALYZE（Mayor醫學成像）、NRRD（近原始柵格資料）和MNIC - 醫學影像與自然影像的區別
從原理上說，醫學影像大多數是放射成像、功能性成像、磁共振成像和超聲成像等。而自然影像大多數是自然光成像，因此存在很多的區別，比如自然成像的光譜比較複雜，其噪聲可認為是高斯噪聲，而醫學影像中廠家去除了人體內的散射，使光譜比較複雜，其噪聲可近似於泊松噪聲，因此降噪的方式不同。
從影像的內在特徵來說，醫學影像多是單通道灰度影像，儘管大量醫學影像是3D的，但是醫學影像中沒有景深的概念，自然影像中目標檢測發展的如火如荼，大量演算法針對由於景深而引起的小目標檢測有非常多的設計，然而在醫學影像中一個很小的異常組織之所以被檢測出來，不是由於它形態很小並且邊緣像什麼東西，而是該區域同周圍區域有明顯的差異，比如說DR中檢測肺結核纖維化病灶，一個直觀的表現就是病灶區域紋理走向同周圍不同。這些都需要在設計時進行慎重考慮。
從影像反映的資訊來說，絕大多數同部位，同體態的醫學影像相似度非常高，這主要是人體組織本身相似度高所致；並且醫學影像中細微結構並不能像自然影像中被認為的無關緊要，在相似度極高的背景組織中的細微變化有可能就代表著某種病變。這就為醫學影像分析處理帶來難度，很多指標諸如SSIM在這裡就會失效，同時很多細小的紋理都不得不被考慮。例如：醫用螢幕的價格往往高於工作站本身，這主要是因為為了很好的顯示醫學影像所包含的所有特徵，不得不用具有很最佳化的gamma曲線的螢幕，以提供完整的、優秀的灰階顯示，而這種螢幕的生產成本遠高於普通屏。總之，一張醫學影像中包含的所有資訊都具有潛在的利用價值，而往往一張自然影像可能就只有一部分ROI有用。
醫學影像拍攝成本高，產業鏈複雜，入行門檻高是造成醫學影像處理一系列問題的根源；一張高質量的醫學影像，不僅僅是影像處理的工作，還涉及到機械加工精度、探測器材效能是否優秀，病患身體是否配合等等非影像方面可控的因素，這些又是影像演算法不得不考慮的地方。例如：CT裡面去除金屬偽影根本上就是一個可最佳化但是無法根本解決的問題；而類似的自然影像中* 的防抖，運動偽影的處理就容易得多。很多情況下，醫學影像演算法並不如硬體提升來的作用大，另外，很多在自然影像領域已勢微的方向，比如影像融合技術，在醫學影像研究中依然佔據非常重要的地位。 - 醫學影像分析的定義及應用
定義：醫學影像分析指運用各種方法對影像中的興趣區域和目標進行定量或定性檢測，最大限度地挖掘影像內涵，為臨床醫師或科研人員提供資訊參考。
應用場景：
- 臨床輔助診斷
臨床輔助診斷建立在醫學影像病理形態學基礎上，即是否發生病變可透過細胞、組織或器官的形態結構變化進行判斷。 - 影像引導治療
為了實現對病灶的精準治療，在治療前、治療中，可使用影像分析技術對人體組織器官醫學影像進行三維重建，減少由於治療過程中發生的變化而導致的治療效果的不佳。 - 預後
預測疾病的可能病程和結局。
- 醫學影像分析的四大關鍵任務
- 疾病診斷
從醫學影像中判斷出患者是否患病或得了何種疾病。 - 病變、器官和異常檢測
在醫學影像中檢測病變是許多情況下疾病診斷的重要任務和關鍵部分。類似地，器官檢測是影像配準、器官分割和病變檢測的基本預處理步驟。醫學影像中的異常檢測，例如腦MRI影像中的腦微出血和視網膜影像中的硬滲出物，在許多應用中也需要。 - 病變或器官的分割
醫學影像分割致力於從背景中識別病變或器官的畫素，通常被視為病變或器官的畫素，通常被視為病變評估和疾病診斷的前提步驟。近年來，基於深度學習模型的分割方法已成為主流技術，並已廣泛用於腦腫瘤、乳腺腫瘤以及肝臟和胰腺等器官的分割。 - 醫學影像配準
配準是將兩個或者多個影像對齊到一個具有匹配內容的座標系中的過程，也是許多（半）自動醫學影像分析任務中的重要步驟。影像配準可以分為兩種：剛性和可變性（非剛性）。在剛性配準中，所有影像畫素均勻地經歷簡單變換（例如旋轉），而可變性配準旨在建立影像之間的非均勻對映。
- 醫學影像分析其他任務
- 醫學影像降噪
醫學影像噪聲包括原始影像的噪聲和標籤的噪聲，這些噪聲是由各種原因所導致的，對後續任務的影響程度也不同，需要採用一些方法對其處理。 - 醫學影像超解析度重建
隨著臨床對高解析度影像的要求不斷提高，採用低解析度影像獲得高分辨影像的超解析度重建方法可以在不改變成像裝置的前提下獲得高質量的醫學影像。 - 醫學影像合成
資料集擴充套件
模態轉換（從一種模態獲得另一種模態的醫學影像） - 醫學影像重建
醫學影像重建的目的是從大量測量（例如CT中的X射線投影或MRI中的空間頻率資訊）重建診斷影像。 - 醫療報告生成
- 應用於醫學影像分析的機器學習方法
根據學習正規化的不同，可以將目前應用於醫學影像分析的機器學習方法分成有監督學習、無監督學習、深度學習、強化學習。
- 監督學習
監督學習是指樣本有標籤的一類學習方式，監督學習按照樣本的標籤多少可以分為兩種形式：全監督和半監督。雖然醫學影像從數量上看並不少，但是對這些影像進行標註是比較困難，需要極高的專業知識和花費大量的時間。因此資料問題是醫學影像分析的痛點，很多研究人員的工作都是基於此展開的。 - 無監督學習
深度學習
隨著深度學習技術的不斷髮展，越來越多的人使用深度學習模型去處理相關的學習任務。由於其具有強大的特徵學習與表達能力，因而在醫學影像分析任務上表現出色。深度學習是透過堆疊多層神經網路以實現學習的一種方式，因此可按照神經網路的劃分方式對齊進行分類。
a.前饋神經網路
前饋神經網路（feedforward neural network)是一種簡單的神經網路，也被稱為多層感知機（MLP），其中不同的神經元屬於不同的層，由輸入層-隱藏層-輸出層構成，訊號從輸入層往輸出層單向傳遞，中間無反饋。前反饋神經網路中包含啟用函式（sigmoid函式、tanh函式等）、損失函式（均方差損失函式、交叉熵損失函式等）、最佳化演算法（BP演算法）等。常用的模型結構有：卷積神經網路、BP神經網路、RBF神經網路、感知神經網路等。在醫學影像分析領域，佔據主導地位的無疑是卷積神經網路了，幾乎所有應用於影像處理的深度學習網路都包含卷積操作。
b.反饋神經網路
反饋神經網路（feedback neural network）的輸出不僅與當前輸入以及網路權重有關，還和網路之前的輸入有關。它是一個有向迴圈圖或是無向圖，具有很強的聯想記憶能力和最佳化計算能力。常用的模型結構有：RNN、Hopfield網路、波爾茲曼機、LSTM等。其中最經典的是RNN。RNN用於解決訓練樣本輸入是連續的序列，且序列的長短不一的問題，比如基於時間序列的問題。基礎的神經網路只在層與層之間建立了權連線，RNN最大的不同之處就是在層之間的神經元之間也建立的權連線。
c.圖神經網路
近年來，深度學習領域關於圖神經網路（GNN）的研究熱情日益高漲，圖神經網路已經成為各大深度學習的研究熱點。GNN處理非結構化資料時的出色能力使其在網路資料分析、推薦系統、物理建模、自然語言處理和圖上的組合最佳化問題方面都取得了新的突破。圖神經網路通常有以下幾種網路模型：圖卷積網路、圖自編碼器、圖生成網路、圖迴圈網路、圖注意力網路。
圖神經網路的計算過程總結起來就是聚合鄰居。圖神經網路是直接在圖上進行計算，整個計算的過程，沿著圖的結構進行計算，整個計算的過程，沿著圖的結構進行，這樣處理的好處是能夠很好的保留圖的結構資訊。而能夠對結構資訊進行學習，正是圖神經網路的能力所在。圖資料無處不在，圖神經網路的應用場景非常多樣。比如transformer就是圖神經網路的一種。
d.強化學習
雖然強化學習近年來逐漸興起，但是強化學習在醫學影像分析中很難被理解和部署，因此該方面還需要較多的研究。強化學習（Reinforcement Learning，RL），又稱再勵學習、評價學習或增強學習，是機器學習的正規化和方法論之一，用於描述和解決智慧體（agent）在環境的互動過程中透過學習策略以達到回報最大化或者實現特定目標的問題。換句話說，強化學習是一種學習如何從狀態對映到行為以使得獲取的獎勵最大的學習機制。這樣的一個agent需要不斷地在環境中進行實驗，透過環境給予的反饋（獎勵）來不斷最佳化狀態-行為的對應關係。因此，反覆實驗（trial and error）和延遲獎勵（delayed reward）是強化學習最重要的兩個特徵。強化學習系統一般包括四個要素：策略，獎勵，價值以及環境或者說是模型。強化學習在醫學影像分析中的優勢是強化學習即使在樣本少或者標註較差的情況下也能獲得較好的效果，同時速度比較塊；強化學習可以從序列資料中學習，其學習過程是以目標為導向的，可以探索新的解決方案，甚至可以超過人類。
- 模型表現提升策略
- 多特徵融合
多特徵融合是指在醫學影像分析過程中使用多種特徵，如影像組學特徵、劑量組學特徵或深度學習提取的高層次特徵等。 - 多模態融合
多模態影像融合方法是一種將來自一種或多種成像模態的多個影像整合在一起的過程，以提高準確性和質量，同時保留影像的補充資訊。醫學影像融合主要涉及MRI、PET、CT和SPECT。PET和SPECT模態提供了包含身體功能資訊的影像，例如代謝、軟組織運動和血流的細節，但空間解析度較低。MRI、CT和US提供了高空間解析度影像，提供了有關身體的解剖學資訊。多模態影像通常透過將功能影像與結構影像合併來獲得，以產生更好的資訊供專家診斷臨床疾病。
在影像融合步驟中必須滿足兩點：1）輸入影像中存在的所有有用的醫療資訊必須存在於合成影像中。2）融合影像不應包含輸入影像中不存在的額外資訊。融合可以應用於從不同成像模態來源獲得的多感測器影像、通常從同一模態獲得的多聚焦影像以及廣泛用於醫學的多模態影像。在多模態融合過程中，研究人員首先選擇感興趣的身體器官。然後，選擇兩個或多個成像模態，使用適當的融合演算法進行融合，為了驗證融合演算法，還需要一些效能指標。在最後一步中，合成的融合影像比輸入影像包含更多關於身體器官掃描區域的資訊。整個MMIF流程如圖所示。
融合的方式主要有三種，分別是輸入級融合、特徵級融合、決策級融合。
a. 輸入級融合
在輸入級融合策略中，多通道影像作為多通道輸入進行逐通道融合，以學習融合的特徵表示，然後訓練網路。輸入級融合可以最大限度地保留原始影像資訊，學習影像特徵。現有的多模態醫學影像分析網路大多數採用輸入級融合策略，其結構如下：
b. 特徵級融合
在特徵級融合策略中，使用單個或兩個模態影像作為單個輸入來訓練單個網路，然後將這些學習到的單個特徵表示在網路的層中進行融合，最後將融合結果反饋給決策層以獲得最終的結果。特徵級融合網路可以有效地捕捉同一患者不同模態的資訊，其結構圖如下：
c. 決策級融合
在決策級融合分割網路中，域特徵級融合一樣，每個模態影像被用作單個網路的輸入。單個網路可以更好地利用相應模態的唯一資訊。然後將各個網路的輸出進行整合，以獲得最終的分割結果。由於不同的影像採集技術，多模態影像在其原始影像空間中幾乎沒有直接的互補資訊。決策級融合網路旨在獨立學習不同模態的互補資訊，決策級融合通用網路架構如同所示。
然而，這些融合策略都有不同程度的缺點。輸入級融合策略難以在同一患者的不同模態之間建立內部關係，這導致模型效能下降。特徵級融合的每個模態對應一個網路，這會帶來巨大的計算成本，尤其是在模態數量很大的情況下。決策級融合的每個模態的輸出彼此獨立，因此該模型無法建立同一患者的不同模態之間的內部關係。此外，與特徵級融合策略一樣，決策級融合策略也是計算密集型的。因此，需要將這三種融合策略有效地結合起來，一個好的多模態融合策略應該以較低的計算複雜度實現儘可能多的不同模態之間的互動。 - 遷移學習
遷移學習是機器學習中一種新的學習正規化，它可以克服深度學習需要大量樣本的缺陷，能夠解決醫學影像分析中資料集較小導致模型不準確的問題，因而成為繼深度學習之後在醫學影像分析領域的研究熱點。按照目前醫學影像分析中應用的主要遷移學習方法，即基於資料的遷移學習、基於模型的遷移學習、對抗式遷移學習和混合遷移學習。
a.基於資料的遷移學習
基於樣本的遷移學習
基於樣本的遷移學習是在源域和目標域資料具有相同特徵的情況下，從源域中篩選出符合目標域資料的相似分佈的樣本，用它們訓練新模型以降低其偏差和方差。透過加入部分源域資料為輔助資料集，增大了資料集，可以減少模型的方差。但是需要計算MMD及KL等距離量度；在源域無標籤的情況下無法使用樣本加權方法。能夠遷移的樣本數量受限於源域樣本數量。適用於源域和目標域資料的特徵相同而分佈不同的場景。
基於特徵的遷移學習
基於特徵的遷移學習要解決的是源域資料和目標域資料特徵不重疊或有部分特徵重疊的問題。對於有特徵重疊的情況，學習一對對映函式，將來自源域和目標域的資料對映到共同特徵空間以減少域間差異性；對於不重疊的情況，找到兩個特徵空間可能存在的某些轉換器來實現遷移學習。
目前醫學影像分析領域基於特徵的遷移學習屬於源域和目標域具有特徵重疊的情況。基於特徵的遷移學習適用範圍較廣，不管源域和目標域資料是否有標籤都能使用。然而，當資料有標籤時，域不變性的度量值不易計算；當資料無標籤時，學習跨域通用特徵也較困難。適用於源域和目標域資料的特徵只有部分重疊甚至不重疊的場景。
b.基於模型的遷移學習
基於模型的遷移學習是在模型層次上源任務和目標任務共享部分通用知識，包括模型引數、模型先驗知識和模型架構，分為基於共享模型成分的知識遷移和基於正則化的知識遷移兩類。前者利用源域的模型成分或超引數來確定目標域模型；後者透過限制模型靈活性來防止模型過擬合。
基於模型的遷移學習可以避免再次抽取訓練資料或再對複雜的資料表示進行關係推理，是更高效的學習方式。然而，模型需要進行源域的預訓練和目標域的再訓練，增加了訓練次數和訓練時間；遷移模型到目標域後，採用何種模型結構和引數調整策略對模型的精度產生重大影響，而如何快速選擇合適的調整策略還缺乏有效的解決辦法。適用於源域任務和目標域任務在模型層次上共享部分通用知識，即模型引數、模型先驗知識和模型架構等場景。
c.對抗式遷移學習
對抗式遷移學習有兩種方式，一種是基於樣本的遷移學習，由GAN生成目標域資料；另一種是基於特徵的遷移學習，這種方式還可以分成兩類，一類是對抗式域介面卡，使用有標籤的源域資料和沒有標籤的目標域資料來學習一個適用於兩個領域的識別分類器，另一類是對抗式特徵學習，用大量無標籤的源域資料構造高層抽象特徵，再用少量有標籤的目標域資料學習一個分類器。
對抗式遷移學習適用範圍較廣，無論源域和目標域資料是否具有標籤都能使用，使用引數化網路度量域之間的差異，無需計算MMD和KL散度等距離。然而，該遷移學習方法也有侷限性，例如難以學習高維和多模態資料的內在結構；在某些區域模型無法生成樣本時可能會崩潰、最小-最大博弈難以達到平衡、可能生成不切實際的樣本。
d.混合式遷移學習
混合知識遷移是透過使用多種遷移學習方法來遷移兩種以上的知識，包括樣本、特徵和模型，遷移特徵最終表現為遷移了樣本。使用基於資料的遷移學習或對抗式遷移學習來遷移資料，使用基於模型的遷移學習來遷移模型。
混合遷移學習可以同時遷移兩種以上知識到目標域，和單一的遷移學習相比，能從多個方面提高模型的訓練效果，從而提高模型精度。然而，混合遷移學習同時使用兩種以上的遷移學習方法，增加了問題解決的難度和複雜度。
- 結合領域知識
如今，在給定醫療資料集之外引入更多資訊已成為解決小型醫療資料集問題的一種更有前景的方法。引入外部資訊以提高CAD深度學習模型的效能的想法並不新鮮。例如，通常做法是首先在一些自然影像資料集（如ImageNet）上訓練深度學習模型，然後在目標醫學資料集上對其進行微調，這一過程被稱為遷移學習，隱含地引入了來自自然影像的資訊。除自然影像外，多模態醫學資料集或來自不同但相關疾病的醫學影像也可用於改善深度學習模型的效能。