從SIFT到深度學習

我們首先介紹基於OpenCV的方法，然後介紹深度學習的方法。
影像配準就是找到一幅影像畫素到另一幅影像畫素間的空間對映關係。這些影像可以是不同時間（多時間配準），不同感測器在不同地方拍攝（多模式配準）。這些影像之間的空間關係可以是剛性（平移和旋轉），仿射（例如剪下），單應性（homographies）或複雜的大變形模型（complex large deformations models）。

傳統的基於特徵的方法

自21世紀初以來，影像配準主要使用基於特徵的方法。這些方法有三個步驟：關鍵點檢測和特徵描述，特徵匹配，影像變換。簡單的說，我們選擇兩個影像中的感興趣點，將參考影像（reference image）與感測影像（sensed image）中的等價感興趣點進行關聯，然後變換感測影像使兩個影像對齊。

關鍵點檢測和特徵描述

關鍵點就是感興趣點，它表示影像中重要或獨特的內容（邊角，邊緣等）。每個關鍵點由描述符表示，關鍵點基本特徵的特徵向量。描述符應該對影像變換（定位，縮放，亮度等）具有魯棒性。許多演算法使用關鍵點檢測和特徵描述：

SIFT（Scale-invariant feature transform）是用於關鍵點檢測的原始演算法。SIFT特徵描述符對於均勻縮放，方向，亮度變化和對仿射失真不變的部分不會發生變化。

SURF（Speeded Up Robust Features）是一個受SIFT啟發的探測器和描述符，它的優點是非常快。

ORB（Oriented FAST and Rotated BRIEF）是一種快速的二進位制描述符，它基於 FAST（Features from Accelerated Segment Test）關鍵點檢測和 BRIEF（Binary robust independent elementary features）描述符的組合。它具有旋轉不變性和對噪聲的魯棒性。由OpenCV實驗室開發，是SIFT有效的免費替代品。

AKAZE（Accelerated-KAZE）是KAZE快速版本。它為非線性尺度空間提供了快速的多尺度特徵檢測和描述方法，具有縮放和旋轉不變性。
這些演算法都可以在OpenCV中輕鬆使用。在下面的例子中，我們使用了AKAZE的OpenCV實現。其他演算法的程式碼大致相同，只需要修改演算法的名稱。

特徵匹配

一旦在一對影像中識別出關鍵點，我們就需要將兩個影像中對應的關鍵點進行關聯或“匹配”。

影像變換

在匹配至少四對關鍵點之後，我們就可以將一個影像轉換為另一個影像，稱為影像變換（image warping）。空間中相同平面的兩個影像通過單應性變換（Homographies）進行關聯。Homographies是具有8個自由引數的幾何變換，由3x3矩陣表示影像的整體變換（與區域性變換相反）。因此，為了獲得變換後的感測影像，需要計算Homographies矩陣。

為了得到最佳的變換，我們需要使用RANSAC演算法檢測異常值並去除。它內建在OpenCV的findHomography方法中。同時也存在RANSAC演算法的替代方案，例如LMEDS：Least-Median魯棒方法。

基於深度學習的方法

特徵提取

深度學習用於影像配準的第一種方式是用於特徵提取。卷積神經網路設法獲得越來越複雜的影像特徵並進行學習。2014年以來，研究人員將這些網路應用於特徵提取的步驟，而不是使用SIFT或類似演算法。

2014年，Dosovitskiy等人提出了一種通用的特徵提取方法，使用未標記的資料訓練卷積神經網路。這些特徵的通用性使轉換具有魯棒性。這些特徵或描述符的效能優於SIFT描述符以匹配任務。

2018年，Yang等人開發了一種基於相同思想的非剛性配準方法。他們使用預訓練的VGG網路層來生成一個特徵描述符，同時保留卷積資訊和區域性特徵。這些描述符的效能也優於類似SIFT的探測器，特別是在SIFT包含許多異常值或無法匹配足夠數量特徵點的情況下。

監督學習

在2016年，DeTone等人發表了 Deep Image Homography Estimation，提出了HomographyNet迴歸網路，這是一種VGG風格模型，可以學習兩幅相關影像的單應性。該演算法具有以端到端的方式同時學習單應性和CNN模型引數的優勢，不需要前兩個階段的過程。
網路產生八個數值作為輸出。以監督的方式進行訓練，並計算輸出和真實單應性之間的歐幾里德損失。
與其他有監督方法一樣，該單應性估計方法需要有標記資料。雖然很容易獲得真實影像的單應性，但在實際資料上要昂貴得多。

無監督學習

基於這個想法，Nguyen等人提出了一種無監督的深度影像單應性估計方法。他們保留了相同結構的CNN，但是使用適合無監督方法的損失函式：不需要人工標籤的光度損失（photometric loss）函式。相反，它計算參考影像和感測變換影像之間的相似性。

他們的方法引入了兩種新的網路結構：張量直接線性變換和空間變換層。我們可以簡單地使用CNN模型輸出的單應性引數獲得變換後的感測影像，然後我們使用它們來計算光度損失。
與傳統的基於特徵的方法相比，這種無監督方法具有相當或更高的準確率和魯棒性，並且具有更快的執行速度。此外，與有監督方法相比，它具有更好的適應性和效能。

強化學習

強化學習方法作為醫學應用的常用方法正在得到越來越多的關注。與預定義的優化演算法相反，在這種方法中，我們使用訓練好的代理進行配準。

2016年，Liao 等人首先使用強化學習進行影像配準。他們的方法基於有監督演算法進行端到端的訓練。它的目標是通過尋找最佳的運動動作序列來對齊影像，這種方法只能用於剛性轉換。

強化學習也可以用於更復雜的轉換。在Robust non-rigid registration through agent-based action learning論文中，Krebs等人使用人工代理優化變形模型引數。該方法對前列腺MRI影像的患者間的配準進行實驗，在2-D和3-D中表現出了較好的結果。

大變形配準

在當前影像配準研究中佔較大比例的是醫學影像。通常，由於患者的區域性變形（因呼吸，解剖學變化等），兩個醫學影像之間的變換不能簡單地通過單應矩陣描述，這需要更復雜的變換模型，例如由位移向量場表示微分同胚（diffeomorphisms）。
2017年De Vos等人提出了DIRNet。它使用CNN來預測控制點網格，該控制點用於生成位移向量場，然後根據參考影像變換感測影像。