DETR與Deformable DETR小結

DETR

論文地址https://arxiv.org/abs/2005.12872
論文解讀
DETR將檢測視為集合預測問題，簡化了目標檢測的整體流程。它沒有現在主流的目標檢測器中的anchor、label assign、nms等操作，做到了真正的end-to-end。它主要採用了Transformer的編解碼結構，它在序列預測任務上大獲成功。Transformer中的自注意力機制顯示地界定了序列中元素間的相互作用，因此可以用於約束集合的預測結果。

如上圖是DETR的檢測流程，它一次性預測多個目標，並通過損失函式唯一地匹配預測結果和標註資訊。DETR不需要新增其他的特殊層，整個結構僅由Transformer和ResNet組成。同時，在最後的二分匹配過程我們可以看到，產生的預測結果中不包含感興趣目標類別時，它與空匹配。
與其他的集合預測問題相比，DETR的一大優勢是將解碼器同二分匹配(匈牙利演算法)損失函式結合，從而可以並行處理。該損失函式將預測結果唯一地與標註資訊匹配，因而可以實現並行預測。
DETR的兩個關鍵是：利用損失函式完成預測內容和標註資訊的唯一匹配以及預測一組目標及其之間的關係。如下圖：

DETR transformer架構：

Pytorch程式碼：

很容易擴充套件，可以擴充套件為全景分割模型，通過新增一個mask分支，在box模型的基礎上訓練25輪，就可以達到SO他的結果。

論文貢獻：
（一）提出將Transformer引用於目標檢測的方法，並且得到了預期的結果，相當於為以後的目標檢測提供一種新的方法論；
（二）論文使用的模型結構非常簡潔，不新增任何額外的Tricks就能獲得與Faster-RCNN相當的結果；

（三）主要為我們提供了一種思路，提出一種將深度學習兩大領域（NLP和CV）進行結合的有效方法。

Deformable DETR

論文地址：DEFORMABLE DETR: DEFORMABLE TRANSFORMERS FOR END-TO-END OBJECT DETECTION；
論文翻譯；

DETR將檢測視為集合預測問題，簡化了目標檢測的整體流程。它沒有現在主流的目標檢測器中的anchor、label assign、nms等操作，做到了真正的end-to-end。
儘管DETR有著有趣的設計和好的表現，但是DETR也有著他自己的問題：

1. 相比於現存的檢測器，他需要更長的訓練時間來收斂，在coco資料集上，他需要500輪來收斂，是faster r-cnn的10到20倍；
2. DETR在小物體檢測上效能較差，現存的檢測器通常帶有多尺度的特徵，小物體目標通常在高解析度特徵圖上檢測，而DETR沒有采用多尺度特徵來檢測，主要是高解析度的特徵圖會對DETR增加不可接受的計算複雜度。

以上缺點也主要來自於transformer處理特徵圖時的缺陷；
在初始化的時候，attention模組在特徵圖上每一個畫素的attention權重都幾乎一樣，所以需要更多的訓練輪次來讓注意力集中在稀疏的有意義的位置；
另一方面，在transformer編碼器中，注意權值計算是基於畫素數的二次計算，因此，處理高解析度特徵圖的計算和記憶體複雜度非常高；

在影像領域，可變形卷積是一種處理稀疏空間位置的強大而高效的機制。它很自然的避免了上述提到的問題，而它缺少元素關係建模機制，這是DETR成功的關鍵。
論文提出的deformable DETR，結合了deformable的稀疏空間取樣的優點和transformer的關係建模能力。它考慮到在所有特徵影像素一個小的取樣位置集作為一個預先過濾器突出關鍵元素；
該模組可以自然地擴充套件到聚合多尺度特徵，而無需FPN的幫助；
在deformable DETR中，使用(多尺度)可變形注意模組替換處理特徵圖的transformer注意模組，如下圖所示：

Deformable DETR由於其快速收斂、計算和記憶體效率，為我們開發端到端物件檢測器的變體提供了可能性；
論文中探索了一種簡單有效的迭代邊界框細化機制來提高檢測效能，也嘗試了two-stage Deformable DETR；

two-stage Deformable DETR：通過Deformable DETR生成region proposals，再送入decoder進行迭代邊界框細化；

與DETR相比，Deformable DETR可以在少10個訓練週期的情況下取得更好的效能(特別是在小物體上)。提出的two-stage Deformable DETR的改進可以進一步提高效能。