論文基於DA Faster R-CNN系列提出類別正則化框架，充分利用多標籤分類的弱定位能力以及圖片級預測和例項級預測的類一致性，從實驗結果來看，類該方法能夠很好地提升DA Faster R-CNN系列的效能
來源：曉飛的演算法工程筆記 公眾號
論文: Exploring Categorical Regularization for Domain Adaptive Object Detection
Introduction
由於標註成本大，在訓練好檢測演算法後，面對差異較大的新場景(類別不變)，若想獲取大量的帶標註圖片進行再訓練是很不方便的。對於這種情況，無監督的域自適應方法能夠靈活地自適應新場景，從包含豐富標註資訊的源域轉移到無標註的目標域。其中，域自適應方法中比較有代表性的是Donamin Adaptive(DA) Faster R-CNN系列，利用對抗訓練來對齊圖片和例項的分佈，使得模型能夠做到域不變性，具體可以看上一篇介紹。
但是這些方法大都把無法轉化的背景內容也進行了對齊，而且在例項對齊時，沒有從包含較多低質量的proposal集合中識別出難樣本。為了解決上面的問題，論文提出類別正則化框架，幫助DA Faster R-CNN專注於對齊跨域中的關鍵區域和重要目標。
論文的主要貢獻如下：
- 提出新的類別正則化框架，作為域自適應目標檢測演算法的外掛，不需要額外的標註和超引數。
- 設計了兩個正則化模組，分別用於榨取卷積分類器的弱定位能力以及影像級別預測和例項級別預測間的類別一致性，能夠幫助分類器專注於對齊目標相關區域以及難對齊例項。
- 對多種域轉移場景進行實驗，驗證論文提出的方法的有效性。從實驗結果來看，類別正則化框架能夠提出DA Faster R-CNN系列方法的效能，並在基礎資料集上達到SOTA。
Approach
Framework Overview
論文方法的整體架構如圖2，在DA Faster R-CNN基礎上新增了ICR(image-level categorical regularization)和CCR(categorical consistency regularization)，能夠更好地對齊域間的關鍵區域和重要例項。
Image-Level Categorical Regularization
ICR的主要目的是提高主幹網路的目標特徵提取能力，同時降低背景的啟用。結構如圖2b所示，ICR使用源域資料進行有監督訓練，對主幹網路的特徵輸出進行全域性池化，再使用多標籤分類器($1\times 1$卷積)進行分類，損失函式使用標準交叉熵多標籤損失：
$C$為類別總數，$yc$為GT標籤，$\hat{y}c$為預測標籤，$y^c=1$表示圖片至少包含一個類別$c$物體。
ICR模組利用多標籤分類器的弱定位能力，能夠有監督地引導主幹網路只啟用類相關特徵。如圖3所示，類相關的特徵會有較高的啟用值。在影像級對齊時，能夠對齊域間關鍵區域，同時，由於背景沒有參與到影像級多標籤分類器中，能夠有效減少擬合不可對齊的源背景的可能性。
Categorical Consistency Regularization
CCR負責發現難對齊例項，調整例項級對齊損失的權重，基於兩點考慮：
- 由於不能區分前景和後景，例項對齊模組可能被低質量背景proposal佔據。
- 新增的影像級分類器和例項檢測head是互補的，前者負責獲取所有影像級上下文資訊，後者使用精確的RoI特徵，當兩者預測不一致時，該例項就是難樣本。
基於以上考慮，論文采用影像級預測和例項級預測的類別一致性作為目標分類難易程度的判斷，並在目標域中使用該一致性作為正則因子，調節難對齊樣本在例項對齊中的權重。假定$\hat{p}{c}_j$為預測第$j$個例項為類別$c$的概率，$\hat{y}c$為例項預測包含類別$c$的概率，類別一致性的計算為
使用公式5來加權例項級對抗損失
需要注意，僅對目標域的檢測head預測為前景的例項使用公式5加權，源域的所有例項和目標域的背景例項均使用$d_j=1$，前者因為是有監督的，而後者則是因為不重要。
Integration with DA Faster R-CNN Series
將論文提出的方法加入到DA Faster R-CNN中，ICR為直接加入，CCR為對原損失的修改，最終的損失函式為
論文也對比了另外一種主流的DA -Faster改進SW-Faster，該方法使用弱全域性對齊模型來提升DA-Faster的強影像對齊模組，直接加入ICR和CCR，最終的損失函式為
Experiments
Comparison Results
Faster R-CNN(Source)僅使用源域訓練，Faster R-CNN(Oracle)僅使用目標域訓練。
-
Weather Adaptation
這裡對比模型對天氣的自適應性。
-
Scene Adaptation
這裡對比模型對不同城市的場景的自適應性。
-
Dissimilar Domain Adaptation
這裡對比模型對真實圖片和卡通圖片的自適應性。
Visualization and Analyses
對前面對比實驗的目標域測試圖片進行了視覺化。
將特徵降維並視覺化，藍點為源域樣本，紅點為目標域樣本，可以看到論文的方法能夠讓域間的同分類例項距離更近。
論文也計算了域間距離，使用Earth Movers Distance (EMD) 測量，SW-Faster, SW-Faster-ICR and SW-FasterICR-CCR的結果分別是8.84、8.59和8.15。
CONCLUSION
論文基於DA Faster R-CNN系列提出類別正則化框架，充分利用多標籤分類的弱定位能力以及圖片級預測和例項級預測的類一致性，從實驗結果來看，類該方法能夠很好地提升DA Faster R-CNN系列的效能。
如果本文對你有幫助，麻煩點個贊或在看唄～
更多內容請關注 微信公眾號【曉飛的演算法工程筆記】
