機器之心經授權釋出，作者：Ruijia Xu、Ziliang Chen、Wangmeng Zuo、Junjie Yan、Liang Lin。
來自中山大學、哈爾濱工業大學以及商湯科技公司的研究人員聯合提出了一種名為「雞尾酒網路」（DCTN）的深度遷移學習框架，將現有的單源域適應過程推廣到了更加真實和通用的多源域適應場景。DCTN 啟發於 2009 年 Y. Mansou [1] 的源分佈結合律（source distribution combining rule）。具體而言，DCTN 通過多路對抗機制學習領域無關的特徵表達，依據對抗相似性分數作為多源分佈結合律的權重和各自的源分類器合作從而對目標域樣本進行聯合識別，並使用高置信度的偽標註樣本對特徵表達進行再適應從而引入更強的判別效能。實驗中，DCTN 在 Office31, Image-CLEF 以及新提出的基於同時遷移四個資料來源的 Digit-five 評測資料集上均取得了比較顯著的效能提升。該論文已經被 CVPR 2018 大會接收。
一、簡介
隨著大規模資料的不斷產生和依靠人力進行資訊標註的困難，域適應遷移方法逐漸成為機器學習領域中一項非常重要的研究課題。域適應學習旨在適配不同領域資料間的特徵分佈，提升不同領域間分類器遷移後的效能表現，解決目標域資料缺乏標註資訊的難題。域適應遷移學習同時也是工業界的一項關鍵技術手段，在人臉識別、自動駕駛和醫學影像等垂直領域均具有較強的應用需求。比如在自動駕駛領域，如何最小化虛擬環境與真實環境、其他城市和當前城市的領域偏差？又比如在醫學影像領域，如何綜合利用多源醫療影像給出全面診斷？這些都是領域遷移學習極具應用潛力的場景。
值得注意的是，我們在生活中搜集到的資料來源往往是來自各種渠道的。不同渠道的得到的資料來源分別與目標域的資料存在偏移現象，而且這些資料來源之間也存在偏移。一種更值得廣泛考慮的情況是，多個資料來源之間的類別也具有差異性，這對多源遷移學習帶來了新的挑戰 (單源域適應與多源域適應的區別於聯絡見圖 1)。然而，雖然深度遷移學習已經在單領域適應問題上取得各種研究進展，如何運用深度網路去解決多領域適應問題目前依然處於接近空白的階段。
二、雞尾酒背後的理論驅動
多資料來源的遷移學習研究可以追溯到 J. Blitzer [1] 和 Y. Mansour [2] 的理論工作。其中 [1] 提出了第一個多源遷移學習的學習上界，為以後的多源域適應學習模型設計打下了基礎；[2] 則提出了遷移目標域分佈由多個源域分佈混合組成。基於這種設定下，他們提出了源分佈結合律（source distribution combining rule）。直觀而言，他們認為不同的源域學習應該具有自己的分類器，而非使用一個單一分類器去統一所有源域與目標域分類結果。同時，不同源域跟目標域之間分別有相似度，那麼與目標域更相似的源域，它的分類器對於目標域的資料進行分類的結果應該更可信。根據以上兩點，目標域的分類結果應該由多個源域的分類結果加權而成，而每個源分類權重應該要反映對應源域與目標域的相似性。
三、雞尾酒網路（Deep CockTail Network）
為滿足多源分佈結合律，我們提出 Deep CockTail Network（雞尾酒網路 DCTN）。在圖 2 的具體資料流中，我們利用共享特徵網路對所有源域以及目標域進行特徵建模，然後利用多路對抗域適應技術（基於單路對抗域適應（adversarial domain adaptation）下的擴充套件，對抗域適應的共享特徵網路對應於生成對抗學習 (GAN) 裡面的生成器），每個源域分別與目標域進行兩兩組合對抗學習域不變特徵。同時每個源域也分別進行監督學習，訓練基於不同源類別下的多個 softmax 分類器。注意到，基於對抗學習的建模，我們在得到共享特徵網路的同時，也可以得到多個源分別和目標域對抗的判別器。這些判別器在對於目標域的資料，可以分別給出與每一個源域之間的混淆分數（perplexity score）去衡量該源域與目標域之間的相似性。因此，對於每一個來自目標域的資料，我們首先利用不同源下的 softmax 分類器給出其多個分類結果。然後，基於每一個類別，我們找到包含該類別的所有源域 softmax 分類概率，再基於這些源域與目標域的混淆分數，對分類概率取加權平均得到每個類別的分數。簡而言之就是，越跟目標域相識的源域混淆度會更高，意味著其分類結果更可信從而具有更高的加權權值。需要注意的是，我們並沒有直接作用於所有 softmax 分類器上反而是基於每個類別分別進行加權平均處理。這是因為在我們的假設下，每個源的類別不一定共享，從而 softmax 結果不能簡單相加。當然，我們的方法也適用於所有源共享類別的情況，這樣我們的公式會等價於直接將 softmax 分類結果進行加權相加。
考慮到不同源域資料分佈間的差異性，某些源域的樣本對提升目標域分類效能有較大的正向遷移表現，而有些源域的樣本域適應效能則較弱甚至帶來相對的負面遷移影響。為此，我們設計瞭如下基於域間困難樣本的梯度回傳策略，具體可參考圖 3 的演算法流程。
基於多路對抗域適應下，我們進一步提出分類再適應機制。我們基於各源域的分類器和對抗相似性分數對目標域圖片進行識別，選取高置信度的目標域偽標記樣本微調特徵提取器和多源分類器。如此下兩個域適應學習進行交替迭代直至模型收斂。整個 DCTN 的訓練可參考圖 4 的演算法流程。
四、實驗
論文在 Office-31、ImageCLEF 等主流域適應資料集上進行了實驗。其中 Office-31 資料集來自 Amazon(電商圖片)、Webcam(網路攝像頭拍攝圖片)、DSLR(單反相機拍攝圖片) 三個視覺領域，共包含 4652 張圖片 31 個類別標籤。論文以單源最佳模型、多源合併模型等作為評測標準，與 DAN、RevGrad 等流行演算法進行了充分對比。
除了常規的域適應設定，我們還進行了包含類別偏差的實驗探索。仍然以 Office-31 資料集為例，令兩個源域分別包含前三分之二和後三分之二的類別標籤，據此進行多源域適應過程，對目標域的圖片類別進行預測。
最後，我們構建了四對一的多源遷移學習任務標準 Digit-five，同時給出在該多源遷移學習標準下的兩個多源域適應任務結果。我們可以看出 DCTN 明顯優於目前主流的深度遷移學習演算法。
論文：Deep Cocktail Network: Multi-source Unsupervised Domain Adaptation with Category Shift
專案連結：www.sysu-hcp.net/deep-cockta…
[1] J. Blitzer, K. Crammer, A. Kulesza, F. Pereira, and J. Wortman. Learning bounds for domain adaptation. In Advances in neural information processing systems, pages 129–136, 2008.
[2] Y. Mansour, M. Mohri , and A. Rostamizadeh . Domain adaptation with multiple sources. In Advances in neural information processing systems