遷移學習與圖神經網路“合力”模型：用DoT-GNN克服組重識別難題

作者 | Ziling Huang、Zheng Wang、Wei Hu、Chia-Wen Lin、Shin’ichi Satoh

譯者 | 劉暢

編輯 | Jane

出品 | AI科技大本營（ ID：rgznai100）

【導讀】目前，大多數行人重識別（ReID）方法主要是從收集的單個人影像資料庫中檢索感興趣的人。在跨攝像頭的監控應用中，除了單人ReID任務外，匹配一組行人（多個人）也起著重要的作用。這種組重識別（GReID）的任務非常具有挑戰性，因為它不僅面臨著單個人外觀的變化，還有組的佈局和成員身份變化也會帶來更多困難。為了獲得組影像的魯棒表示，本文設計了一種域遷移圖神經網路（DoT-GNN）方法。

DoT-GNN方法主要包括三個方面：

（1）型別遷移（Transferred Style）：由於缺少訓練樣本，我們將標記的ReID資料集遷移為G-ReID資料集樣式，並將遷移的樣本提供給深度學習模型。利用深度學習模型的優勢，本文得到了可區分的個體特徵模型。

（2）圖生成（Graph Generation）：本文將每個組視為一個圖，其中每個節點表示單個行人的特徵，每個邊沿表示幾個個體之間的關係。本文提出了一種圖生成策略來生成足夠的圖樣本。

（3）圖神經網路：本文利用生成的圖樣本來一個訓練GNN，以獲取針對大型圖變化具有魯棒性的圖特徵。DoT-GNN成功的關鍵在於，遷移的圖解決了外觀變化的問題，而GNN中的圖表示克服了組佈局和單個成員變化的問題。大量的實驗結果證明了本文方法的有效性，與最優方法（SOTA）相比，本文方法在Road Group資料集上高1.8％CMC-1，在DukeMCMT資料集上高6.0％CMC-1。

圖1：圖解GReID任務及其挑戰。分別用紅框、藍框、綠框表示的行人會在一組人中變化他們的位置。用紫框表示的行人會加入該組。用黃框表示的行人離開了該組。除了外觀變化的挑戰之外，GReID還會帶來組佈局和成員的改變。

行人重識別（ReID）由於其廣泛的應用（例如監控）而備受 關注。現有的研究主要集中於針對個人的行人重識別，而同時 搜尋特定人群的研究相對較少。實際上，在街道上一群人一起走動是很普遍的現象。如圖1所示，一群人從攝像機A的視野走到攝像機B的視野。系統需要一種演算法來重識別跨不同攝像機的一群人（稱為Group ReID或G-ReID）。實際上，G-ReID在日常生活中變得越來越重要，這是對單人ReID的補充。

與單獨的ReID不同，G-ReID的目標是將不同攝像機檢視下的特定組相關聯。除了單個ReID的傳統挑戰（例如低解析度，姿勢變化，照明變化和視覺模糊）之外，G-ReID還具有其自身的獨特挑戰。如圖1所示，當組從攝像機A移到攝像機B時，1）人們改變了他們在組中的位置（稱為組佈局更改），2）一些人動態加入並離開了組（稱為組成員資格更改）。也就是說，G-ReID是一個更具挑戰性的任務，因為一個組具有可變形的特徵。因此，將組作為一個整體來處理並提取其全域性或半全域性特徵可能做不好，因為組的佈局和成員資格變化會極大地改變組的視覺表徵內容。

當一個小組由幾個人組成時，其表示可以是個人及其關係表示的組合。這啟發作者使用圖來構造整個表示。作者選擇採用無向圖來表示組影像中的成對對稱關係，並利用圖神經網路（GNN）模型來標識圖ID。透過表示圖中各個行人之間的關係，GNN能夠透過圖卷積（即在相鄰節點之間傳遞訊息）來提取組特徵。此外，GNN能在圖上提供每個組裡面關係的靈活表示，適於解決組佈局更改和成員資格更改的問題。

為了更詳細的瞭解清楚GReID任務的難點。作者列出了一個表格來詳細說明。如下表格所示。

作者提出了一種用於組重識別的域遷移圖網路模型，利用GNN學習組特徵並識別相應的組。總而言之，主要有以下三個貢獻：

1、利用圖表示和建模的思想來解決G-ReID的不規則性問題。據我們所知，我們是第一個針對G-ReID提出基於GNN框架的人。儘管深度學習模型具有其優勢，但尚未有針對G-ReID提出有效的深度學習模型，更不用說具有遷移學習功能的深度GNN了。

2、本文提出了一種域遷移圖節點構造方法和兩種分組策略來儲存和更改組成員身份，用以克服在訓練資料非常有限的情況下個人外觀和G-ReID成員身份更改帶來的問題。圖的構建過程得益於遷移的圖節點。

3、在G-ReID的兩個資料集DukeMTMC Group和Road Group上，證明了本文方法的有效性。

方法

• 框架

本文所提出的框架如圖2所示，其中包括了訓練步驟和測試步驟。在訓練步驟中，該框架包括一個域遷移模型，該模型負責將源域的個體影像遷移到其對應的目標域的影像；一個圖生成器，它用遷移後的單圖表示來構建圖樣本池作為節點，並在圖樣本池上訓練一個GNN模型去對組ID進行分類。

在測試步驟中，本文透過GNN模型對待檢測影像p和相簿影像G提取特徵，然後計算待檢索特徵與相簿特徵之間的距離，以便根據距離去重識別組ID。

• 域遷移模型

由於G-ReID影像集合中組數量非常有限，因此僅基於這些資料本身直接訓練一個網路十分困難。為了學習更好的表示，我們應該利用外部資訊。目前有大量的ReID資料集，且能有較好的針對單體影像的特徵表示。但是由於現有的ReID資料集和目標G-ReID影像的獲取條件不同，它們之間的域gap會顯著降低表示學習的效能。

於是，本文提出了學習ReID資料集S到G-ReID資料集T之間的對映函式，這樣生成的資料集T(S)與T的分佈不會有差異。這樣由CNN提取的域遷移個體特徵就能用於圖構建。

• 圖生成器

我們可以從相鄰的組成員那裡獲得更多有用的資訊。在本文的工作中，每個組影像均以圖表示，以表徵行人的相互和全域性關係。圖中的每個節點代表組中的一個人，兩個節點之間的邊表示兩個人之間的親密關係，這是透過兩個人的特徵之間的相似度（基於預定義的相似性度量）來衡量的。如果使用圖來表示組影像，則可以基於圖之間的相似性度量來 搜尋目標組。

在本文中，作者使用GNN來表示圖特徵用以測量圖相似度。為了訓練GNN，作者使用了域遷移節點來構建圖樣本池。對一個圖，它包含多個節點、多條邊和對應的標籤。本文的圖生成器會採用兩種策略來構造圖樣本，即成員資格保留組和成員資格可變組。

• 成員資格保留組（Membership-preserving grouping）

本文使用遷移的圖特徵來代替圖樣本。如果兩個組影像包含相同的成員，則將這兩個影像標記為同一組。當然，從一個攝像頭到另一個攝像頭，組的佈局可能會發生變化，本文使用無向圖來解決佈局和外觀變化的問題。

因此，作者提出了一種保留成員資格的分組策略，針對影像類Lx，作者首先隨機選取一些人作為其成員。然後，針對每一個成員，再隨機選擇一個與其相關聯的節點。第三，不同成員的節點共同構成一個圖樣本，並且計算兩個節點之間的權重作為邊。

• 成員資格可變組(Membership-varying grouping)

如上所示，組的成員也有可能會發生改變。這意味著對應於相同標籤的圖樣本，可能會包含彼此不完全相同的節點。因此本文計算了兩個圖樣本之間的成員相似度比率，該比率的定義是兩個圖的節點來自同一個公共組成員的百分比。如果兩個組有相似的相似度比率。則可以認為它們共享相同的組ID。

實驗

• 資料和實驗資料

使用DukeMTMC Group和Road Group兩個公共資料集。域遷移模型使用的是CycleGAN，GNN模型使用的是半監督圖網路的原始碼，圖生成器的設定是組最大人數15，閾值0.1。

• 實驗對比

• 消融實驗對比

其中Tr.表示域遷移模型，S1表示成員資格保留組策略，S2表示成員資格可變組策略，GNN表示圖網路。

總結

在本文中，作者解決了一個重要但研究較少的問題：組重識別。本文提出使用圖節點生成（遷移），成員資格保留組和成員資格更改組來分別克服組重標識中的三個主要挑戰：訓練資料不足，佈局和外在更改以及成員資格導致的佈局更改。本文還提出了一種圖網路，用以學習和提取構造圖的組特徵表示，以便更好地識別其組ID。實驗結果表明，我們的方法優於現有的最新方法。