近日,澎思科技車輛再識別(Vehicle ReID)技術在非受限場景車輛再識別資料集VERI-Wild上的成績重新整理世界紀錄,並打破了VCIP 2019車輛再識別大型挑戰賽的最好成績。澎思科技基於自主研發的全域性和區域性深度特徵融合演算法模型,實現了車輛再識別演算法關鍵指標平均精度均值(Mean Average Precision,mAP)和首位命中率(Rank-1 Accuracy)的大幅度提升,在VERI-Wild資料集上平均精度均值mAP達到85.35%。
車輛再識別在智慧城市和公共安全方面有著廣泛的應用前景和至關重要的作用,一直是計算機視覺領域研究的焦點。澎思科技持續深化面向場景的AI技術研發與創新,在非受限場景下的車輛再識別取得突破,彰顯了公司在落地應用場景化的計算機視覺技術實力。
車輛再識別面臨的挑戰以及VERI-Wild資料集的推出
車輛再識別,也稱為車輛檢索,旨在找到不同監控場景下的同一輛車。近期隨著深度學習技術的發展,車輛再識別演算法效率顯著提升。然而現有資料集的限制過度簡化了車輛再識別面臨的現實挑戰,使得基於大部分現有資料集開發和評估的ReID模型在真實場景中的泛化能力可能存在問題。真實監控情景中的車輛再識別仍然面臨高度視角差異、極端照明條件、複雜背景和不同的攝像頭來源等挑戰。非受限場景車輛再識別資料集VERI-Wild的推出就致力於解決這些問題。
VERI-Wild與Vehicle ID、VeRI-776資料集的樣本比較
VERI-Wild是在2019年CVPR期間對外發布的車輛再識別資料集。該資料集由40,000個車輛標識中的400,000張影象以及諸如車輛品牌、顏色和車型等附加資訊組成,這些資訊可用於增強ReID框架的效能或作為獨立的採集任務。VERI-Wild資料集旨在應對現有資料集在車輛標識和影象數量不夠大、攝像頭數量和覆蓋區域有限、攝像頭視角高度受限及光照度和天氣狀況沒有明顯變化等侷限性問題,是目前最具挑戰的車輛再識別資料集。
澎思科技提出面向車輛再識別的全域性和區域性深度特徵融合方法
在2019年IEEE視覺通訊和影象處理國際會議(VCIP)期間舉辦的Grand Challenges on Vehicle ReIdentification車輛再識別大型挑戰賽上,澎思科技提出面向車輛再識別的全域性和區域性深度特徵融合方法。澎思科技首席科學家、新加坡研究院院長申省梅受邀參會,並做了《Global and Local Deep Feature Representation Fusion for Vehicle Re-Identification》的報告。
澎思科技首席科學家、新加坡研究院院長申省梅受邀出席VCIP 2019
由於很多具有不同標識的車輛有著極其相似的外觀,因此澎思演算法團隊通過各種不同的方法,利用車輛的具體部件,選取基於部件的特徵來執行模型預測。如此一來,模型便能更好地瞭解部件的獨有特徵。
澎思科技提出的全域性和區域性深度特徵融合方法
最近,澎思新加坡研究院車輛再識別演算法團隊考慮到ReID任務中採用特徵向量(不採用分類層)來計算距離矩陣,進而比較兩個影象之間的相似性,分類缺失本身並不足以實現良好的模型訓練。於是,團隊又將深度度量學習(DML)應用於最新模型中,使得類內三聯體之間的距離小於(至少有某一差距)類間三聯體之間的距離,從而提升模型的效能表現。
經過測試,澎思科技提出的車輛再識別演算法模型在VERI-Wild不同大小的三個測試集中,效能遠遠優於基線模型,平均精度均值mAP和首位命中率Rank-1實現大幅度提升,重新整理世界紀錄。
[1] VERI-Wild: A Large Dataset and a New Method for Vehicle Re-Identification in the Wild
車輛再識別資料集VERI-WILD評估結果
同樣,該模型的表現也優於VCIP 2019 Grand Challenges on Vehicle ReIdentification車輛再識別大型挑戰賽上排名第一的中科院自動化所團隊。
VCIP 2019車輛再識別大型挑戰賽測試集結果對比
ReID演算法持續優化,深化面向場景的AI技術研發與創新
行人再識別和車輛再識別同屬於目標再識別的兩個重要任務,主要用於解決目標的跨鏡頭跟蹤,通過場景匹配實現行人/車輛的跨鏡追蹤以及軌跡預測等。ReID是跨攝像頭跟蹤中解決目標因為視野丟失後再匹配最直接的方法,是單攝像頭中多目標和單目標跟蹤的一種非常有效的特徵。澎思科技在目標再識別上積累了豐富的演算法,取得了多項世界級成果,並逐步實現ReID技術在智慧城市建設場景中的落地應用。
今年,澎思科技在行人再識別(Person ReID)和基於視訊的行人再識別(Video-based Person ReID)先後取得突破。7月,澎思科技在行人再識別三大主流資料集測試Market1501、DukeMTMC-reID、CUHK03上演算法關鍵指標首位命中率(Rank-1 Accuracy)獲得業內最好成績,重新整理了世界紀錄。8月,澎思科技在基於視訊的行人再識別三大資料集PRID-2011,iLIDS-VID,MARS上同樣重新整理世界紀錄,實現演算法關鍵指標大幅度提升。
此次澎思科技在車輛再識別(Vehicle ReID)非受限場景資料集下取得的成績,同樣印證了公司堅持展開面向場景的AI技術研發。非受限場景下的車輛再識別更貼近實際應用場景,澎思科技憑藉自研的演算法模型,有效提升了演算法在諸如高度視角差異、極端照明條件、複雜背景和多攝像頭來源等現實挑戰下的效能表現。接下來,澎思科技將逐步實現演算法在平安城市、智慧交通等領域的落地應用。