這篇論文主要介紹了英偉達新推出的 CityFlow（流動之城）資料集，是目前世界上第一個支援跨攝像頭汽車跟蹤及再識別的大型資料集，同時擁有最多的攝像頭數量（40）以及最大的空間跨度（> 3 km^2），為智慧城市的解決方案提供了最好的測試平臺。目前，該論文已經被 CVPR 2019 接收為 Oral 論文，拿到了 2 個 Strong Accepts 和 1 個 Accept 的「準滿分」成績。
城市利用交通攝像頭作為全市範圍內的感測器來最佳化交通流量和管理交通事故潛力巨大。但現有技術缺乏大範圍跟蹤車輛的能力，這些車輛跨越多個攝像機，分佈在不同的十字路口，天氣條件也各不相同。
要克服這一難題，必須解決三個截然不同但又密切相關的研究問題：1）單攝像頭內目標的檢測和跟蹤，即多目標單攝像頭（MTSC）跟蹤；2）跨多攝像頭目標重識別，即 ReID；3）跨攝像頭網路對目標進行檢測和跟蹤，即多目標跨攝像頭跟蹤（MTMC tracking）。MTMC 跟蹤可以看作是相機內部 MTSC 跟蹤與基於影像的 ReID 的結合，連線相機之間的目標軌跡。
如圖 1 所示，多目標跨攝像頭跟蹤包含三大組成部分：基於圖片的再識別、單攝像頭內的多目標跟蹤以及攝像頭之間的時空分析。
圖 1：多目標跨攝像頭跟蹤。
相比於最近發展火熱的行人再識別，車輛再識別主要面臨兩大挑戰：一是類內部的高變化性（因為不同視角的車輛變化比人更大），二是類之間的高相似性（因為不同汽車廠商生產的車輛模型很相近）。目前已有的車輛再識別資料集（北郵的 VeRi-776、北大的 VehicleID 以及同樣來自北大的 PKU-VD）都沒有提供原始影片和相機校正資訊，所以無法用它們開展基於影片的跨攝像頭車輛跟蹤研究。
本文作者提出的「流動之城」資料集包含高畫質的同步影片，涵蓋最多的路口（10）和最大數量的攝像頭（40），收集於一箇中等規模的美國城市，場景也很多樣，包括了住宅區和高速公路等等。本文的主要貢獻有以下三點：
在現有資料集中，本資料集有最大的空間跨度和攝像頭/路口數量，包括多樣的城市場景和交通流量，為城市規模的解決方案提供了最佳平臺。
「流動之城」也是第一個支援（基於影片的）跨攝像頭多目標車輛跟蹤的資料集，提供了原始影片、相機分佈及相機校正資訊，將開啟一個全新研究領域的大門。
分析了各種最先進演算法在該資料集上的表現，比較了各種視覺和時空分析結合的演算法，證明該資料集比現有其他資料集更具挑戰性。
圖 2：攝像頭空間分佈示意圖。紅色箭頭表示攝像頭的位置和方向。
論文：CityFlow: A City-Scale Benchmark for Multi-Target Multi-Camera Vehicle Tracking and Re-Identification
論文連結：https://arxiv.org/abs/1903.09254
摘要：使用交通攝像頭作為感測器的城市交通最佳化需要更強大的多目標跨攝像頭跟蹤支援。這篇論文介紹了 CityFlow（流動之城），是一個城市規模的交通攝像頭資料集，包括了從 10 個路口提取的 40 個攝像頭收集到的超過 3 個小時的同步高畫質影片，兩個同步攝像頭間的最長距離是 2.5 千米。據我們所知，從空間跨度和攝像頭/影片數量來看，「流動之城」是目前都市環境中最大規模的資料集。該資料集包含超過 20 萬個目標框，並且涵蓋了多樣的場景、視角、車輛模型和城市車流狀況。
我們提供了相機分佈和校正資訊來輔助時空分析。此外，我們也提供這個資料集的子集用作基於影像的車輛再識別。我們進行了大量的實驗分析，測試了各種各樣的跨攝像頭多目標跟蹤、單攝像頭多目標跟蹤、目標檢測和再識別的基準/最先進演算法，並分析了不同的網路結構、損失函式、時空模型和它們的結合。
該資料集和線上評估伺服器都已經在 2019 年的 AI 城市大賽釋出（https://www.aicitychallenge.org/），研究者可以在伺服器上測試自己的最新演算法技術。我們期待這個資料集能促進該領域的研究，提升現今演算法的效果，並最佳化現實世界的交通管理。為保護隱私，資料集中的所有車牌及人臉都進行過遮擋處理。
「流動之城」與相關基準的對比
表 1：現有的目標再識別資料集的總結。
可以看出，「流動之城」是目前唯一支援跨攝像頭基於車輛跟蹤的資料集，而且擁有目前最多的相機數量，有超過 20 萬個目標框，並提供原始影片、相機分佈和多視角分析。
「流動之城」基準資料集
整個資料集包括 5 個不同場景和 40 個攝像頭，影片總長度大概 3 小時 15 分鐘，標註了 666 輛車的跨攝像頭軌跡。以下是這些場景的總結（部分場景攝像頭有重合）。
下圖是車輛顏色及車型的分佈情況。
以下是跟蹤標註結果的示例。研究者首先採用目前先進的目標檢測和單攝像頭跟蹤方法得到粗略的目標軌跡，並手動修復軌跡中的錯誤，在此基礎上進行跨攝像頭間的資訊標註。
同時，他們用谷歌地圖的三維資訊和影像上的二維投影結果進行匹配和最佳化，獲得了較準確的單應性矩陣，提供給參賽隊伍進行三維時空分析。
他們的實驗分析分為三大部分：基於圖片的車輛再識別、單攝像頭多目標跟蹤和有時空分析結合的跨攝像頭跟蹤。
首先是再識別的部分，研究者比較了去年 AI 城市大賽上的獲獎方法、行人再識別的目前最優方法（整理於倫敦大學瑪麗女王學院的 deep-person-reid 專案）還有車輛再識別的最優方法（來自英偉達內部，剛被 IJCNN 錄用）。下面是這幾種方法的 CMC 曲線比較（包圍面積越大效果越好），可以看到行人再識別和車輛再識別的方法在該資料集上不相伯仲，但是這些方法整體的精確度還是很低的，Rank-1 的命中率只有 50% 左右，相比較下目前 VeRi 資料集上同樣方法能拿到 90% 以上的 Rank-1 命中率，這說明該資料集的挑戰還是很大的。
下面是這幾種方法的排名結果對比，可以看到相機的視角非常多樣，也帶來了更大的難度。
下表對比了目前比較先進的單攝像頭跟蹤演算法及目標檢測方法的結合。其中 DS 代表德國科布倫茨-蘭道大學的 Deep SORT，TC 是去年 AI 城市大賽上的獲獎方法，MO 是目前 MOTChallenge（多目標跟蹤大賽）的三維跟蹤資料集上的領先方法 MOANA。目標檢測部分比較了 YOLO、SSD 和 Faster R-CNN。目前最好的結果來自於 TC 和 SSD 的結合。
最後，下表加入了時空分析的比較，對比跨攝像頭多目標跟蹤的最終結果。其中 PROVID 是 VeRi 資料集作者的方法。2WGMMF 是作者實驗室之前提出的方法，用高斯分佈來學習攝像頭之間的時空關係。最後 FVS 還是作者去年 AI 城市大賽上獲獎方法的一部分，用手動來設定跨攝像頭間的高斯分佈，所以也更加準確一些。
作者簡介
本文的第一作者湯政是華盛頓大學（西雅圖）電子計算機工程學院的博士生，預計今年 6 月畢業。作者目前在英偉達實習，畢業後將入職亞馬遜，加入無人商店「購」專案。該論文是其在英偉達實習期間的成果。
湯政在 2017 年及 2018 年兩度帶領自己實驗室的團隊參加英偉達主辦的 AI 城市大賽，他們的隊伍連續兩屆成為該項賽事冠軍，擊敗了包括加州大學伯克利分校、伊利諾伊大學厄巴納-香檳分校、馬里蘭大學帕克分校、北京郵電大學、國立臺灣大學等在內的全球近 40 支隊伍，其中第二屆賽事是 CVPR 2018 的 workshop。因為團隊的出色表現，湯政受邀進入英偉達實習，負責協助籌辦第三屆 AI 城市大賽（同樣是今年 CVPR 2019 的 workshop）並準備基準資料集，也就是本文介紹到的「流動之城」資料集。
今年的 AI 城市大賽共有三個分賽：跨攝像頭多目標車輛跟蹤、基於圖片的車輛再識別以及交通異常檢測。目前已經有全球超過 200 支參賽隊伍報名（合計超過 700 名參賽者），是前兩年比賽總和的四倍之多。英偉達會在今年加州長灘的 CVPR 會議上公佈獲獎隊伍和頒發獎品（一臺 Quadro GV100、三臺 Titan RTX 和兩臺 Jetson AGX Xavier）。目前比賽仍然接受參賽隊伍報名和 workshop 投稿，比賽截止時間是 5 月 10 日。另外，論文的其他作者包括英偉達 AI 城市專案的 CTO - Milind Naphade、英偉達研究院的 GAN 領域專家 - 劉洺堉、同樣來自英偉達研究院的楊曉東（今年有三篇 CVPR oral 中稿）、英偉達雷蒙德分公司的首席研究員 - Stan Birchfield、湯政的導師黃正能教授等。
湯政個人網站：https://sites.google.com/site/zhengthomastang/