第四屆真實世界下的畫素級影片理解挑戰賽(The 4th PVUW challenge)
主頁/Call for Paper:https://pvuw.github.io/
賽道1:複雜場景影片目標分割挑戰賽(MOSE Challenge):
參賽、資料集下載:https://codalab.lisn.upsaclay.fr/competitions/21948
賽道2:基於動作描述的指向性影片分割挑戰賽(MeViS Challenge):
參賽、資料集下載:https://codalab.lisn.upsaclay.fr/competitions/21944
大賽簡介
第四屆 真實世界下的畫素級影片理解(Pixel-level Video Understanding in the Wild, PVUW)挑戰賽將於 CVPR 2025 期間在美國田納西州納什維爾的 Music City Center 舉辦。畫素級場景理解是計算機視覺中的核心問題之一,旨在識別影像中每個畫素的類別、掩碼和語義。然而,現實世界是動態的,基於影片的,而非靜態的影像狀態,因此學習進行影片分割對於實際應用來說更為合理和實用。為了推動從影像分割向影片分割的升級,本次 workshop 將釋出新的資料集和競賽,目標是在充滿挑戰但極具應用價值的開放世界場景下實現畫素級影片理解。
本次挑戰賽中設定了兩個賽道:複雜場景影片目標分割賽道(MOSE Track)和基於動作描述的指向性影片分割挑戰賽(MeViS Track)。在兩個挑戰賽中,主辦方採集了目前最大規模的複雜場景影片目標分割資料集Complex Video Object Segmentation (MOSE) [1] 和基於動作描述的影片分割Motion Expression Video Segmentation (MeViS) [2]。兩個資料集均針對兩個任務中亟需解決的問題,包含大量的高難度且貼近現實的樣本,對影片理解機器學習方法提出挑戰。
在挑戰賽的同時,本次workshop也將涵蓋以下研究主題,並歡迎相關論文投稿:
·影像/影片的語義與全景分割
·互動式影像/影片理解與分割(如基於文字、點選等)
·影片物件/例項分割
·複雜環境下的影片理解
·語言引導的影片理解
·音訊引導的影片分割
·影片場景解析的高效計算方法
·影片中的半監督識別
·評估影片場景解析質量的新指標
·真實世界的影片應用(如自動駕駛、室內機器人、視覺導航等)
目前,兩個挑戰賽的資料集均已開放下載,測試提交入口也已開放,歡迎參賽者自由測試各種方法!
賽道1:複雜場景影片目標分割(MOSE)
MOSE(複雜場景影片目標分割)聚焦於複雜環境下的影片目標分割問題,旨在推動這一領域的研究與應用。本次大聚焦於配套的MOSE資料集 [1] 。該大規模資料集包含2149個影片片段和5200個目標,共有431,725個高質量的目標分割掩碼。影片解析度為1920×1080,影片長度從5秒到60秒不等。MOSE資料集的顯著特點是其複雜的場景,包括目標的消失和重現、不顯眼的小物體、嚴重的遮擋以及擁擠的環境等。相比於上一屆比賽,本屆比賽的測試資料中將會有全新場景加入,提供更加豐富、更加有挑戰性的資料。
資料集主頁:https://henghuiding.github.io/MOSE/
參賽網站:https://codalab.lisn.upsaclay.fr/competitions/21948
資料集下載:https://codalab.lisn.upsaclay.fr/competitions/21948#participate
資料集api程式碼:https://github.com/henghuiding/MOSE-api
賽道2:基於動作描述的指向性影片分割(MeViS)
MeViS(基於動作描述的指向性影片分割)賽道也在CVPR2025上同期舉行。本次挑戰賽的重點是基於動作描述的指向性影片分割,即根據描述物體運動的句子來識別並分割影片內容中的目標物體。MeViS資料集 [2] 是此次比賽的重要組成部分,包含2006個影片片段和443,000個高質量的目標分割掩碼,共有28,570句描述8,171個複雜環境下物體運動的句子。在本屆賽事中,MeViS賽道也會加入更加有挑戰性的全新的場景和影片類別。
資料集主頁:https://henghuiding.github.io/MeViS/
參賽網站:https://codalab.lisn.upsaclay.fr/competitions/21944
資料集下載:https://codalab.lisn.upsaclay.fr/competitions/21944#participate
Baseline 程式碼:https://github.com/henghuiding/MeViS
參賽資訊
兩個挑戰賽均在平臺CodaLab上舉辦。參賽者可以下載資料集至本地,訓練測試後將結果提交至賽事平臺進行評估。目前,兩個挑戰賽的資料集均已開放下載,驗證集提交入口也已開放,歡迎個人和團隊自由測試各種方法。
測試集提交入口開放時間為3月15日至3月25日。最終比賽結果將於3月27日公佈,兩個挑戰賽的冠軍都將會被邀請在CVPR 2025Workshop上分享展示。
Workshop論文提交入口即將開放,請關注官方網站獲取地址https://pvuw.github.io/。
[1] MOSE: A New Dataset for Video Object Segmentation in Complex Scenes. ICCV 2023
[2] MeViS: A Large-scale Benchmark for Video Segmentation with Motion Expressions. ICCV 2023