ECCV2024獎項公佈，哥大摘最佳論文，微軟COCO資料集獲經典論文獎
机器之心發表於2024-10-02
近日，位列計算機視覺領域三大國際頂級會議的 ECCV 2024 在義大利米蘭開幕，本屆會議的各獎項已經揭曉。據大會官方統計，今年共有 2395 篇論文被錄用，錄用率為 18%，創下近年新低。昨晚，大會公佈了一系列獎項，哥倫比亞大學的研究者摘得最佳論文獎，還有 2 篇論文獲得了最佳論文榮譽提名獎。與往屆一樣，大會還公佈了經典論文 Koenderink 獎和 PAMI Everingham 獎。https://cave.cs.columbia.edu/Statics/publications/pdfs/Klotz_ECCV24.pdf這篇論文由兩位研究者共同完成，他們分別是 Shree Nayar 和 Jeremy Klotz。Shree Nayar 是哥倫比亞大學電腦科學系的 T. C. Chang 教授。他領導著哥倫比亞視覺實驗室（CAVE），該實驗室致力於開發計算成像和計算機視覺系統。他的研究主要集中在三個領域：創造提供新形式視覺資訊的新型相機，設計基於物理的視覺和圖形學模型以及開發從影像中理解場景的演算法。他的工作旨在應用於以下領域：成像、計算機視覺、機器人學、虛擬現實、擴增實境、視覺通訊、計算機圖形學和人機互動介面。Jeremy Klotz 哥倫比亞大學的三年級博士生，導師是 Shree Nayar，在攻讀博士學位之前，曾在卡內基梅隆大學（CMU）與 Aswin Sankaranarayanan 一起工作。摘要：論文介紹了一種創新的極簡主義視覺系統概念。這種系統使用最少數量的畫素來完成視覺任務，與傳統相機使用大量方形畫素網格不同，極簡相機採用可任意形狀的自由形式畫素，以增加資訊含量。實現上，這種系統的硬體被建模為神經網路的第一層，透過訓練來確定自由形式畫素的形狀。每個畫素由光電探測器和光學掩模實現。研究者設計了幾種應用案例，如用 8 個畫素進行室內空間監控和光照測量，以及用 8 個畫素估算交通流量。儘管畫素數量極少，這些系統的效能卻與使用多個數量級更多畫素的傳統相機相當。極簡主義視覺系統具有兩個顯著優勢。首先，它天然地保護了個人隱私，因為捕獲的資訊不足以提取詳細的視覺細節。其次，由於測量次數很少，系統可以完全自供電，無需外部電源或電池。這種創新方法在保護隱私和節能方面展現出巨大潛力，同時又能有效完成特定的視覺任務，為未來視覺技術的發展提供了新的思路。與此同時，ECCV 2024 也公佈了最佳論文榮譽提名獎，共有 2 篇論文獲獎。論文 1：Rasterized Edge Gradients: Handling Discontinuities Differentially論文地址：https://arxiv.org/abs/2405.02508機構：Meta Reality Labs Research摘要：計算渲染過程的梯度對於計算機視覺和圖形學中的各種應用至關重要。然而，由於不連續性和渲染近似，準確計算這些梯度具有挑戰性，特別是對於基於表面的表示和基於光柵化的渲染。研究人員提出了一種新方法，用於計算基於光柵化的可微渲染器在可見性不連續處的梯度。我們的方法透過精心設計的近似策略，優雅地簡化了傳統上覆雜的問題，從而實現了一個直接、有效且高效能的解決方案。研究人員引入了一個新概念 —— 微邊緣，它允許我們將光柵化影像視為一個可微的、連續過程的結果，與本質上不可微的離散畫素光柵化相一致。這種技術消除了對渲染近似或前向傳遞其他修改的需求，保持了渲染影像的完整性，使其適用於光柵化的掩碼、深度和法線影像，而在這些情況下濾波是不可行的。利用微邊緣簡化了不連續處的梯度解釋，並能夠處理幾何交叉，相比於先前的方法具有優勢。研究者在動態人頭場景重建中展示了該方法的應用，證明了其在處理相機影像和分割掩碼方面的有效性。論文 2：Concept Arithmetics for Circumventing Concept Inhibition in Diffusion Models論文地址：https://arxiv.org/abs/2404.13706機構：Boston University、University of Washington、University of Pittsburgh摘要：出於倫理和法律考慮，科學界正在積極開發方法，以限制文字到影像擴散模型的濫用，防止在生成的影像中複製受版權保護的、暴力的、露骨的或個人資訊。同時，研究人員透過扮演對手的角色來測試這些新開發的安全措施，以尋找其中的漏洞和後門。研究人員利用擴散模型的組合屬性，這允許在單個影像生成中利用多個提示。這種屬性使他們能夠結合其他本不應受到抑制影響的概念，重構負責目標概念生成的向量，即使這個向量的直接計算不再可訪問。研究人員提供理論和實證證據，說明為什麼提出的攻擊是可能的，並討論這些發現對安全模型部署的影響。他們認為，考慮對手可能採用的所有可能的擴散模型影像生成方法是至關重要的。這項工作開啟了關於概念算術和組合推理對擴散模型安全機制影響的討論。Koenderink 獎旨在表彰計算機視覺領域的基礎性貢獻研究，獲獎論文均為發表時間超過十年並經受住時間檢驗的研究。本屆的獲獎論文是 Microsoft COCO: Common Objects in Context，於 2014 年發表，引用超過 5 萬多次。當時，幾位作者分別來自康奈爾大學和微軟研究院、加州大學伯克利分校、康奈爾大學、布朗大學、加州理工學院、加州大學歐文分校以及 Facebook AI 研究院。獲獎原因指出，該團隊在物體識別、場景理解和影像描述領域做出了基礎性貢獻，透過建立了一個大規模的資料集來推進了計算機視覺研究。得知獲獎後，論文一作、英偉達首席研究科學家 Tsung-Yi Lin 在社交媒體上表示，「我對多模態理解和生成的未來感到興奮 —— 資料仍將是關鍵，而我們才剛剛開始。」摘要：Microsoft COCO (Common Objects in Context) 資料集的目標是透過將物體識別問題置於更廣泛的場景理解背景中，來推進物體識別技術的發展。為實現這一目標，研究者收集了包含日常場景中常見物體的複雜影像，這些物體都處於自然的環境中。資料集使用例項級分割標註來幫助精確定位物體。它包含了 91 種 4 歲兒童容易識別的物體型別，總共有 328,000 張影像，2.5 百萬個標註例項。資料集的建立過程利用了新穎的使用者介面，透過眾包方式進行類別檢測、例項定位和例項分割。研究者還提供了與 PASCAL、ImageNet 和 SUN 等資料集的詳細統計比較。此外，他們使用可變形部件模型（Deformable Parts Model）提供了邊界框和分割檢測結果的基準效能分析。COCO 資料集的創新之處在於關注日常場景中的常見物體，強調了物體與環境的關係；使用例項級分割標註，提高了物體定位的精確度；資料集規模大，覆蓋面廣，有助於訓練更強大的模型；透過眾包和創新的標註工具，保證了資料的質量和多樣性。這些特點使 COCO 成為計算機視覺領域，特別是在物體檢測、例項分割和場景理解方面的重要基準資料集，推動了相關技術的快速發展。論文地址 https://arxiv.org/abs/1405.0312該獎項旨在紀念 Mark Everingham，鼓勵其他人向他學習，推進整個計算機視覺社群進一步發展。PAMI Everingham 獎授予對計算機視覺社群做出無私貢獻的研究者或研究團隊，由 IEEE 計算機協會模式分析與機器智慧（PAMI）技術委員會頒發。一個是人臉屬性資料集 CelebA 團隊，成員包括 Ziwei Liu、Ping Luo、Xiaogang Wang 和 Xiaoou Tang。獲獎原因，該團隊開發了「一系列資料集，加速了生成式影像建模和許多其他任務的進展。」CelebA，全稱為 CelebFaces Attributes Dataset，一個專為人臉屬性識別和分析設計的大規模資料集，由香港中文大學的研究團隊開放提供。它包含超過 20 萬張名人影像，每張影像都附有 40 個二進位制屬性註釋。這些屬性包括但不限於性別、年齡、髮型、是否佩戴眼鏡等，為研究者提供了豐富的資料樣本和詳細的標註資訊。另一位本屆獲獎者是 David Forsyth，因其持續在監督計算機視覺界的會議和期刊方面提供建議和智慧。David A. Forsyth，出生於南非的美國電腦科學家，是伊利諾伊大學厄巴納・香檳分校終身教授、計算機視覺領域頂級科學家。現任伊利諾伊州立大學香檳分校正教授、Fulton-Watson-Copp 電腦科學專業主席。 Forsyth 發表了 100 多篇關於計算機視覺、計算機圖形學和機器學習的論文。他於 2000 年擔任 IEEE 計算機視覺和模式識別專案聯合主席、IEEE CVPR 2006 專案聯合主席、ECCV 2008 專案聯合主席、IEEE CVPR 2011 專案聯合主席、IEEE CVPR 2015 專案聯合主席和 IEEE CVPR 2024 專案委員顧問。他是所有主要計算機視覺國際會議的程式委員會的正式成員。他在國際計算機視覺會議和歐洲計算機視覺會議上獲得了最佳論文獎。Forsyth 的研究興趣還包括圖形和機器學習，他曾擔任 ICML 2008 的委員會成員。