TRACE：因果事件建模助力影片理解大模型的時間定位能力

机器之心發表於2025-03-15

原文網址 : https://www.jiqizhixin.com/articles/2025-03-15-3

論文第一作者為香港中文大學（深圳）理工學院在讀博士生郭永新，指導老師為通訊作者為香港中文大學（深圳）理工學院 / 人工智慧學院助理教授唐曉瑩，課題組研究方向包括大模型、聯邦學習、充電智慧最佳化與博弈等。

下班回家後你正深陷於一部兩小時的綜藝節目中，渴望找到那些讓人捧腹的爆笑片段，卻如同大海撈針。或者，在緊張刺激的足球賽中，你渴望捕捉到那決定性的絕殺瞬間，但傳統 AI 影片處理技術效率低下，且模型缺乏泛化能力。為解決這些問題，香港中文大學（深圳）唐曉瑩課題組聯合騰訊 PCG 釋出 TRACE 技術，透過因果事件建模為影片理解大模型提供精準的時間定位能力。

論文標題：TRACE: Temporal Grounding Video LLM via Causal Event Modeling
VTG-LLM: Integrating Timestamp Knowledge into Video LLMs for Enhanced Video Temporal Grounding
論文地址：https://arxiv.org/pdf/2410.05643
https://arxiv.org/pdf/2405.13382
Github：https://github.com/gyxxyg/TRACE

一. 背景

在長影片內容檢索的研究領域中，使用者常面臨時間線導航效率低下的困境。傳統的影片檢索方法採用逐幀分析的線性處理策略，如同逐幀查字典，效率低下且泛化能力差。而現有的多模態大模型，雖然泛化能力更強，但是效果仍然差強人意。

我們認為這背後的矛盾本質上源於影片理解大模型的輸出依然使用自然語言建模，無法清晰準確地描述影片本身的結構。TRACE 的絕妙之處是給影片事件構建結構化表徵，將每個模型的輸出表示為一系列事件，進一步把每個事件拆成三元組「時間戳 - 顯著性分數 - 文字描述」，透過因果推理鏈重構影片邏輯骨架。

TRACE 技術突破了傳統方法的侷限，不再依賴沒有清晰結構的文字描述，而是透過事件級別的因果建模，顯著提升了時序理解與定位精度，為影片內容檢索實現了 “大海撈針”。

二. 方法

TRACE 方法引入了結構化建模創新：把影片理解大模型的輸出拆解成「時間戳 - 顯著性分數 - 文字描述」三元事件單元，實現因果事件建模 —— 透過視覺輸入、文字指令和已有事件預測下一個事件

^{I：文字指令，F：影片幀的輸入，tk, sk 和 ck：時間戳、顯著性分數和文字描述。}

我們透過條件機率分解發現，因果事件建模可表示為自迴歸模型，具有特殊的 token 順序。基於這一發現，我們提出了影片大模型 TRACE（Temporal grounding via Causal Event modeling）。而且，TRACE 還為時間和分數設計了專用的 tokenizer，就像給它們建立了特定的表徵系統。這樣，模型就能更準確地理解和生成時間戳和顯著性分數了，併為每個任務設計不同的編碼器和解碼器頭，解碼器頭能根據任務自動切換，從而提高整體效能和適應性。

針對時間和分數的特殊編碼器

我們為時間和分數設計專用 tokenizer：時間用 6 位編碼（例：[10.23, 125.37]→<0><0><1><0><.><2><sep><0><1><2><5><.><4><sync>），分數用 3 位編碼（例：[4.5] →<4><.><5><sync>）。每個詞庫含 13個token，包括10個數字token以及三個特殊token：<.><sep><sync > ，透過組合實現精確數值表達。

透過切換 head 來生成不同的任務

在推理階段，模型透過 < sync > 令牌切換任務專用解碼器：依次生成時間→分數→描述，每個任務配備獨立解碼頭。<sync > 出現時自動切換解碼任務。