給影片模型安上快慢兩隻眼睛，蘋果免訓練新方法秒了一切SOTA

机器之心發表於2024-08-11
模型蘋果
自從 Sora 釋出以來，AI 影片生成領域變得更加「熱鬧」了起來。過去幾個月，我們見證了即夢、Runway Gen-3、Luma AI、快手可靈輪番炸場。

和以往一眼就能識破是 AI 生成的模型不太一樣，這批影片大模型可能是我們所見過的「最好的一屆」。

然而，影片大語言模型（LLM）驚豔表現的背後離不開龐大且經過精細標註的影片資料集，這需要花費相當高的成本。近期研究領域也湧現了一批無需額外訓練的創新方法：採用訓練好的影像大語言模型，直接用於影片任務的處理，這樣就繞開了「昂貴」的訓練過程。

此外，現有大多影片 LLM 存在兩個主要缺點：（1）它們只能處理有限幀數的影片輸入，這使得模型難以捕捉影片中細微的空間和時間內容；（2）它們缺少時間建模設計，而是簡單地將影片特徵輸入到 LLM 中，完全依賴於 LLM 對運動的建模能力。

針對以上問題，蘋果研究人員提出了 SlowFast-LLaVA（簡稱 SF-LLaVA）。這一模型基於位元組團隊開發的 LLaVA-NeXT 架構，無需額外微調，開箱即用。研究團隊受在動作識別領域大獲成功的雙流網路的啟發，為影片 LLM 設計了一套新穎的 SlowFast 輸入機制。

簡單來說，SF-LLaVA 將透過兩種不同的觀察速度（Slow 和 Fast）來理解影片中的細節和運動。

  • 慢速路徑：低幀率提取特徵，同時儘可能多地保留空間細節（例如每 8 幀保留 24×24 個 token）
  • 快速路徑：高幀率執行，但用較大的空間池化步長降低影片的解析度，以模擬更大的時間上下文，更專注於理解動作的連貫性

這相當於模型擁有兩隻「眼睛」：一隻慢慢看，注意看細節；另一隻快速看，注意看動作。這樣就解決了大多現有的影片 LLM 的痛點，既能捕捉到詳細的空間語義，又能捕捉到更長的時間上下文。

圖片

論文連結：https://arxiv.org/pdf/2407.15841

實驗結果顯示，SF-LLaVA 在所有基準測試中均以顯著的優勢超越了現有免訓練方法。與精心微調的 SFT 模型相比，SF-LLaVA 能達到相同效能，甚至更好。

圖片

模型架構

如下圖所示，SF-LLaVA 遵循標準的免訓練影片 LLM 流程。它以影片 V 和問題 Q 作為輸入，輸出對應的答案 A。

圖片

對於輸入，要從每個影片任意大小和長度中均勻取樣 N 幀，I = {I_1, I_2, ..., I_N}，不需要對選取的影片幀進行特別的組合或排列。以幀為單位視獨立提取頻特徵為 F_v ∈ R^N×H×W，其中 H 和 W 分別是幀特徵的高度和寬度。

下一步需要在慢速和快速兩個路徑中進一步處理 F_v，並將它們結合起來作為有效的影片表示。慢速路徑從 F_v 中均勻取樣圖片的幀特徵，其中圖片。

此前有研究發現，在空間維度上適當池化可以提高影片生成的效率和魯棒性。因此，研究團隊在 F_v 上應用步長為 σ_h×σ_w 的池化過程，得到最終特徵：圖片，其中圖片，圖片。慢速路徑的整個過程如公式 2 所示。

圖片

快速路徑保留 F_v 中的所有幀特徵，以儘可能多地捕捉影片的長程時間上下文。具體來說，研究團隊使用空間池化步長圖片對 F_v 進行激進的下采樣，得到最終特徵圖片。研究團隊設定圖片、圖片，使得快速路徑能專注於模擬時間上下文和運動線索。慢速路徑的整個過程如公式 3 所示。

圖片

最後，獲得聚合的影片特徵：圖片，其中 flat 和 [, ] 分別表示展平和連線操作。如表示式所示，圖片不需要任何特殊的 token 來分隔慢速和快速路徑。SF-LLaVA 總共使用圖片個影片 token。影片的視覺特徵圖片將和文字資訊（比如使用者提出的問題）將被組合在一起，作為輸入資料送入大型語言模型（LLM）進行處理。

SlowFast 流程如公式 4 所示。

圖片

實驗結果

研究團隊對 SF-LLaVA 進行了全面的效能評估，將其與當前 SOTA 免訓練模型（如 IG-VLM 和 LLoVi）在多個影片問答任務中進行了對比。此外，他們還將其與經過影片資料集監督微調（SFT）的影片 LLM，例如 VideoLLaVA 和 PLLaVA 進行了比較。

開放式影片問答

如下表所示，在開放式影片問答任務中，SF-LLaVA 在所有基準測試中都比現有的免訓練方法表現得更好。具體來說，當分別搭載 7B 和 34B 引數規模的 LLM 時，SF-LLaVA 分別在 MSRVTT-QA 上比 IGVLM 高出 2.1% 和 5.0%，在 TGIF-QA 上高出 5.7% 和 1.5%，在 ActivityNet-QA 上高出 2.0% 和 0.8%。

即使與經過微調的 SFT 方法相比，SF-LLaVA 在大多數基準測試中也展現了可比的效能，只有在 ActivityNet-QA 這一基準上，PLLaVA 和 LLaVA-NeXT-VideoDPO 略勝一籌。

圖片

多項選擇影片問答

從下表中可見，在所有基準測試中，SF-LLaVA 在多項選擇影片問答的表現都優於其他免訓練方法。在要求複雜長時序推理的 EgoSchema 資料集中，SF-LLaVA7B 和 34B 的版本相較 IG-VLM 模型的得分分別高出 11.4% 和 2.2%。

雖然 VideoTree 在基準測試中領先，因為它是基於 GPT-4 的專有模型，因而效能遠高於開源 LLM。與 SFT 方法相比，SF-LLaVA 34B 模型在 EgoSchema 上也取得了更好的結果，這證實了 SlowFast 設計處理長影片方面的強大能力。
Text Generation

圖片

文生影片

如表 3 所示，對於文字生成影片的任務，SF-LLaVA 也顯示出了一些優勢。SF-LLaVA-34B 在整體表現上超越了所有免訓練的基準。儘管在細節取向方面，SF-LLaVA 略遜於 LLaVA-NeXT-Image。基於 SlowFast 設計，SF-LLaVA 可以用更少的視覺 token 覆蓋更長的時間上下文，因此在時間理解任務中表現得格外出色。

此外，在文生影片的表現上，SF-LLaVA-34B 也優於大多數 SFT 方法。

圖片

更多細節，請參考原論文。

相關文章