OpenAI 前首席科學家、聯合創始人 Ilya Sutskever 曾在多個場合表達觀點：只要能夠非常好的預測下一個 token，就能幫助人類達到通用人工智慧（AGI）。
雖然，下一 token 預測已在大語言模型領域實現了 ChatGPT 等突破，但是在多模態模型中的適用性仍不明確，多模態任務仍然由擴散模型（如 Stable Diffusion）和組合方法（如結合 CLIP 視覺編碼器和 LLM）所主導。
2024 年 10 月 21 日，智源研究院正式釋出原生多模態世界模型 Emu3。該模型只基於下一個 token 預測，無需擴散模型或組合方法，即可完成文字、影像、影片三種模態資料的理解和生成。
Emu3 在影像生成、影片生成、視覺語言理解等任務中超過了 SDXL 、LLaVA、OpenSora 等知名開源模型，但是無需擴散模型、CLIP 視覺編碼器、預訓練的 LLM 等技術，只需要預測下一個 token。
在影像生成任務中，基於人類偏好評測，Emu3 優於 SD-1.5 與 SDXL 模型。在視覺語言理解任務中，對於 12 項基準測試的平均得分，Emu3 優於 LlaVA-1.6。在影片生成任務中，對於 VBench 基準測試得分，Emu3 優於 OpenSora 1.2。
Emu3 提供了一個強大的視覺 tokenizer，能夠將影片和影像轉換為離散 token。這些視覺離散 token 可以與文字 tokenizer 輸出的離散 token 一起送入模型中。與此同時，該模型輸出的離散 token 可以被轉換為文字、影像和影片，為 Any-to-Any 的任務提供了更加統一的研究正規化。而在此前，社群缺少這樣的技術和模型。
此外，受益於 Emu3 下一個 token 預測框架的靈活性，直接偏好最佳化（DPO）可無縫應用於自迴歸視覺生成，使模型與人類偏好保持一致。
Emu3 研究結果證明，下一個 token 預測可以作為多模態模型的一個強大正規化，實現超越語言本身的大規模多模態學習，並在多模態任務中實現先進的效能。透過將複雜的多模態設計收斂到 token 本身，能在大規模訓練和推理中釋放巨大的潛力。下一個 token 預測為構建多模態 AGI 提供了一條前景廣闊的道路。
目前 Emu3 已開源了關鍵技術和模型。（開源模型和程式碼地址在文末）
Emu3 一經上線便在社交媒體和技術社群引起了熱議：
有網友指出，“這是幾個月以來最重要的研究，我們現在非常接近擁有一個處理所有資料模態的單一架構。”
“Emu3 是一種非常新穎的方法（至少在我看來是這樣），它有機會將多模態合併為一，只需將它們都視為 token 即可。雖然還處於初期，但演示效果很不錯。想象一下，我們可以無限擴充套件影片和生成多種模態。”
甚至有網友評價：“也許我們會得到一個真正開放的 OpenAI v2？”
對於 Emu3 的意義和影響，有評論指出：“Emu3 將徹底改變多模態 AI 領域，提供無與倫比的效能和靈活性。”
“Emu3 在各行各業的廣泛適用性和開源靈活性將為開發者和企業解鎖人工智慧創新能力的機會。”
“對於研究人員來說，Emu3 意味著出現了一個新的機會，可以透過統一的架構探索多模態，無需將複雜的擴散模型與大語言模型相結合。這種方法類似於 transformer 在視覺相關任務中的變革性影響。”
“Emu3 的統一方法將帶來更高效、更多功能的 AI 系統，簡化多模態 AI 的開發和應用以及內容生成、分析和理解的新可能性。”
"Emu3 改寫了多模態人工智慧的規則...Emu3 重新定義了多模態 AI，展示了簡單可以戰勝複雜。多模態 AI 的未來變得更加精煉與強大。"
效果展示
1. 視覺理解
Emu3 展現了強大的影像及影片的感知能力，能夠理解物理世界並提供連貫的文字回復。值得注意的是，這種能力是在不依賴於基礎 LLM 模型和 CLIP 的情況下實現的。
1.1 影像輸入
使用者問題: Describe the landmark.
模型回答: The image showcases the Brooklyn Bridge, a prominent suspension bridge in New York City, recognized by its distinctive towers and the web of cables that support it. This iconic structure connects the boroughs of Brooklyn and Manhattan.
使用者問題: Please describe the image in detail.
模型回答: The image is the cover of a magazine titled "Parktakes," which is the Fall 2017 issue. The cover features two individuals in a white kayak, paddling on a body of water. The kayak is positioned diagonally, with the two individuals seated towards the front. Both individuals are wearing life jackets, which are red with black straps, and they are holding paddles with orange blades. The person on the left is a woman with long dark hair, wearing sunglasses and a black top. The person on the right is a man with short hair, wearing a green shirt and a light-colored cap. They both appear to be smiling and enjoying their time on the water.
The background shows a natural setting with trees and greenery, indicating that they are likely in a park or natural reserve. The water is calm, and the sky is not visible, suggesting a serene and peaceful environment.
The magazine cover includes several text elements:
1. **Title**: "Parktakes" is prominently displayed at the top in large, bold, blue letters.
2. **Fall 2017 Issue**: The issue is marked in the top right corner in a smaller, white font.
3. **Main Feature**: "Enjoy Fall Adventures in Parks" is written in a large, bold, orange font, emphasizing the theme of outdoor activities.
4. **Additional Features**: The cover lists several topics covered in the magazine:
- "Birding, Boating, and Hiking"
- "Seasonal Festivals"
- "New Attractions"
5. **Registration Information**: At the bottom, there is a call to action to "Registration begins Aug. 1 for full classes" and a website link: "www.fairfaxcounty.gov/parks."
Analysis and Description
The cover of "Parktakes" effectively conveys the theme of outdoor recreational activities, particularly in parks. The image of the two individuals in a kayak suggests that the magazine features content related to kayaking, canoeing, and other water sports. The inclusion of life jackets indicates a focus on safety and preparedness for water activities. The mention of seasonal festivals and new attractions implies that the magazine includes information on various events and attractions within the parks.
The cover also highlights the magazine's commitment to providing a comprehensive guide to outdoor activities, with a clear emphasis on safety and accessibility. The registration information suggests that the magazine is a resource for planning and participating in various outdoor activities, likely targeting a wide audience interested in parks and recreational activities.
In summary, the magazine cover is designed to attract readers interested in outdoor adventures, safety, and seasonal events within parks. The use of a kayak and life jackets emphasizes the magazine's focus on water sports and safety, while the inclusion of various features and registration information suggests a well-rounded resource for park visitors.
1.2 影片輸入
使用者問題: What is the man doing in the video?
模型回答: The man in the video appears to be performing a fire dance, a form of entertainment where a person uses fire to create dynamic and visually appealing movements. The sparklers he holds produce a mesmerizing display of light and shadows, capturing the intensity of his performance.
2. 影像生成
Emu3 透過預測下一個視覺 token 來生成高質量的影像。該模型自然支援靈活的解析度和不同風格。
3. 影片生成
與使用影片擴散模型以從噪聲生成影片的 Sora 不同，Emu3 只是透過預測序列中的下一個 token 來因果性的生成影片。
4. 影片預測
在影片的上下文中，Emu3 可以自然地擴充套件影片並預測接下來會發生什麼。模型可以模擬物理世界中環境、人和動物。
Emu3 技術細節
1 資料
Emu3 是在語言、影像和影片混合資料模態上從頭開始訓練的。
語言資料：使用與 Aquila 模型相同的語言資料，一個由中英文資料組成的高質量語料庫。
影像資料：構建了一個大型影像文字資料集，其中包括開源網路資料、AI 生成的資料和高質量的內部資料。整個資料集經過了解析度、圖片質量、型別等方面的過濾過程。訓練了一個基於 Emu2 的影像描述模型來對過濾後的資料進行標註以構建密集的影像描述，並利用 vLLM 庫來加速標註過程。
影片資料：收集的影片涵蓋風景、動物、植物和遊戲等多個類別。
整個影片處理流程包括了場景切分、文字過濾、光流過濾、質量評分等階段。並使用基於影像描述模型微調得到的影片描述模型來對以上過濾後的影片片段打標文字描述。
2 統一視覺 Tokenizer
在 SBER-MoVQGAN 的基礎上訓練視覺 tokenizer ，它可以將 4 × 512 × 512 的影片片段或 512 × 512 的影像編碼成 4096 個離散 token。它的詞表大小為 32,768。Emu3 的 tokenizer 在時間維度上實現了 4× 壓縮，在空間維度上實現了 8×8 壓縮，適用於任何時間和空間解析度。
此外，基於 MoVQGAN 架構，在編碼器和解碼器模組中加入了兩個具有三維卷積核的時間殘差層，以增強影片 token 化能力。
3 架構
Emu3 保留了主流大語言模型（即 Llama-2）的網路架構。不同點在於，其擴充套件了 Llama-2 架構中的嵌入層，以容納離散的視覺 token。網路中使用 RMSNorm 進行歸一化。其還使用了 GQA 注意力機制、SwiGLU 啟用函式和一維旋轉位置編碼（RoPE）等技術，並並去除了注意力模組中 QKV 層和線性投影層中的偏置。此外，還採用了 0.1 的 dropout 率來提高訓練的穩定性，使用 QwenTokenizer 對多語言文字進行編碼。詳細架構配置表。
4 預訓練
在預訓練過程中，首先要定義多模態資料格式。與依賴外部文字編碼器的擴散模型不同，Emu3 原生整合了用於生成影像 / 影片的文字條件資訊。在視覺和語言的固有 token 中新增了五個特殊 token 來合併文字和視覺資料，以為訓練過程建立類似文件的輸入。生成的訓練資料結構如下：
[BOS] {caption text} [SOV] {meta text} [SOT] {vision tokens} [EOV] [EOS]
其中，[BOS] 和 [EOS] 是 QwenTokenizer 中的原始特殊 token 。額外新增的特殊 token 包括：[SOV] 表示視覺輸入（包含影像和影片的 meta 資訊部分）的開始，[SOT] 表示視覺 token 的開始，[EOV] 表示視覺輸入的結束。
此外，特殊 token [EOL] 和 [EOF] 作為換行符和換幀符插入到了視覺 token 中。元文字包含影像的解析度資訊，影片則包括解析度、幀率和持續時間，均以純文字格式呈現。在構建理解資料時，Emu3 將部分資料中的 "caption text" 欄位移至 [EOV] token 之後。
訓練目標：由於 Emu3 中的視覺訊號已完全轉換為離散 token，因此只需使用標準的交叉熵損失進行下一個 token 預測任務的訓練。為了防止視覺 token 在學習過程中佔據主導地位，對與視覺 token 相關的損失加權 0.5。
訓練細節：Emu3 模型在預訓練期間利用非常長的上下文長度來處理影片資料。為便於訓練，採用了張量並行（TP）、上下文並行（CP）和資料並行（DP）相結合的方法。同時將文字和影像資料打包成最大上下文長度，以充分利用計算資源，同時需要確保在打包過程中不會分割完整的影像。
預訓練過程分為兩個階段，第一階段不使用影片資料，訓練從零開始，文字和影像資料的上下文長度為 5,120；在第二階段，引入影片資料，並使用 131,072 的上下文長度。
5 SFT 階段
5.1 視覺生成
質量微調：在預訓練階段之後，對視覺生成任務進行後訓練，以提高生成輸出的質量。使用高質量資料進行質量微調。
直接偏好最佳化：Emu3 在自迴歸多模態生成任務中採用直接偏好最佳化（Direct Preference Optimization，DPO）技術，利用人類偏好資料來提高模型效能。
5.2 視覺語言理解
預訓練模型經過兩個階段的視覺語言理解後訓練過程：1) 影像到文字的訓練以及 2) 指令調整。
第一階段：將影像理解資料與純語言資料整合在一起，而與視覺 token 相關的損失則在純文字預測中被忽略。
第二階段：利用 LLaVA 資料集中的約 320 萬個問答對進行指令微調。低於 512 × 512 或高於 1024 × 1024 的圖片將被調整到較低或較高的解析度，同時保持相應的長寬比，而其他圖片則保持原始解析度。
開源地址
除了先前經 SFT 的 Chat 模型和生成模型外，智源研究院還在近日開源了 Emu3 生成和理解一體的預訓練模型以及相應的 SFT 訓練程式碼，以便後續研究和社群構建與整合。
程式碼：https://github.com/baaivision/Emu3
專案頁面：https://emu.baai.ac.cn/
模型：https://huggingface.co/collections/BAAI/emu3-66f4e64f70850ff358a2e60f
未來方向
Emu3 為多模態 AI 指出了一條富有想象力的方向，有機會將 AI 基礎設施收斂到單一技術路線上，為大規模的多模態訓練和推理提供基礎。統一的多模態世界模型未來有廣泛的潛在應用，包括自動駕駛、機器人大腦、智慧眼鏡助手、多模態對話和推理等。預測下一個 token 有可能通往 AGI。