8B文字多模態大模型指標逼近GPT4V，位元組、華師、華科聯合提出TextSquare

机器之心發表於2024-04-25

AIxiv專欄是機器之心釋出學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報導了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯絡報導。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com。

近期，多模態大模型 (MLLM) 在文字中心的 VQA 領域取得了顯著進展，尤其是多個閉源模型，例如：GPT4V 和 Gemini，甚至在某些方面展現了超越人類能力的表現。但是開源模型的效能還遠遠落後於閉源模型，最近許多開創性的研究，例如：MonKey、LLaVAR、TG-Doc、ShareGPT4V 等已開始關注指令微調資料不足的問題。儘管這些努力取得了顯著的效果，但仍存在一些問題，影像描述資料和 VQA 資料屬於不同的領域，影像內容呈現的粒度和範圍存在不一致性。此外，合成資料的規模相對較小，使得 MLLM 無法充分發揮潛力。

論文標題：TextSquare: Scaling up Text-Centric Visual Instruction Tuning
論文地址：https://arxiv.org/abs/2404.12803

為了減少這一差距，來自位元組跳動 & 華東師大 & 華中科大的研究員提出了一種新的策略：Square--- 即從先進的閉源 MLLMs 中獲得大量的以文字中心的高質量 VQA 資料，並構建了一個千萬級指令微調資料集（Square-10M）。

VQA 資料生成

Square 策略方法包括四個步驟：自問 (Self-Questioning)、回答 (Self-Answering)、推理 (Self-Reasoning) 和評估 (Self-Evalution)。Self-Questioning 利用 MLLM 在文字影像分析和理解方面的能力生成與影像中文字內容相關的問題。Self-Answering 利用各種提示技術，如：思維鏈 CoT 和少樣本，提示回答這些問題。Self-Reasoning 利用 MLLMs 強大的推理能力，生成模型背後的推理過程。Self-Evalution 評估問題的有效性、與影像文字內容的相關性以及答案的正確性，從而提高資料質量並減少幻覺。

^{圖 1 TextSquare 和先進的閉源、開源模型的比較，在 10 個文字相關的 benchmark 上的平均排名超越了 GPT4V（排名 2.2 vs. 2.4）}

基於 Square 方法，研究者從各種公共來源收集了一組多樣化的含有大量文字的影像，包括自然場景、圖表、表單、收據、書籍、PPT、PDF 等構建了 Square-10M，並基於這個資料集訓練了以文字理解為中心的 MLLM TextSquare-8B。

如圖 1 所示，TextSquare-8B 在多個 benchmark 可取得與 GPT4V 和 Gemini 相媲美或更優的效果，並顯著超過了其他開源模型。TextSquare 實驗驗證了推理資料對 VQA 任務的積極影響，證明了其能夠在減少幻覺的同時提升模型效能。

此外，透過利用大規模的資料集，揭示了指令調整資料規模、訓練收斂損失和模型效能之間的關係。儘管少量的指令調整資料可以很好地訓練 MLLM，隨著指令調整資料的不斷擴大，模型的效能能得到進一步增長，指令微調資料和模型之間也存在著相對應的 scaling law。

^{圖 2 VQA 資料合成的流程，包括資料生成（Self-Questioning、 Answering、Reasoning）、資料過濾（Evaluation）2 個階段}

^{圖 3 Square-10M 的影像分佈和 QA 分佈等詳細情況}

資料收集

資料收集策略的主要目標是涵蓋廣泛的現實世界文字豐富的場景。為此，研究者收集了 380 萬張的富文字的影像。這些影像表現出不同的特性，例如，圖表和表格側重於具有密集統計資訊的文字元素；PPT、螢幕截圖和 WebImage 是為文字和突出視覺資訊之間的互動而設計的；文件 / PDF、收據和電子商務包含具有精細和密集文字的影像；街景源於自然場景。收集到的影像形成了現實世界中文字元素的對映，並構成了研究以文字為中心的 VQA 的基礎。

資料生成

研究者利用 Gemini Pro 的多模態理解能力從特定資料來源選擇影像，並透過自問、自答、自我推理三個階段生成 VQA 及推理上下文對。

Self-Question: 這個階段會給定一些 prompt，Gemini Pro 會根據這些提示對影像進行全面分析，並根據理解去生成一些有意義的問題。考慮到通用 MLLM 對文字元素的理解能力通常會比視覺模型弱，我們透過專門的 OCR 模型將提取的文字預處理到 prompt 中去。
Self-Answering: Gemini Pro對生成問題會利用思維鏈 (CoT) 和少樣本提示 (few-shot prompting) 等技術豐富上下文資訊，提高生成答案的可靠性。
Self-Reasoning: 這個階段會生成答案的詳細原因，迫使 Gemini Pro 更多的思考問題和視覺元素之間的聯絡，從而減少幻覺並提高準確的答案。

資料過濾

儘管自我提問、回答和推理是有效的，但生成的影像 - 文字對可能面臨幻覺內容、無意義問題和錯誤答案。因此，我們設計了基於 LLM 的評估能力的過濾規則，以選擇高質量的 VQA 對。

Self-Evaluation 提示 Gemini Pro 和其他 MLLMs 判斷生成的問題是否有意義，以及答案是否足以正確解決問題。
Multi-Prompt Consistency 除了直接評估生成的內容外，研究者還在資料生成中手動增加提示和上下文空間。當提供不同的提示時，一個正確且有意義的 VQA 對應該在語義上一致。
Multi-Context Consistency 研究者透過在問題前準備不同的上下文資訊來進一步驗證 VQA 對。

TextSquare-8B

TextSquare-8B 借鑑了 InternLM-Xcomposer2 的模型結構，包括 CLIP ViT-L-14-336 的視覺 Encoder，影像解析度進一步提升至 700；基於 InternLM2-7B-ChatSFT 的大語言模型 LLM；一個對齊視覺和文字 token 的橋接器 projector。

TextSquare-8B 的訓練包括三階段的 SFT:

第一階段，以 490 的解析度全引數 (Vision Encoder, Projector, LLM) 微調模型。

第二階段，輸入解析度增加到 700，只訓練 Vision Encoder 以適應解析度變化。

第三階段，進一步以 700 的解析度進行全引數微調。

TextSquare 證實，在 Square-10M 資料集的基礎上，具有 8B 引數和正常大小影像解析度的模型可以在以文字為中心的 VQA 上實現超過了大多數的 MLLM，甚至是閉源模型 (GPT4V、Gemini Pro) 的效果。

實驗結果

圖 4（a）顯示 TextSquare 具有簡單的算術功能。圖 4（b）顯示了理解文字內容並在密集文字中提供大致位置的能力。圖 4（c）顯示了 TextSquare 對錶格結構的理解能力。

MLLM Benchmark

Document-Oriented Benchmark 在文件場景的 VQA Benckmark (DocVQA、ChartQA、InfographicVQA) 上平均提升 3.5%，優於所有開源模型，在 ChartQA 資料集上略高於 GPT4V 和 Gemini Pro，該模型解析度僅 700，小於大多數面向文件的 MLLM，如果解析度進一步提高，相信模型效能也將進一步提高，Monkey 已證明這一點。
Scene Text-centric Benchmark 自然場景的 VQA Benchmark (TextVQA、AI2D) 中取得了 SOTA 的效果，但與 baseline Xcomposer2 相比沒有較大改進，可能是因為 Xcomposer2 已經用了高質量的域內資料進行了充分最佳化。
Table VQA Benchmark 表格場景的 VQA Benchmark (WTQ、TabFact) 中取得到遠超 GPT4V 及 Gemini Pro 的效果，分別超過其他 SOTA 模型 3%。
Text-centric KIE Benchmark 文字中心的關鍵資訊提取 KIE 任務的 benchmark (SROIE、POIE)，將 KIE 任務轉換成 VQA 任務，在兩個資料集都取得了最佳的效能，平均提升 14.8%。
OCRBench 包括文字識別、公式識別、文字中心 VQA、KIE 等 29 項 OCR 相關的評估任務，取得了開源模型的最佳效能，併成為第一個 10B 左右引數量達到 600 分的模型。

General VQA and Hallucination Evaluation Benchmark 在通用的 VQA Benchmark (VizWiz VQAv2、GQA、POPE) 上 TextSquare 相較於 Xconposer2 沒有顯著退化，仍然保持著最佳的效能，在 VisWiz 和 POPE 表現出顯著的效能，比各最佳的方法高出 3.6%，這突出了該方法的有效性，能減輕模型幻覺。

消融實驗