14 項任務測下來，GPT4V、Gemini等多模態大模型竟都沒什麼視覺感知能力？
机器之心發表於2024-05-11
AIxiv專欄是機器之心釋出學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報導了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯絡報導。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
2023-2024年，以 GPT-4V、Gemini、Claude、LLaVA 為代表的多模態大模型（Multimodal LLMs）已經在文字和影像等多模態內容處理方面表現出了空前的能力，成為技術新浪潮。然而，對於這些模型的評測多集中於語言上的任務，對於視覺的要求多為簡單的物體識別。相對的，計算機視覺最初試圖解讀影像作為3D場景的投影，而不僅僅處理2D平面“模式”的陣列。為響應這一情況，本文提出了BLINK，這是一個新的測試集，包含了重新構想的傳統計算機視覺問題，使我們能夠更全面評估多模態大模型的視覺感知能力，帶你揭開GPT4V、Gemini等大模型的視覺界限秘密。作者相信BLINK將激勵社群幫助多模態LLMs達到與人類同等級別的視覺感知能力。論文連結：https://zeyofu.github.io/blinkBLINK 是一個針對多模態語言模型（Multimodal LLMs）的新基準測試，專注於評估其核心視覺感知能力，這些能力在其他評估中並未涉及。BLINK包含 14 項視覺感知任務，擁有3.8k個選擇題和7.3k張影像。人類可以“一眨眼”之間解決這些任務 (例如，相對視深、視覺對應、目標定位，和多視角推理等)；但對當前的多模態大型語言模型（Multimodal LLMs）而言，這些任務構成了重大挑戰，因為它們難以透過自然語言處理來解決。平均而言，人類在這些任務上的準確率為95.70%，然而即使是GPT-4V和Gemini也只達到了51.26%和45.72%的準確率，比隨機猜測僅高出13.17%和7.63%。 （1）BLINK 運用了多種的視覺prompts, 如圓形、盒形, 和影像遮罩 masks, 而以前的基準測試僅包含文字問題和答案。（2）BLINK評估了更全面的視覺感知能力，如多視角推理、深度估算和反射率估算。以往的基準測試通常更側重於基於物體識別的視覺問答（VQA）。（3）BLINK只包含“視覺”常識性問題，這些問題人類不需要接受教育就可以在一秒鐘內回答，而以前的基準測試像MMMU這樣的則需要專業領域知識。（4）BLINK涵蓋了14個需求感知的任務，這些任務受到經典計算機視覺問題的啟發。雖然這些問題僅需人類“一眨眼”的時間即可解決，但它們超出了當前多模態大型語言模型的能力。本文評估了17個不同大小（即7B，13B，34B）的多模態LLMs在BLINK上的表現。並觀察到一個悖論：儘管這些問題對於人類來說很容易（平均準確率為95.70%），但對現有機器來說卻極其困難。7B和13B開源多模態大型語言模型（LLMs）的平均準確率大約在35-42%之間，與隨機猜測（38.09%）相似。最好的開源模型是LLaVA-v1.6-34B，達到了45.05%的準確率。即使是最新的大模型，如GPT-4V、Gemini Pro和Claude 3 OPUS，其準確率也僅為51.26%、45.72%和44.11%。它們的表現僅比隨機猜測好13.17%、7.63%和6.02%，並且比人類的表現差44.44%、49.98%和51.59%。值得注意的是，在某些任務上，如拼圖、語義對應、多視角推理、物件定位和相對反射率，一些多模態LLMs甚至表現不如隨機猜測。對於每項任務，該文章展示了LLaVAv1.6-34B、Qwen-VL-Max、Gemini Pro、GPT-4V和人類的選擇。紅色選項指的是正確答案。請注意，為了視覺效果，作者故意放大了標記，並且將一些圖片做成插圖以節省空間。對於智力測驗，第三張圖片是透過疊加第一張和第二張圖片構成的。 （1）把圖片轉換成文字是否是解決多模態問題的正確選擇？為了回答這個問題，本文使用GPT-4V將圖片轉換為與任務無關的密集圖片字幕，並使用基於文字的LLM來完成任務（Caption + LLM）。這種密集字幕利用語言描述了影像及視覺提示的詳細資訊（例如，每個圓圈的位置）。作者在BLINK、MMBench和MMMU上進行了實驗。令人驚訝的是，Caption + LLM的配置在MMBench和MMMU上的結果遠優於BLINK。這些結果表明，影像字幕攜帶了回答其他基準所需的大部分視覺資訊。同時，BLINK需要的高階感知能力超出了通用字幕目前可達到的範圍。（2）視覺提示（visual prompts）對多模態大模型能產生多大的影響？本文分析了BLINK中多個任務上圓圈大小和顏色的影響。實驗表明，視覺提示可能對多模態LLM的效能產生重大影響，改進視覺提示或提高模型對提示變化的魯棒性是未來研究的有前景的方向。根據分析，作者發現最佳圓圈大小依賴於具體任務，平均而言，10px的圓圈效果最好。同樣，對於所有任務來說，紅色比灰色更好。（3）傳統計算機視覺專家模型能解決BLINK任務嗎？專家可以作為多模態LLM可能達到的上限的代理。這揭示了一個可能性，即多模態LLM可能因正確的資料和培訓策略而在這些任務上取得進展。 
府星妤 （Xingyu Fu）是賓夕法尼亞大學NLP組的博士生，師從Dan Roth教授。她曾在亞馬遜和微軟實習。她的研究主要專注於多模態大模型的感知和推理Reasoning。胡雨石 （Yushi Hu）是華盛頓大學NLP組的博士生，師從Mari Ostendorf 和 Noah Smith 教授。與此同時，他還是艾倫人工智慧研究所（AI2）學生研究員，此前曾在谷歌和騰訊AI 實習。他的研究主要專注於多模態大模型和基於反饋的模型訓練。