全新模型RoboVLMs解鎖VLA無限可能，真實機器人實驗交出滿分答卷

机器之心發表於2025-01-02
模型機器人
圖片
AIxiv專欄是機器之心釋出學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報導了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯絡報導。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本文作者來自清華大學、位元組跳動、中科院自動化所、上海交通大學和新加坡國立大學。作者列表：李興航、李沛言、劉明桓、王棟、劉濟榕、康炳易、馬驍、孔濤、張翰博和劉華平。第一作者李興航是清華大學計算機系博士生。通訊作者是位元組跳動機器人研究員孔濤，新加坡國立大學博士後張翰博和清華大學計算機系教授劉華平。

近年來，視覺語言基礎模型（Vision Language Models, VLMs）大放異彩，在多模態理解和推理上展現出了超強能力。現在，更加酷炫的視覺語言動作模型（Vision-Language-Action Models, VLAs）來了！透過為 VLMs 加上動作預測模組，VLAs 不僅能 “看” 懂和 “說” 清，還能 “動” 起來，為機器人領域開啟了新玩法！全新模型RoboVLMs解鎖VLA無限可能，真實機器人實驗交出滿分答卷
雖然 VLAs 在各種任務和場景中表現搶眼，但大家在模型設計上卻走了很多不同的路，比如用什麼架構、怎麼選資料、怎麼調訓練策略等等，這導致領域內對 “怎麼做好一個 VLA” 還沒有統一的答案。為了理清這些問題，我們透過一系列的實驗，提出了一個全新模型 ——RoboVLMs。
圖片
  • 論文標題：Towards Generalist Robot Policies: What Matters in Building Vision-Language-Action Models
  • 論文地址：https://arxiv.org/pdf/2412.14058
圖片
這個模型超級簡單，但效能卻相當硬核！它不僅在三個模擬任務中取得了高分，還在真實機器人實驗中交出了滿分答卷。這篇文章就是要帶你一起看看，我們是如何用 RoboVLMs 解鎖 VLA 的無限可能！

四大靈魂拷問：RoboVLMs 是怎麼煉成的？

我們圍繞四個關鍵問題，對 VLA 的設計展開了深度探索，下面就帶你看看答案！

1. 為什麼要用 VLA 模型？

簡單說，透過實驗，我們發現設計合理的 VLA 不僅能輕鬆搞定常見的操作任務，還能在陌生場景中穩穩發揮。

模擬任務中拿下頂尖成績

在 CALVIN 和 SimplerEnv 環境裡，RoboVLMs 取得了壓倒性的勝利：

  • 任務成功率：表現穩定且超越主流模型。
  • 泛化能力：即使在陌生場景中，表現依然抗打！
圖片
圖 1 SimplerEnv 模擬環境中的評測結果
圖片
圖 2 針對視覺語言預訓練的消融實驗結果
圖片

圖片

真實機器人實驗也不輸

在真實環境中，RoboVLMs 面對更復雜的挑戰，仍然比其他模型表現更好。比如，在果蔬分類任務中，它不僅能精準識別，還能應對干擾環境，穩穩完成分類操作。無論是已知場景還是新任務，它都能輕鬆拿下。
圖片
圖 3 真實環境下的評測結果

對於未見過的技能描述、背景、干擾物體和目標物體，RoboVLMs 均能很好的完成任務。

圖片

2. 怎麼設計一個靠譜的 VLA 架構？

這裡面講究可不少！比如：

  • 動作空間：用連續動作空間比離散的好很多。
  • 歷史資訊：加多步歷史資訊後，模型的操作更穩準狠。
  • 歷史資訊組織模組：一個專門的模組可以讓模型更懂 “上下文”。

經過一系列實驗，我們確認了這些設計選擇是提升模型效能和泛化能力的關鍵。進一步的實驗也表明，最優的設計來自於基於 KosMos 基座模型的架構，並且結合了專門的歷史資訊組織模組。這樣的設計在 CALVIN 中實現了出色的泛化能力，在 zero-shot 設定下僅有輕微的效能下降，而其他設計形式的模型則出現了顯著掉分。這一結論直接說明，架構設計的好壞對模型的泛化能力和效率至關重要。
圖片
3. 選什麼基座模型最合適？

我們對比了當前主流的 8 種視覺語言模型（VLM），結果發現 KosMos 和 Paligemma 的表現遙遙領先，輕鬆碾壓其他模型。無論是任務完成的精確度還是泛化能力，它們都展現出了壓倒性的優勢。究其原因，主要得益於它們經過了紮實且全面的視覺語言預訓練，從而為模型提供了強大的先驗知識和理解能力。

這一發現讓我們更加確信：選對基座模型，就是讓 VLA 模型起飛的關鍵一步！想要讓模型在多模態任務中表現驚豔，一個經過深度預訓練、具備強大視覺語言表徵能力的 VLM 基座顯然能提供無與倫比的助力。而一旦打好了這個基礎，後續的設計和訓練才能真正發揮最大潛力。
圖片
4. 跨本體資料什麼時候加入最合適？

實驗告訴我們一個黃金法則：在預訓練階段引入跨本體資料（如 Open-X Embodiment 資料集）可以顯著提升模型的魯棒性和少樣本場景下的表現。反之，直接將跨本體資料和微調資料混合訓練，效果就沒那麼顯著了。這些結論為未來 VLA 模型的訓練策略指明瞭方向。

具體實驗中，我們在 WidowX+Bridge 和 Google Robot 兩大環境下分別進行了不同訓練策略的測試：

WidowX+Bridge 環境：

  • Bridge Finetune：直接在完整的 Bridge 資料集上微調（測試任務不包括在內）。
  • OXE Pre-Train：先用 OXE 資料集預訓練模型。
  • Post-Train：用經過 OXE 預訓練的模型再在 Bridge 資料集上微調。

Google Robot 環境：

  • RT-Partial Finetune：僅在特定的 RT 任務上微調。
  • RT Finetune：在完整的 RT 資料集上微調（包括測試任務）。
  • OXE Pre-Train：先用 OXE 資料集預訓練模型。
  • Post-Train：在 OXE 預訓練基礎上用 RT 資料集進一步訓練。

實驗結果進一步驗證了：在預訓練階段引入跨本體資料不僅能提升泛化能力，還能讓模型在少樣本和高複雜任務下表現更佳。
圖片
展望未來：VLA 的進階之路

雖然 RoboVLMs 已經很能打了，但接下來的發展空間更讓人期待！未來可以探索：

  1. 更細化的設計最佳化：比如再打磨 VLM 內部結構、資訊融合模組和訓練目標，讓它更高效。
  2. 挑戰複雜任務：像 “做早餐” 這種長鏈條任務，也許是下一個突破點！
  3. 多模態協作能力：進一步讓機器人 “看懂”、“聽清”、“動得更聰明”。

RoboVLMs 的出現，驗證了視覺語言動作模型的可能性，也讓機器人更接近成為我們的全能助手。未來，它們或許不僅能理解語言和視覺，還能真正幫我們完成那些繁瑣又複雜的任務。接下來會有更多驚喜等著我們！

相關文章