把RLHF帶給VLA模型！透過偏好對齊來最佳化機器人策略，程式碼已開源

AIxiv專欄是機器之心釋出學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報導了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯絡報導。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

論文一作為北卡羅來納大學教堂山分校張子健，指導老師為北卡羅來納大學教堂山分校助理教授 Huaxiu Yao。共同第一作者為華盛頓大學 Kaiyuan Zheng，其餘作者包括來自北卡教堂山的 Mingyu Ding、來自華盛頓大學的 Joel Jang、Yi Li 和Dieter Fox，以及來自芝加哥大學的 Zhaorun Chen、Chaoqi Wang。

論文標題：GRAPE: Generalizing Robot Policy via Preference Alignment
論文連結：https://arxiv.org/abs/2411.19309
專案地址：https://grape-vla.github.io
程式碼地址：https://github.com/aiming-lab/GRAPE

研究背景

近年來，視覺-語言-動作模型（Vision-Language-Action, VLA）在諸多機器人任務上取得了顯著的進展，但它們仍面臨一些關鍵問題，例如由於僅依賴從成功的執行軌跡中進行行為克隆，導致對新任務的泛化能力較差。

此外，這些模型通常透過微調來複制在不同環境下由專家收集的演示資料，這導致了分佈偏差，並限制了它們對多樣化操作目標（如效率、安全性和任務完成）的適應能力。

方法部分

為了解決這一問題，我們提出了 GRAPE，一種即插即用的演算法，透過偏好對齊提升機器人策略的泛化能力，並支援將 VLA 模型對齊到任意設定的目標。GRAPE 的框架如下圖所示：

^{圖 1：GRAPE 的框架}

GRAPE 帶來了以下三大優勢，顯著增強了 VLA 模型的泛化性：

GRAPE 在軌跡層面透過強化學習（RL）目標對 VLA 進行對齊，賦予模型全域性決策能力，而不僅僅是簡單的行為克隆；
GRAPE 隱式建模了成功和失敗嘗試中的獎勵，從而提升對多樣化任務的泛化能力；
GRAPE 採用可擴充套件的偏好合成演算法。GRAPE 透過與任意目標對齊的偏好對軌跡進行排序，進而使得 VLA 模型能被對齊到設定的目標上。

具體而言，GRAPE 的框架可以被拆成三個部分：Trajectory-wise Preference Optimization、Customized Preference Synthesis 和 Iterative Online Alignment。以下是這三個部分的詳細介紹：

Trajectory-wise Preference Optimization（軌跡級偏好最佳化）：

GRAPE 將逐步訓練的 VLA 模型擴充套件到軌跡級別，並透過強化學習（RL）目標進行訓練，確保對齊後的策略能夠優先選擇被接受的軌跡，而非被拒絕的軌跡。

具體而言，我們基於 DPO 的 Loss 函式進行了改進，引入了一種全新的 TPO_Loss，使得模型能夠學習軌跡級別的偏好。我們利用模型在任務中採集的較優與較劣的嘗試（分別計為 ζ_w，ζ_l），建立了 TPO 偏好資料集，最終使得模型在 TPO 訓練後在全域性層面獲得了對齊，並增強了其魯棒性。

^{圖 2 TPO-Loss 公式}

Customized Preference Synthesis（定製化偏好合成）：

基於 TPO-Loss 的設計，我們需要對於軌跡的優劣進行建模，從而構建對應的偏好資料集。然而，對於一些複雜的機器人任務，並沒有能夠用於軌跡排序的獎勵模型。

針對這個問題，GRAPE 引入了一種可擴充套件演算法，將複雜操作任務分解為獨立階段，並透過一個大型視覺-語言模型提出的關鍵點，自動引導偏好建模過程中的時空約束。這些約束具有靈活性，可根據需求進行定製，使模型與不同目標（如安全性、效率或任務完成）保持一致。

Iterative Online Alignment（迭代式線上對齊）：

GRAPE 透過以下迭代迴圈不斷最佳化對齊過程：1）線上樣本採集，2）合成偏好排序，3）軌跡級偏好最佳化。這種方法逐步提升了 VLA 策略的泛化能力，並使其與任意目標更好地對齊。

實驗結果

真機泛化實驗

我們在域內任務以及五種分佈外泛化（OOD）任務上評估了 GRAPE 的效能，這些 OOD 任務包括：視覺（新的視覺環境）、主體（未見過的物體）、動作（未見過的操作）、語義（未見過的提示）和語言落地泛化（物體處於未見過的空間位置）。

結果顯示，GRAPE 在這些 OOD 任務上的表現分別比最先進的 OpenVLA-SFT 模型提升了 20.7%、27.5%、10.0%、5.0% 和 26.7%。這充分體現了透過偏好對齊過程所實現的卓越泛化能力。

模擬泛化實驗

我們進一步在 Simpler-Env 和 LIBERO 環境中評估了 GRAPE 的效能，重點考察三種 OOD 任務的泛化能力：主體（未見過的物體）、物理屬性（未見過的物體尺寸 / 形狀）和語義（未見過的提示）。

結果顯示，GRAPE 在這些 OOD 任務上相較 OpenVLA-SFT 模型分別提升了 8.0%、12.3% 和 19.0% 的表現。

^{圖 3：真機與模擬實驗統計結果}

特定對齊目標分析

GRAPE 能夠高效地將機器人策略與透過自然語言指定的多種目標對齊，例如任務完成、安全性和效率。這些目標被融入多階段的成本函式中，進而影響取樣軌跡的排序。

實驗表明，當對齊目標為更安全或更高效的操作策略時，GRAPE 可將碰撞率降低 44.31%，或將執行軌跡的長度縮短 11.15%。

^{圖4：指定的對齊目標（安全），訓練後的模型學會了安全地執行操作}

結論

本文提出了 GRAPE，一種即插即用的 VLA 模型對齊框架，在多種機器人任務場景下均能使用，能夠基於軌跡偏好提升機器人策略的泛化能力，並支援將模型對齊到指定目標。

相關文章