RT-H 在一系列機器人任務中的表現都優於 RT-2。
隨著 GPT-4 等大型語言模型與機器人研究的結合愈發緊密，人工智慧正在越來越多地走向現實世界，因此具身智慧相關的研究也正受到越來越多的關注。在眾多研究專案中，谷歌的「RT」系列機器人始終走在前沿（參見《大模型正在重構機器人，谷歌 Deepmind 這樣定義具身智慧的未來》）。
谷歌 DeepMind 去年 7 月推出的 RT-2：全球第一個控制機器人的視覺 - 語言 - 動作（VLA）模型。只需要像對話一樣下達命令，它就能在一堆圖片中辨認出黴黴，並送給她一罐可樂。
如今，這個機器人又進化了。最新版的 RT 機器人名叫「RT-H」，它能透過將複雜任務分解成簡單的語言指令，再將這些指令轉化為機器人行動，來提高任務執行的準確性和學習效率。舉例來說，給定一項任務，如「蓋上開心果罐的蓋子」和場景影像，RT-H 會利用視覺語言模型（VLM）預測語言動作（motion），如「向前移動手臂」和「向右旋轉手臂」，然後根據這些語言動作，預測機器人的行動（action）。
這個行動層級（action hierarchy）對於提高機器人完成任務的準確性和學習效率非常有幫助，使得 RT-H 在一系列機器人任務中的表現都優於 RT-2。
以下是論文的詳細資訊。
論文概覽
論文標題：RT-H: Action Hierarchies Using Language
論文連結：https://arxiv.org/pdf/2403.01823.pdf
專案連結：https://rt-hierarchy.github.io/
語言是人類推理的引擎，它使我們能夠將複雜概念分解為更簡單的組成部分，糾正我們的誤解，並在新環境中推廣概念。近年來，機器人也開始利用語言高效、組合式的結構來分解高層次概念、提供語言修正或實現在新環境下的泛化。
這些研究通常遵循一個共同的正規化：面對一個用語言描述的高層任務（如「拿起可樂罐」），它們學習將觀察和語言中的任務描述對映到低層次機器人行動的策略，這需要透過大規模多工資料集實現。語言在這些場景中的優勢在於編碼類似任務之間的共享結構（例如，「拿起可樂罐」與「拿起蘋果」），從而減少了學習從任務到行動對映所需的資料。然而，隨著任務變得更加多樣化，描述每個任務的語言也變得更加多樣（例如，「拿起可樂罐」與「倒一杯水」），這使得僅透過高層次語言學習不同任務之間的共享結構變得更加困難。
為了學習多樣化的任務，研究者的目標是更準確地捕捉這些任務之間的相似性。
他們發現語言不僅可以描述高層次任務，還能細緻說明完成任務的方法 —— 這種表示更細膩，更貼近具體動作。例如，「拿起可樂罐」這一任務可以分解為一系列更細節的步驟，即「語言動作（language motion）」：首先「手臂向前伸」，接著「抓緊罐子」，最後「手臂上舉」。研究者的核心洞見是，透過將語言動作作為連線高層次任務描述與底層次動作之間的中間層，可以利用它們來構建一個透過語言動作形成的行動層級。
建立這種行動層級有幾大好處：
它使不同任務之間在語言動作層面上能夠更好地共享資料，使得語言動作的組合和在多工資料集中的泛化性得到增強。例如，「倒一杯水」與「拿起可樂罐」雖在語義上有所不同，但在執行到撿起物體之前，它們的語言動作完全一致。
語言動作不是簡單的固定原語，而是根據當前任務和場景的具體情況透過指令和視覺觀察來學習的。比如，「手臂向前伸」並沒具體說明移動的速度或方向，這取決於具體任務和觀察情況。學習到的語言動作的上下文依賴性和靈活性為我們提供了新的能力：當策略未能百分百成功時，允許人們對語言動作進行修正（見圖 1 中橙色區域）。進一步地，機器人甚至可以從這些人類的修正中學習。例如，在執行「拿起可樂罐」的任務時，如果機器人提前關閉了夾爪，我們可以指導它「保持手臂前伸的姿勢更久一些」，這種在特定場景下的微調不僅易於人類指導，也更易於機器人學習。
鑑於語言動作存在以上優勢，來自谷歌 DeepMind 的研究者設計了一個端到端的框架 ——RT-H（Robot Transformer with Action Hierarchies，即使用行動層級的機器人 Transformer），專注於學習這類行動層級。RT-H 透過分析觀察結果和高層次任務描述來預測當前的語言動作指令，從而在細節層面上理解如何執行任務。接著，利用這些觀察、任務以及推斷出的語言動作，RT-H 為每一步驟預測相應的行動，語言動作在此過程中提供額外的上下文，幫助更準確地預測具體行動（圖 1 紫色區域）。
此外，他們還開發了一種自動化方法，從機器人的本體感受中提取簡化的語言動作集，建立了包含超過 2500 個語言動作的豐富資料庫，無需手動標註。
RT-H 的模型架構借鑑了 RT-2，後者是一個在網際網路規模的視覺與語言資料上共同訓練的大型視覺語言模型（VLM），旨在提升策略學習效果。RT-H 採用單一模型同時處理語言動作和行動查詢，充分利用廣泛的網際網路規模知識，為行動層級的各個層次提供支援。
在實驗中，研究者發現使用語言動作層級在處理多樣化的多工資料集時能夠帶來顯著的改善，相比 RT-2 在一系列任務上的表現提高了 15%。他們還發現，對語言動作進行修正能夠在同樣的任務上達到接近完美的成功率，展示了學習到的語言動作的靈活性和情境適應性。此外，透過對模型進行語言動作干預的微調，其表現超過了 SOTA 互動式模仿學習方法（如 IWR）50%。最終，他們證明了 RT-H 中的語言動作能夠更好地適應場景和物體變化，相比於 RT-2 展現出了更優的泛化效能。
RT-H 架構詳解
為了有效地捕獲跨多工資料集的共享結構（不由高層次任務描述表徵），RT-H 旨在學習顯式利用行動層級策略。
具體來說，研究團隊將中間語言動作預測層引入策略學習中。描述機器人細粒度行為的語言動作可以從多工資料集中捕獲有用的資訊，並可以產生高效能的策略。當學習到的策略難以執行時，語言動作可以再次發揮作用：它們為與給定場景相關的線上人工修正提供了直觀的介面。經過語言動作訓練的策略可以自然地遵循低水平的人工修正，並在給定修正資料的情況下成功完成任務。此外，該策略甚至可以根據語言修正資料進行訓練，並進一步提高其效能。
如圖 2 所示，RT-H 有兩個關鍵階段：首先根據任務描述和視覺觀察預測語言動作，然後根據預測的語言動作、具體任務、觀察結果推斷精確的行動。
RT-H 使用 VLM 主幹網路並遵循 RT-2 的訓練過程來進行例項化。與 RT-2 類似，RT-H 透過協同訓練利用了網際網路規模資料中自然語言和影像處理方面的大量先驗知識。為了將這些先驗知識合併到行動層級的所有層次中，單個模型會同時學習語言動作和行動查詢。
實驗結果
為了全面評估 RT-H 的效能，研究團隊設定了四個關鍵的實驗問題：
Q1（效能）：帶有語言的行動層級是否可以提高多工資料集上的策略效能？
Q2（情境性）：RT-H 學得的語言動作是否與任務和場景情境相關？
Q3（糾正）：在語言動作修正上進行訓練比遠端（teleoperated）修正更好嗎？
Q4（概括）：行動層級是否可以提高分佈外設定的穩健性？
資料集方面，該研究採用一個大型多工資料集，其中包含 10 萬個具有隨機物件姿態和背景的演示樣本。該資料集結合了以下資料集：
Kitchen：RT-1 和 RT-2 使用的資料集，由 70K 樣本中的 6 個語義任務類別組成。
Diverse：一個由更復雜的任務組成的新資料集，具有超過 24 個語義任務類別，但只有 30K 樣本。
該研究將此組合資料集稱為 Diverse+Kitchen (D+K) 資料集，並使用自動化程式對其進行語言動作標記。為了評估在完整 Diverse+Kitchen 資料集上訓練的 RT-H 的效能，該研究針對八項具體任務進行了評估，包括：
1）將碗直立放在櫃檯上
2）開啟開心果罐
3）關閉開心果罐
4）將碗移離穀物分配器
5）將碗放在穀物分配器下方
6）將燕麥片放入碗中
7）從籃子裡拿勺子
8）從分配器中拉出餐巾
選擇這八個任務是因為它們需要複雜的動作序列和高精度。
下表給出了在 Diverse+Kitchen 資料集或 Kitchen 資料集上訓練時 RT-H、RT-H-Joint 和 RT-2 訓練檢查點的最小 MSE。RT-H 的 MSE 比 RT-2 低大約 20%，RTH-Joint 的 MSE 比 RT-2 低 5-10%，這表明行動層級有助於改進大型多工資料集中的離線行動預測。RT-H (GT) 使用 ground truth MSE 指標，與端到端 MSE 的差距為 40%，這說明正確標記的語言動作對於預測行動具有很高的資訊價值。
圖 4 展示了幾個從 RT-H 線上評估中獲取的上下文動作示例。可以看到，相同的語言動作通常會導致完成任務的行動發生微妙的變化，同時仍尊重更高階別的語言動作。
如圖 5 所示，研究團隊透過線上干預 RT-H 中的語言動作來展示 RT-H 的靈活性。
該研究還用比較實驗來分析修正的作用，結果如下圖 6 所示：
如圖 7 所示，RT-H 和 RT-H-Joint 對場景變化明顯更加穩健：
實際上，看似不同的任務之間具備一些共享結構，例如這些任務中每一個都需要一些拾取行為來開始任務，並且透過學習跨不同任務的語言動作的共享結構，RT-H 可以完成拾取階段而無需任何修正。
即使當 RT-H 不再能夠泛化其語言動作預測時，語言動作修正通常也可以泛化，因此只需進行一些修正就可以成功完成任務。這表明語言動作在擴大新任務資料收集方面的潛力。
感興趣的讀者可以閱讀論文原文，瞭解更多研究內容。