用蘋果Vision Pro隔空操控機器人，英偉達：「人機合一」也不難嘛

机器之心發表於2024-07-31
蘋果機器人
黃仁勳表示：「AI 的下一波浪潮是機器人，其中最令人興奮的發展之一是人形機器人。」如今，Project GR00T 又邁出了重要的一步。

昨日，英偉達創始人黃仁勳在 SIGGRAPH 2024 Keynote 演講中講到了其人形機器人通用基礎模型「Project GR00T」。該模型在功能上迎來了一系列更新。

德克薩斯大學奧斯汀分校助理教授、英偉達高階研究科學家朱玉可發推，在影片中演示了英偉達如何將通用家務機器人大規模模擬訓練框架 RoboCasa 和 MimicGen 系統整合到英偉達 Omniverse 平臺和 Isaac 機器人開發平臺。

圖片

圖源：https://x.com/yukez/status/1818092679936299373

影片中涵蓋了英偉達自己的三個計算平臺，包括 AI、Omniverse 和 Jetson Thor，利用它們簡化和加速開發者工作流程。透過這些計算平臺的共同賦能，我們有望進入由物理 AI 驅動的人形機器人時代。

圖片

其中最大的亮點，開發人員能夠使用蘋果 Vision Pro 來遠端操控人形機器人來執行任務。圖片圖片圖片
與此同時，另一位英偉達高階研究科學家 Jim Fan 表示，Project GR00T 的更新令人振奮。英偉達利用系統化的方法來擴充套件機器人資料，解決了機器人領域最棘手的難題。

思路也很簡單：人類在真實機器人身上收集演示資料，而英偉達在模擬中將這些資料擴充套件千倍及以上。透過 GPU 加速模擬，人們現在可以用算力來換取耗時耗力耗資金的人類收集資料了。

他談到自己不久前還認為遠端操控在根本上不可擴充套件，這是因為在原子世界中，我們總是受到 24 小時 / 機器人 / 天數的限制。英偉達在 GR00T 上採用的新的合成資料 pipeline 在位元世界打破了這一侷限。

圖片

圖源：https://x.com/DrJimFan/status/1818302152982343983

對於英偉達在人形機器人領域的最新進展，有網友表示，蘋果 Vision Pro 找到了最酷的用例。

圖片用蘋果Vision Pro隔空操控機器人，英偉達：「人機合一」也不難嘛

英偉達開始引領下一波浪潮：物理 AI

英偉達也在一篇部落格中詳述了加速人形機器人的技術流程，完整內容如下：

為了加速全球範圍內人形機器人的發展，英偉達宣佈為全球領先的機器人制造商、AI 模型開發商和軟體製造商提供一套服務、模型和計算平臺，以開發、訓練和構建下一代人形機器人。

圖片

這套產品包括用於機器人模擬和學習的全新 NVIDIA NIM 微服務和框架、用於執行多階段機器人工作負載的 NVIDIA OSMO 編排服務，以及支援 AI 和模擬的遠端操作工作流，該工作流允許開發者使用少量人類演示資料來訓練機器人。

黃仁勳表示：「AI 的下一波浪潮是機器人，其中最令人興奮的發展之一是人形機器人。我們正在推進整個 NVIDIA 機器人堆疊的發展，面向全球人形機器人開發者和公司開放訪問，讓他們能夠使用最符合其需求的平臺、加速庫和 AI 模型。」

圖片

藉助 NVIDIA NIM 和 OSMO 加速開發

NIM 微服務提供了由英偉達推理軟體提供支援的預構建容器，使開發人員能夠將部署時間從幾周縮短到幾分鐘。

兩個新的 AI 微服務將允許機器人專家在 NVIDIA Isaac Sim 中增強生成物理人工智慧模擬工作流程。

MimicGen NIM 微服務根據來自空間計算裝置（如 Apple Vision Pro）記錄的遠端資料生成合成運動資料。Robocasa NIM 微服務可在 OpenUSD 中生成機器人任務和模擬環境。

雲原生託管服務 NVIDIA OSMO 現已推出，允許使用者在分散式計算資源（無論是在本地還是在雲中）中協調和擴充套件複雜的機器人開發工作流程。OSMO 的出現大大簡化了機器人訓練和模擬工作流程，將部署和開發週期從數月縮短至不到一週。

為人形機器人開發者提供先進的資料捕獲工作流

訓練人形機器人背後的基礎模型需要大量的資料。獲取人類演示資料的一種方法是使用遠端操作，但這種方式正變得越來越昂貴和漫長。

透過在 SIGGRAPH 計算機圖形大會上展示的 NVIDIA AI 和 Omniverse 遠端操作參考工作流，研究者和 AI 開發者能夠從極少量遠端捕捉的人類演示中生成大量合成運動和感知資料。

圖片

首先，開發人員使用 Apple Vision Pro 捕捉少量遠端演示。然後，他們在 NVIDIA Isaac Sim 中模擬錄音，並使用 MimicGen NIM 微服務從錄音中生成合成資料集。

開發人員使用真實資料和合成資料來訓練 Project GR00T 人形機器人基礎模型，從而節省了大量的時間並降低了成本。然後，他們使用 Isaac Lab 中的 Robocasa NIM 微服務（一種機器人學習框架）來生成經驗以重新訓練機器人模型。在整個工作流中，NVIDIA OSMO 將計算任務無縫地分配給不同的資源，為開發者減少了數週的管理工作量。

擴大對 NVIDIA 人形機器人開發者技術的訪問許可權

NVIDIA 提供了三個計算平臺來簡化人形機器人的開發：用於訓練模型的 NVIDIA AI 超級計算機；基於 Omniverse 構建的 NVIDIA Isaac Sim，機器人可以在模擬世界中學習和完善技能；以及用於執行模型的 NVIDIA Jetson Thor 人形機器人計算機。開發人員可以根據自己的特定需求訪問和使用全部或部分平臺。

透過新的 NVIDIA 人形機器人開發者計劃，開發者可以提前使用新產品以及 NVIDIA Isaac Sim、NVIDIA Isaac Lab、Jetson Thor 和 Project GR00T 通用人形機器人基礎模型的最新版本。

1x、波士頓動力、位元組跳動、Field AI、Figure、Fourier、Galbot、LimX Dynamics、Mentee、Neura Robotics、RobotEra 和 Skild AI 是首批加入早期訪問計劃的公司。

開發人員現在可以加入 NVIDIA 人形機器人開發人員計劃，以訪問 NVIDIA OSMO 和 Isaac Lab，並且很快將獲得 NVIDIA NIM 微服務的訪問許可權。

部落格連結：
https://nvidianews.nvidia.com/news/nvidia-accelerates-worldwide-humanoid-robotics-development

相關文章