歷時2年，華人團隊力作，震撼開源生成式物理引擎Genesis，可模擬世界萬物

机器之心發表於2024-12-19

這是生成式大模型的時代 —— 它們能生成文字、影像、音訊、影片、3D 物件…… 而如果將所有這些組合到一起，我們可能會得到一個世界！

現在，不管是 LeCun 正在探索的世界模型，還是李飛飛想要攻克的空間智慧，又或是其他研究團隊提出的其它類似概念，我們都毫無疑問地在離這個世界越來越近。就在幾個小時前，我們向著這個世界又跨出了一步：CMU 聯合其他 20 多所研究實驗室開源釋出了一個生成式物理引擎：Genesis，意為「創世紀」。從名字也能看出，這或許真是一個新世界的起點。

據專案貢獻者 CMU 機器人研究所博士生 Zhou Xian 和領導者淦創教授在 X 上分享的內容看，該專案耗費了 2 年多時間，海內外近 20 家機構參與了內部測試。

最終，這個聯合團隊得到的 Genesis 生成式物理引擎可以生成 4D 動態世界，而其基礎是一個用於通用機器人和物理 AI 應用的物理模擬平臺。

開源地址：https://github.com/Genesis-Embodied-AI/Genesis
專案頁面：https://genesis-embodied-ai.github.io/
文件地址：https://genesis-world.readthedocs.io/en/latest/

目前 Genesis 的技術論文還未釋出，但據官方文件，Genesis 的主要特性包括：

安裝毫不費力，API 設計極其簡單且使用者友好。
並行模擬的速度前所未有：Genesis 是世界上最快的物理引擎，模擬速度比現有的 GPU 加速的機器人模擬器（Isaac Gym/Sim/Lab、Mujoco MJX 等）快 10 到 80 倍（是的，這有點科幻），同時不會影響模擬準確性和保真度。
支援各種 SOTA 物理求解器的統一框架，可建模各種材料和物理現象。
具有經過效能最佳化的照片級真實感的光線追蹤渲染。
可微分性：Genesis 在設計時就考慮了與可微分模擬完全相容。目前，其 MPM 求解器和工具求解器（Tool Solver）都是可微分的，其他求解器的可微分性也將很快新增（會從剛體模擬開始）。
物理上精確且可微分的觸覺感測器。
原生支援生成式模擬，允許透過語言提示生成各種模態的資料：互動式場景、任務提議、獎勵、資產、角色動作、策略、軌跡、相機動作、（物理上準確的）影片等。

此外，Genesis 還支援各種硬體和作業系統。

為了佐證 Genesis 的優越特性，Zhou Xian 在 X 上分享了一個例子：在單臺 RTX4090 上，它的模擬速度比實時速度快大約 430,000 倍，僅需 26 秒就能訓練完成一個可遷移到真實世界的機器人運動策略。

Zhou Xian 表示：「我們的目標是構建一個通用資料引擎，其能利用上層的生成式框架自動建立物理世界，以及各種模式的資料，包括環境、相機運動、機器人任務提議、獎勵函式、機器人策略、角色運動、完全互動式 3D 場景、開放世界鉸接資產等，從而自動生成用於機器人、物理 AI 和其他應用的資料。」

Genesis 一經宣佈，就已收穫好評無數。

GitHub 專案 star 數也在短短几個小時內突破了 1.5k。

Genesis：一個綜合物理模擬平臺

Genesis 是一個綜合物理模擬平臺，專為通用機器人、具身 AI 和物理 AI 應用而設計。它同時具有多種屬性：

一個從頭開始重建的通用物理引擎，能夠模擬廣泛的材料和物理現象；
一個輕量級的、超快的、Python 化的、使用者友好的機器人模擬平臺；
一個強大和快速的逼真照片渲染系統；
生成式資料引擎，將使用者提示的自然語言描述轉換為各種資料形式。

Genesis 由重新設計和重新構建的通用物理引擎提供支援，並將各種物理求解器及其耦合整合到一個統一的框架中。此核心物理引擎透過在更高階別執行的生成式智慧體架構上得到進一步增強，旨在為機器人技術及其他領域實現全自動資料生成。

淦創教授介紹說：「我們的方法的核心是對人類心智模型進行逆向工程，並構建由生成式物理引擎驅動的機器人大腦！我意識到許多機器人專家對這種方法持懷疑態度，他們指出了設定模擬器和解決模擬-現實差距的困難。他們主張只專注於從現實世界的資料中學習。我理解這些擔憂，但我堅信我們不能只是因為建立一個好模擬器很有挑戰性就繞過它們！」

生成框架旨在自動生成資料，包括以下內容：

物理準確且空間一致的影片；
相機運動和引數；
人類和動物角色運動；
機器人操縱和運動策略，可部署到現實世界；
完全互動式 3D 場景；
開放世界鉸接式物體生成；
語音音訊、面部動畫和情緒。

目前，該研究正在開源底層物理引擎和模擬平臺。在不久的將來，將逐步推出對生成框架的訪問。

Genesis 效能卓越，效果驚豔

作為一個高度最佳化的物理引擎，Genesis 可以藉助 GPU 加速並行運算，在各種場景中提供了前所未有的模擬速度。

在模擬操控（manipulation）場景時，Genesis 以 4300 萬幀 / 秒的速度執行，比實時速度快 43 萬倍。

在大規模模擬中，Genesis 利用「auto-hibernation」來加速處於收斂和靜態實體的模擬。不過這項功能正在測試中，將在 0.1.1 版本中釋出。

^{Genesis 與常用的基於 CPU 和 GPU 的機器人模擬器的速度比較。}

Zhou Xian 表示，Genesis 的 GPU 並行化 IK（Inverse kinematics）求解器可以在 2 毫秒內完成 1 萬臺 Franka 機器臂的 IK 求解。

接下來，我們看看具體的示例展示。

生成 4D 動態和物理世界

Genesis 的物理引擎由基於 VLM 的生成式智慧體提供支援，該智慧體使用模擬基礎設施提供的 API 作為工具來建立 4D 動態世界，然後將其用作提取各種模式資料的基礎資料來源。

結合生成相機和物體運動模組，Genesis 能夠生成物理上精確且檢視一致的影片和其他形式的資料。

並且，Genesis 還支援模擬各種不同的材料，包括剛體、鉸接體、布料、液體、煙霧、可變形體、薄殼材料、彈性 / 塑性體、機器人肌肉等。

模擬一層巧克力醬，自然不再話下。

絞碎泡沫的質感看起來也非常真實。

星球與太空船的質感也非常高，看起來就像是來自一部大製作的科幻電影。

子彈擊破水球的物理過程就好像真的是來自裝置精良的高速攝影。

一壺字母糖，看起來很 Q 彈。

對充氣人偶的模擬也恰到好處，同樣也非常幽默地模擬現實狀況。

角色動作生成

有了如此高質量的物理引擎，對於遊戲製作業來說也是好訊息，許多複雜的動作和效果都可以透過提示詞來快速生成了：

^{提示：手持棍棒的迷你版悟空在桌面上飛奔 3 秒，然後跳到空中，落地時右臂向下擺動。鏡頭從他的臉部特寫開始，然後穩定地跟隨角色，同時逐漸縮小。當悟空跳到空中時，在跳躍的最高點，動作暫停幾秒鐘。鏡頭圍繞角色 360 度旋轉，然後緩慢上升，然後繼續動作。}

設計動作的時間成本一下子就被打下來了。

機器人策略生成

Genesis 可以利用生成式機器人智慧體和物理引擎自動生成不同場景下各種技能的機器人策略和演示資料。這意味著研究人員可以在模擬環境中快速獲得符合物理規律的機器人動作方案，並將其可靠地遷移到實體機器人上。

下面展示了一些不同形態的機器人執行不同任務的示例。

^{提示：一個移動的 Franka 機械臂使用碗和微波爐做爆米花}

^{提示：宇樹 Go2 四足機器人在雨中奔跑 (Sim)}

比如，從提示詞到在模擬環境中的動作策略，再遷移到實體機器人上，可以如此絲滑：

^{提示：宇樹 H1-2 人形機器人向前行走 (Sim2Real)}

做倒立需要精確平衡控制和全身協調，這麼高難度的動作，現在也可以透過 Genesis 來實現 Sim2Real：

^{提示：四足機器人用前兩條腿做倒立 (Sim2Real)}

倒立不夠，在 Genesis 的助力下，機器狗還能更快地學會「體操技巧」，穩穩地做兩個直體後空翻：

^{四足機器人連著後空翻兩次 (Sim2Real)}

像拉椅子這樣要和真實世界裡的物體互動的動作，也沒問題：

^{大型欠驅動機器人的運動操作 (Sim2Real)}

3D 和完全互動式場景生成

Genesis 的生成框架支援生成 3D 和完全互動的場景，這些場景可用於訓練機器人技能。

^{家庭室內場景，有客廳（包括用餐區）、衛生間、書房和臥室。}

^餐廳內部

開放世界鉸接物體生成

Genesis 也能生成具有鉸接結構的物體及其互動過程，例如汽車開關門、開啟合上膝上型電腦、摺疊金屬刀片。

軟體機器人

Genesis 還是首個為軟肌肉和軟機器人及其與剛性機器人的互動提供全面支援的平臺。Genesis 還附帶類似 URDF 的軟機器人配置系統。官方還提供了一個相關教程：https://genesis-world.readthedocs.io/en/latest/user_guide/getting_started/soft_robots.html

Genesis 也能模擬帶有軟皮膚和剛性骨骼的混合機器人。

語音音訊，面部表情和情緒生成

音訊以及面部表情也是 Genesis 想要整合的模態，下面展示了兩個示例：歷時2年，華人團隊力作，震撼開源生成式物理引擎Genesis，可模擬世界萬物

^{人物情緒從中性轉變為憤怒，然後再轉變為快樂。} 歷時2年，華人團隊力作，震撼開源生成式物理引擎Genesis，可模擬世界萬物

^{Genesis 將情緒的轉變泛化到不同的面部}

結語

最後，Zhou Xian 展示了一個用 Genesis 打造的俄羅斯方塊遊戲，其中的方塊是果凍材質的，並且能以符合現實的物理規律運動。

我們以前可能也刷到過類似的影片，但那些是影片特效師們精心製作的結果，而現在 Genesis 已經可以一鍵匯出，並進一步轉化為真實可實現的技術突破。

淦創教授在 X 上分享了自己參與這個專案的經歷：「自 2018 年以來，我決定將自己的研究重點從視覺轉向具身 AI，因為我著迷於建立能夠與物理世界和其他具有類似人類靈活性的智慧存在互動的通用智慧體——我們將這個領域稱為具身 AGI（embodied AGI）。」

他還寫到：「說實話，有時候我覺得這個模擬器可能太先進了，不能釋出，但我們相信讓它完全開源並圍繞我們的使命建立一個強大的社群是至關重要的！請加入 Genesis 社群！我們希望讓機器人學研究社群相信『Generative Physics Simulator is all You Need!』」」

不得不說，還真是讓人非常期待 Genesis 的實際應用呢！

歷時2年，華人團隊力作，震撼開源生成式物理引擎Genesis，可模擬世界萬物

相關文章