今天凌晨，老黃不僅接受了採訪，與祖克伯進行了對話，還用新產品引領了 AI 的方向。
當地時間 7 月 29 日，英偉達在計算機圖形技術會議 SIGGRAPH 大會上宣佈了一系列新技術與工具。
面向全球領先的機器人制造商、AI 模型開發者和軟體製造商，英偉達提供了一套全新服務、模型以及計算平臺，以幫助開發、訓練和構建下一代人形機器人。
這套產品包括用於機器人模擬和學習的全新 NVIDIA NIM 微服務和框架、用於執行多階段機器人工作負載的 NVIDIA OSMO 編排服務，以及支援 AI 和模擬的遠端操作工作流，該工作流允許開發者使用少量人類演示資料來訓練機器人。
英偉達創始人兼執行長黃仁勳表示：「AI 的下一波浪潮是機器人，其中最令人興奮的發展之一是人形機器人。我們正在推進整個 NVIDIA 機器人堆疊的發展，面向全球人形機器人開發者和公司開放訪問，讓他們能夠使用最符合其需求的平臺、加速庫和 AI 模型。」
藉助 NVIDIA NIM 和 OSMO 加速開發
NIM 微服務提供了由英偉達推理軟體提供支援的預構建容器，使開發者能夠將部署時間從數週縮短到幾分鐘。機器人專家將能夠透過兩項新的 AI 微服務，在 NVIDIA Isaac Sim（基於 NVIDIA Omniverse™ 平臺構建的機器人模擬參考應用）中增強生成式物理 AI 模擬工作流。
MimicGen NIM 微服務可根據 Apple Vision Pro 等空間計算裝置記錄的遠端運算元據，生成合成運動資料。Robocasa NIM 微服務可在 OpenUSD（一個用於在 3D 世界中進行開發和協作的通用框架）中生成機器人任務和模擬就緒環境。
本次推出的 NVIDIA OSMO 是一項雲原生託管服務，允許使用者跨分散式計算資源來協調和擴充套件複雜的機器人開發工作流，無論是在本地還是在雲端。
OSMO 大大簡化了機器人訓練和模擬工作流，將部署和開發週期從數月縮短到一週內。使用者可以對各種任務進行視覺化管理，包括合成資料生成、模型訓練、強化學習以及大規模的人形機器人、自主移動機器人和工業機械臂軟體在環測試。
為人形機器人開發者提供先進的資料捕獲工作流
訓練人形機器人的基礎模型需要大量的資料。遠端操作是獲取人類演示資料的方法之一，但這個過程正變得越來越昂貴和漫長。
透過在 SIGGRAPH 計算機圖形大會上展示的 NVIDIA AI 和 Omniverse 遠端操作參考工作流，研究者和 AI 開發者能夠從極少量遠端捕捉的人類演示中生成大量合成運動和感知資料。
首先，開發者使用 Apple Vision Pro 捕獲少量遠端操作演示，隨後在 NVIDIA Isaac Sim 中模擬這些錄影，並使用 MimicGen NIM 微服務基於錄影生成合成資料集。
開發者可以使用真實資料和合成資料對 Project GR00T 人形機器人基礎模型進行訓練，以節省時間和降低成本。然後，他們可以使用 Isaac Lab 中的 Robocasa NIM 微服務（一個機器人學習框架）來生成經驗並重新訓練機器人模型。在整個工作流中，NVIDIA OSMO 將計算任務無縫地分配給不同的資源，為開發者減少了數週的管理工作量。
通用機器人平臺公司傅利葉看到了使用模擬技術綜合生成訓練資料的優勢。
與此同時，英偉達也釋出了一系列通用場景描述（OpenUSD）的重大成果。這將擴大這一通用 3D 資料交換框架在機器人、工業設計和工程領域的應用，提高開發者為 AI 新一輪發展構建高精度虛擬世界的能力。
透過基於 OpenUSD 的全新生成式 AI，以及在 Omniverse 平臺構建的英偉達加速的開發框架，越來越多的行業現在能夠開發出用於視覺化工業設計和工程專案的應用，以及用於構建新一代物理 AI 和機器人的環境模擬的應用。
新推出的內容包括適用於 AI 模型的 NVIDIA NIM 微服務，這些微服務可生成回答使用者查詢的 OpenUSD 語言、生成 OpenUSDPython 程式碼、將材質應用於 3D 物體、理解 3D 空間和物理學以幫助加快數字孿生的開發等。其他還包括可用於機器人和工業模擬資料格式的全新 USD 聯結器，以及各種開發者工具，使用者可透過它們將海量 NVIDIARTX 全光線追蹤資料集傳輸到 AppleVision Pro。
英偉達 NVIDIA Omniverse 與模擬技術副總裁 Rev Lebaredian 表示：「重工業的生成式 AI 潮已經到來。直到最近，數字世界的主要使用者還是創意行業；而現在，藉助 NVIDIA NIM 微服務為 OpenUSD 帶來的增強功能和可訪問性，各個行業都可以建立基於物理學的虛擬世界和數字孿生，在加快創新的同時，為機器人這次新一輪 AI 技術熱潮做好準備。」
透過 NVIDIA NIM 將生成式 AI 應用於 USD
英偉達開發的全球首個用於 OpenUSD 開發的生成式 AI 模型將以 NVIDIA NIM 微服務的形式提供。藉助這些模型，開發者能夠將生成式 AI copilot 和智慧體整合到 USD 工作流中，拓寬 3D 世界的可能性，幫助加快 USD 在製造業、汽車行業和機器人等新工業領域的應用。
預覽版中的微服務包括：
- USD Code NIM 微服務：回答常識性 OpenUSD 問題，並基於文字提示自動生成
- OpenUSD-Python 程式碼，然後將其輸入到 OpenUSD 檢視應用程式（例如皮克斯的 USDView）或基於 NVIDIA Omniverse Kit 的應用，以實現相應 3D 資料的視覺化。l
- USD Search NIM 微服務：使開發者能夠使用自然語言或影像輸入，在海量 OpenUSD、3D 和影像資料庫中進行搜尋。l
- USD Validate NIM 微服務：檢查上傳檔案與 OpenUSD 釋出版本的相容性，並生成完全由
- NVIDIAOmniverse Cloud API（應用程式設計介面）驅動的 RTX 渲染路徑追蹤影像。
即將提供的新微服務包括：
- USDLayout NIM 微服務：使使用者能夠基於空間智慧，根據一系列文字提示組裝出基於 OpenUSD 的場景。
- USDSmartMaterial NIM 微服務：預測並將逼真的材料應用於計算機輔助設計物件。
- fVDB Mesh Generation NIM 微服務：根據點雲資料生成基於 OpenUSD 的網路，並透過 Omniverse Cloud API 進行渲染。
- fVDB PhysicsNIM Super-Res 微服務：對幀或幀序列執行 AI 超解析度 ，生成基於 OpenUSD 的高解析度物理模擬。
- fVDB NeRF-XL NIM 微服務：使用 Omniverse Cloud API 在 OpenUSD 中生成大規模神經輻射場。
富士康是全球製造業的領導者，在全球擁有 170 多家工廠，受益於英偉達計算平臺，利用 NIM 微服務和 Omniverse 為一家正在開發中的工廠建立了數字孿生。
富士康首席數字官兼智慧製造平臺負責人史喆表示：「數字孿生將幫助我們加速新一波工業製造和自主機器的發展。Omniverse 和全新的 NIM 微服務將使數字孿生的開發變得更加普及，並幫助我們的團隊以前所未有的速度構建基於物理的虛擬工廠。」
USD 聯結器為更多行業帶來生成式 AI
多款適用於機器人資料格式和 Apple Vision Pro 流式傳輸的全新 USD 聯結器將為更多行業帶來 OpenUSD 互操作性與高階創作能力。
為幫助更多使用 OpenUSD 的工業工作負載，英偉達與全球工業自動化和軟體領先者西門子正在擴大合作。西門子將把 OpenUSD 流水線與其 Simcenter 模擬技術組合整合，以支援基於證據的決策和關鍵利益相關方之間的協作。
該整合可實現複雜模擬資料的高保真、實時、逼真視覺化，讓企業能夠更加深入地瞭解產品在實際操作環境中的效能。西門子將把 Omniverse 納入到其 Teamcenter 產品生命週期管理軟體組合中，為這項工作打好基礎。
英偉達還發布了一個從統一機器人描述格式（Unified Robotics DescriptionFormat）到 OpenUSD 的聯結器，讓機器人專家能夠將他們的機器人資料無縫匯入到用於設計、模擬和強化學習等用途的各種應用中。
為了進一步推動 OpenUSD 生態系統的擴張，英偉達釋出了 OpenUSD Exchange 軟體開發套件，幫助開發者建立出自己的強大 OpenUSD 資料聯結器。
新的開發者工具和 API 可透過 NVIDIA Graphics Delivery Network（GDN），將大規模 OpenUSD 場景從基於 Omniverse 平臺構建的應用流式傳輸到 Apple Vision Pro。目前，這些新工具和 API 提供搶先體驗版本。