編輯 | X
英偉達（NVIDIA）正與學術研究人員合作，研究手術機器人。
NVIDIA 聯合多倫多大學、加州大學伯克利分校、蘇黎世聯邦理工學院和佐治亞理工學院的研究人員開發了 ORBIT-Surgical，一個訓練機器人的模擬框架，可以提高手術團隊的技能，同時減少外科醫生的認知負擔。
受腹腔鏡手術（又稱微創手術）訓練課程的啟發，它支援十多種操作，比如抓住像針頭這樣的小物體，從一隻手臂傳遞到另一隻手臂，並高精度地放置它們。
基於物理的框架是使用 NVIDIA Isaac Sim 構建的，這是一個用於設計、訓練和測試基於 AI 的機器人的機器人模擬平臺。
研究人員在 NVIDIA GPU 上訓練強化學習和模仿學習演算法，並使用 NVIDIA Omniverse——一個用於開發和部署基於通用場景描述 (OpenUSD) 的高階 3D 應用程式和管道的平臺，來實現照片級真實感渲染。
ORBIT-Surgical 將在 IEEE 國際機器人與自動化會議 (ICRA) 2024 上發表。
在下面的影片中，ORBIT-Surgical 研究團隊演示瞭如何在模擬中訓練數字孿生轉移到實驗室環境中的物理機器人。
ORBIT-Surgical 基於 Isaac Orbit，這是一個基於 Isaac Sim 構建的機器人學習模組化框架。Orbit 支援各種強化學習和模仿學習庫，其中人工智慧代理經過訓練可以模模擬實的專家示例。
該手術框架使開發人員能夠訓練達芬奇研究套件（da Vinci Research Kit，dVRK）等機器人，使用在 NVIDIA RTX GPU 上執行的強化學習和模仿學習框架來操縱剛性和軟物體。
ORBIT-Surgical 引入了十多項外科訓練基準任務，包括單手任務，例如拿起一塊紗布、將分流器插入血管或將縫合針舉到特定位置。它還包括雙手任務，例如將針從一隻手臂遞到另一隻手臂，將螺紋針穿過環形杆，以及將兩隻手臂伸到特定位置，同時避開障礙物。
透過開發利用 GPU 加速和並行化的手術模擬器，該團隊能夠將機器人的學習速度比現有手術框架提高一個數量級。他們發現，經過訓練，機器人數字孿生可以在單個 NVIDIA RTX GPU 上在兩小時內完成插入分流器和提起縫合針等任務。
藉助 Omniverse 渲染實現的視覺真實感，ORBIT-Surgical 還允許研究人員生成高保真合成資料，這有助於訓練 AI 模型執行感知任務，例如在手術室捕獲的真實影片中分割手術工具。
該團隊的概念驗證表明，將模擬和真實資料相結合顯著提高了人工智慧模型從影像中分割手術針的準確性，有助於減少訓練此類模型時對大型、昂貴的現實資料集的需求。
參考內容：https://blogs.nvidia.com/blog/orbit-surgical-robotics-research-icra/