利用 NVIDIA Isaac Sim 和 NVIDIA Omniverse 開發(fā)的 ORBIT-Surgical 正在 ICRA 機器人大會上展出。

NVIDIA 與學術研究人員正在聯(lián)合開發(fā)用于手術的機器人。

ORBIT-Surgical 是一個由多倫多大學、加州大學伯克利分校、蘇黎世聯(lián)邦理工學院、佐治亞理工學院和 NVIDIA 研究人員共同開發(fā)的機器人訓練仿真框架。它所訓練的機器人可以在提升手術團隊技術水平的同時，減輕外科醫(yī)生的認知負荷。

該框架支持十多種操作，這些操作靈感來源于腹腔鏡手術（又稱微創(chuàng)手術）訓練課程，例如抓取針頭等小物件、將它們從一只機械臂傳遞到另一只，并高度精準地放置針頭等。

這個基于物理學的框架是使用NVIDIA Isaac Sim（一個用于設計、訓練和測試 AI 機器人的仿真平臺）構建而成的。研究人員在NVIDIA GPU上訓練了強化學習和仿真學習算法，并使用NVIDIA Omniverse（一個用于開發(fā)和部署基于通用場景描述 OpenUSD 的高級 3D 應用程序和管線的平臺）進行逼真的渲染。

在下面的視頻中，ORBIT-Surgical 研究團隊演示了如何在實驗室環(huán)境中將仿真訓練中的數(shù)字孿生移植到實體機器人上。該團隊使用的是由機器人手術領導者 Intuitive Surgical 支持的非營利組織 Intuitive Foundation 所提供的社群支持型“達芬奇”研究套件。

ORBIT-Surgical 已在 ICRA（IEEE 國際機器人與自動化會議）上進行展示，開源代碼包現(xiàn)已在 GitHub 上發(fā)布。

AI 以一抵九

ORBIT-Surgical 的基礎是Isaac Orbit，這是一個基于 Isaac Sim 構建的模塊化機器人學習框架。Orbit 支持各種用于強化學習和仿真學習的程序庫，可以讓 AI 智能體進行模擬真實專家示例的訓練。

借助該手術框架，開發(fā)者能夠利用在NVIDIA RTX GPU上運行的強化學習和仿真學習框架訓練像“達芬奇”研究套件機器人（dVRK）這樣的機器人，來操縱剛性和柔性物體。

ORBIT-Surgical 引入了十多項用于手術訓練的基準任務，包括單手任務和雙手任務，單手任務包括拿起一塊紗布、將分流管插入血管或?qū)⒖p合針舉到特定位置等；雙手任務包括將針從一只機械臂遞給另一只、將穿好線的針穿過環(huán)形桿、以及在避開障礙物的同時將兩只手臂伸到特定位置等。

ORBIT-Surgical 的基準測試之一是插入分流器——

左圖為真實世界中的機器人，右圖為仿真機器人。

通過開發(fā)一種利用 GPU 加速和并行化優(yōu)勢的手術仿真器，該團隊能夠?qū)C器人的學習速度提升一個數(shù)量級，相比于現(xiàn)有的外科手術框架。他們發(fā)現(xiàn)在單個 NVIDIA RTX GPU 上，機器人數(shù)字孿生可以在兩小時內(nèi)完成插入分流管和舉起縫合針等任務的訓練。

憑借在 Omniverse 中進行渲染所實現(xiàn)的視覺逼真度，研究人員還可使用 ORBIT-Surgical 生成高保真合成數(shù)據(jù)，這有助于訓練 AI 模型完成各種感知任務，例如在手術室拍攝的真實世界視頻中區(qū)分手術工具等。

該團隊的一項概念驗證表明，將仿真和真實數(shù)據(jù)相結(jié)合，可顯著提高 AI 模型區(qū)分圖像中手術針頭的準確性，這有助于減少在訓練此類模型時對昂貴的大型真實世界數(shù)據(jù)集的需求。