在物理 AI 快速發(fā)展的推動下，機器人領(lǐng)域正在經(jīng)歷一場重大變革。它正在加快新機器人解決方案的上市時間，增強人們對其安全性的信心，并推動物理 AI 在工廠和倉庫中的應(yīng)用。

在 GTC 上發(fā)布的 Newton 是一個開源、可擴展的物理引擎。該引擎由 NVIDIA、谷歌 DeepMind 和 Disney Research 專為推進機器人的學習與開發(fā)而共同打造。

NVIDIA Cosmos是一個以開放模型許可證形式發(fā)布的世界基礎(chǔ)模型（WFM）平臺，它將加速自動駕駛汽車、機器人等自主機器的物理 AI 開發(fā)。

最新版本NVIDIA Omniverse Kit SDK 107是機器人應(yīng)用領(lǐng)域的又一個重要里程碑。該套件已升級到 OpenUSD 24.05 版本，并且更新了 Python、C++ 和 Linux 應(yīng)用二進制接口（ABI）。NVIDIA Isaac Sim 5.0 將在 Kit 107 的基礎(chǔ)上進行開發(fā)。這些增強功能大幅提升了傳感器仿真、語言支持和二進制兼容性，可極大地促進機器人應(yīng)用的開發(fā)。

用于機器人開發(fā)的系統(tǒng)和工具

無論是工業(yè)機器還是人形助手，AI 驅(qū)動的機器人在部署到現(xiàn)實世界之前都必須經(jīng)過大量訓練、測試和驗證，其中最基礎(chǔ)的工作是整合來自專業(yè)工具集的異構(gòu)數(shù)據(jù)。目前有許多方法可用于促進機器人的開發(fā)：

CAD 軟件：創(chuàng)建詳細的機器人 3D 模型。

數(shù)字內(nèi)容創(chuàng)建工具：創(chuàng)建動畫、仿真等內(nèi)容。

仿真器：針對虛擬環(huán)境中真實傳感器模型所感知到的各種情況，測試并驗證機器人的行為。

機群管理軟件：在一個環(huán)境中協(xié)調(diào)和管理多個機器人。

Schema（定義機器人完成任務(wù)行為的數(shù)據(jù)模型）是每個機器人的核心。它是存儲高級數(shù)據(jù)和元數(shù)據(jù)的通用接口，包含以下內(nèi)容：

運動學屬性：有關(guān)機器人運動和結(jié)構(gòu)的信息。

機器人語義：定義機器人用途和能力的數(shù)據(jù)。

機體層次結(jié)構(gòu)：機器人組件的組織結(jié)構(gòu)。

配置參數(shù)：控制機器人操作的設(shè)置。

圖 1 機器人 Schema 示例

數(shù)據(jù)管理方面的挑戰(zhàn)

目前，各個機器人領(lǐng)域的開發(fā)者都需要管理多個數(shù)據(jù)源，使得整個機器人生態(tài)系統(tǒng)相互脫節(jié)。機器人的各個子系統(tǒng)往往依賴于多個分散的數(shù)據(jù)源，而打通這些數(shù)據(jù)源十分耗時。另外，開發(fā)者還面臨以下挑戰(zhàn)：

不同的機器人格式：機器人的設(shè)計和表示格式多種多樣，目前缺乏通用的銜接方式。

不同的機器人數(shù)據(jù)：機器人數(shù)據(jù)類型有 CAD 設(shè)計、機器人裝配、電氣和機械信息、傳感器數(shù)據(jù)、物聯(lián)網(wǎng)指標等等。

各種仿真求解器：目前針對特定機器人組件沒有統(tǒng)一的專用求解器。

為了解決這些挑戰(zhàn)，必須以統(tǒng)一的方式整合所有數(shù)據(jù)，才能通過復(fù)制真實世界的感知來訓練、優(yōu)化和操作機器人。

OpenUSD 的作用

通用場景描述（OpenUSD）是統(tǒng)一來自不同數(shù)據(jù)源的內(nèi)容和進行大規(guī)模仿真的關(guān)鍵。OpenUSD 的主要優(yōu)點有：

互操作性：OpenUSD 具有與生俱來的可擴展性，能夠支持當前來自 CAD 和 URDF 的機器人數(shù)據(jù)源，在仿真環(huán)境中導(dǎo)入達到物理學精度的材料和運動學，并傳輸來自機器人傳感器或工業(yè)設(shè)施傳感器的實時運行數(shù)據(jù)。

聚合：OpenUSD 使用文件格式插件和引用來實現(xiàn)數(shù)據(jù)集的聚合，同時保持數(shù)據(jù)源的規(guī)范。

協(xié)作：OpenUSD 的合成和非破壞性編輯功能幫助人類、AI 和仿真器之間搭建起新的協(xié)同工作流。

推出適用于機器人的

OpenUSD 資產(chǎn)結(jié)構(gòu)管線

在 GTC 2025 上，NVIDIA 與 Disney Research 和 Intrinsic AI 共同推出了適用于機器人的 OpenUSD 資產(chǎn)結(jié)構(gòu)管線。這一全新結(jié)構(gòu)和數(shù)據(jù)管線使用 OpenUSD 中的最佳實踐統(tǒng)一機器人工作流并提供適用于所有數(shù)據(jù)源的通用語言。

圖 2 適用于機器人的 OpenUSD 資產(chǎn)結(jié)構(gòu)管線

在圖 2 中，從左到右的箭頭表示工作流，從右到左的箭頭表示組件依賴關(guān)系。

OpenUSD 資產(chǎn)結(jié)構(gòu)管線能夠在機器人資產(chǎn)用于仿真和開發(fā)前，簡化其準備和增強過程。該工作流能夠在對資產(chǎn)進行高效管理、優(yōu)化和增強的同時，保持資產(chǎn)的原始完整性和層次結(jié)構(gòu)。

OpenUSD 資產(chǎn)結(jié)構(gòu)管線的各個階段

通過使用基于提取、轉(zhuǎn)換和加載（ETL）的 OpenUSD 資產(chǎn)結(jié)構(gòu)管線，可以將機器人資產(chǎn)無縫集成到仿真環(huán)境中，從而更加輕松地在各種應(yīng)用中測試、完善和部署這些資產(chǎn)。

資產(chǎn)來源

將資產(chǎn)直接導(dǎo)入 USD（使用 Omniverse CAD 轉(zhuǎn)換器或開源文件格式插件進行轉(zhuǎn)換）。

將資產(chǎn)分成各個機器人組件的 USD 層或組合成一個完整機器人層。

保留資產(chǎn)的原始組織和層次結(jié)構(gòu)，以方便管理和引用。

轉(zhuǎn)換

通過重組資產(chǎn)優(yōu)化其結(jié)構(gòu)或提高其性能。

確保資產(chǎn)完全達到仿真就緒狀態(tài)，同時保持其完整性。

功能

為每個資產(chǎn)添加仿真功能。

通過可使用變體進行配置的有效載荷組合所有仿真功能。

使用模塊化方法實現(xiàn)各種工作流和提高仿真效率。

主要優(yōu)點

該管線支持從來源到仿真的內(nèi)容結(jié)構(gòu)轉(zhuǎn)換重塑，可在運行時環(huán)境（例如機器人仿真參考應(yīng)用 NVIDIA Isaac Sim）內(nèi)進行大規(guī)模訓練和實時仿真優(yōu)化。

其設(shè)計兼顧了可重用性和模塊性，可支持當前的工作流和未來的創(chuàng)新。單一接口層可通過變體集進行配置，既統(tǒng)一了機器人資產(chǎn)結(jié)構(gòu)管線，又具有根據(jù)手頭任務(wù)定制資產(chǎn)的靈活性。

該管線使用引用保持與 CAD 數(shù)據(jù)源的鏈接，確保任何更新或更改都可以向下游推送或拉取。

它還能使用新的 Cosmos 世界基礎(chǔ)模型將結(jié)構(gòu)化仿真轉(zhuǎn)換成逼真的視頻，以此生成更豐富的合成數(shù)據(jù)用于訓練物理 AI 模型。

注意事項

OpenUSD 非常靈活，因為其合成引擎與領(lǐng)域無關(guān)。在最基礎(chǔ)的層面上，OpenUSD 無須知道鍵值對的 3D 含義就能組合鍵值對。不過，這也意味著在聚合 OpenUSD 格式的數(shù)據(jù)時，必須考慮與領(lǐng)域相關(guān)的因素。因此，OpenUSD 的標準化對于保證互操作性和數(shù)據(jù)互換性至關(guān)重要。

其中最需要考慮的因素之一是場景單位。當在 Isaac Sim 等運行時環(huán)境中使用 USD 進行機器人仿真時，建議使用將 metersPerUnit 設(shè)置為“meters”的根層，引用已經(jīng)以“meters”為單位的機器人，并使用度量單位匯編器確保引用到仿真中的任何環(huán)境都已按適當比例縮放（需要時以“meters”為單位）。不建議在任何未以“meters”為單位的內(nèi)容中劃分子層。

OpenUSD 聯(lián)盟（AOUSD）還將探索更加全面的方法處理 USD 層棧中的混合單位和其他階段指標。但為了滿足以下要求，必須對這些方法進行仔細斟酌：

保持性能

減少代碼和內(nèi)容的不兼容性

集中計算最終轉(zhuǎn)換和其他受單元影響的值

圖 3 OpenUSD 場景單元

即將推出的 OpenUSD 功能

適用于機器人的 OpenUSD 發(fā)展藍圖包含以下內(nèi)容：

機器人格式概念數(shù)據(jù)映射：將 URDF、MJCF、SDFormat 等機器人格式的數(shù)據(jù)模型映射到 OpenUSD，并根據(jù)需要發(fā)布 Schema 提議，以填補概念空白。

AOUSD 宣布在新領(lǐng)域成立 OpenUSD 工作組：推動特定行業(yè)的創(chuàng)新并擴大 OpenUSD 應(yīng)用在各個新興領(lǐng)域的應(yīng)用，擴展對象包括工業(yè)與工程數(shù)字孿生（IEDT）專項工作組和網(wǎng)絡(luò)專項工作組。

AOUSD 關(guān)于可變形體和 B-reps 的提議：AOUSD 物理學工作組提議在 UsdPhysics 中添加可變形體（軟體動力學），用于訓練機器人機械手和抓手。AOUSD 幾何工作組正在開發(fā) B-reps 的初步 Schema。該 Schema 可用于根據(jù)需求為同一工業(yè)環(huán)境中的各種物理求解器推導(dǎo) CAD 幾何體的不同曲面細分（tessellation）。

USD + FMI 提議：通過 OpenUSD 與功能模擬接口（FMI）之間的標準化協(xié)同和概念數(shù)據(jù)映射實現(xiàn)協(xié)同仿真（例如多個求解器對同一機器人的不同組件或其周圍環(huán)境進行仿真）。

動態(tài)行為提議：能夠?qū)崿F(xiàn)機器人動作仿真所需的動態(tài)行為，例如封裝在 ROS 橋中的動態(tài)行為或?qū)Π踩珔^(qū)域進行仿真所需的動態(tài)行為。該提議將確定在皮克斯即將推出的 OpenExec 計劃基礎(chǔ)上實現(xiàn)此類動態(tài)行為所需的 OmniGraph 功能要求。

開始使用

現(xiàn)在可以下載基于 Omniverse 構(gòu)建的 Isaac Sim，并訪問 Hugging Face 上的 NVIDIA Cosmos 和 NVIDIA Isaac GR00T 基礎(chǔ)模型。