NVIDIA 最新推出的開放模型與框架，整合了仿真、機器人學(xué)習(xí)與嵌入式計算，旨在加速云端到實體機器人的工作流。

下一代機器人將是通用型專家，既能理解指令、學(xué)習(xí)通用技能，又可針對特定任務(wù)進(jìn)行訓(xùn)練。

可以將他們看作既博采眾長、也能勝任特定工作的“萬能型選手“。

構(gòu)建此類機器人需打通云端到機器人的集成工作流，從而實現(xiàn)確保數(shù)據(jù)采集與生成、訓(xùn)練并評估控制策略，最終安全部署至實體設(shè)備都能無縫銜接。這些通用型專家系統(tǒng)依賴推理視覺語言動作 (VLA) 模型，以實現(xiàn)智能感知、理解并執(zhí)行多樣化任務(wù)。

為加速這一變革，NVIDIA Isaac 開放平臺為機器人開發(fā)者提供包括模型、數(shù)據(jù)管線、仿真框架、運行時庫的完整工具鏈，依托 NVIDIA“三臺計算機解決方案“，實現(xiàn)機器人的大規(guī)模構(gòu)建與部署。同時，NVIDIA 提供開放 VLA 模型 NVIDIA Isaac GR00T N，為開發(fā)者引導(dǎo)并后訓(xùn)練其機器人智能奠定基礎(chǔ)。

這些模型、庫和框架可在云端或邊緣 AI 基礎(chǔ)設(shè)施運行，并通過集成 OpenClaw 等長時間運行智能體進(jìn)一步加速。

GTC 2026 上，NVIDIA 發(fā)布了全新智能體友好型模型 NVIDIA Isaac GR00T、Isaac 機器人仿真與學(xué)習(xí)框架，以及邊緣 AI 系統(tǒng)。NVIDIA 為開發(fā)者帶來面向通用型專家自主化時代的新一代強大工具。

這些開放工作流采用模塊化設(shè)計，開發(fā)者可自由組合組件、集成自有工具與數(shù)據(jù)，并加速從原型開發(fā)到現(xiàn)實世界部署的進(jìn)程。

Agility 通過 NVIDIA Isaac 開放框架實現(xiàn)機器人虛實遷移

而這一切都始于數(shù)據(jù)。

將算力轉(zhuǎn)化為數(shù)據(jù)

僅在幾年前，擴展機器人流程仍高度依賴開發(fā)者手動采集數(shù)據(jù)：機器人的學(xué)習(xí)效果取決于其接觸的現(xiàn)實世界環(huán)境與不同的場景。

NVIDIA 開放庫和框架改變這一局面：通過將傳感器日志與遙操作演示等現(xiàn)實世界信號與仿真生成數(shù)據(jù)相結(jié)合，迅速將云端算力轉(zhuǎn)化為海量的可用數(shù)據(jù)。

高保真且物理精確的合成數(shù)據(jù)，正幫助開發(fā)者突破人工采集的局限：很難或者幾乎不可能獲取足量的罕見邊緣場景物理數(shù)據(jù)。這些邊緣場景的數(shù)據(jù)人工難以獲取或存在安全風(fēng)險，卻是機器人在不可預(yù)測的現(xiàn)實環(huán)境中大規(guī)模部署前必須掌握的核心能力。

據(jù) Gartner 報告，當(dāng)前合成數(shù)據(jù)僅占邊緣場景 AI 訓(xùn)練數(shù)據(jù)的 20%，但到 2030 年這一比例預(yù)計將超過 90%。

NVIDIA 正借助庫與開放框架推動這一轉(zhuǎn)變，持續(xù)賦能基于現(xiàn)實世界構(gòu)建的高保真合成數(shù)據(jù)工廠。

NVIDIA Omniverse NuRec 加速的 3D Gaussian Splatting 庫現(xiàn)已全面開放下載。它可將現(xiàn)實世界的真實傳感器數(shù)據(jù)轉(zhuǎn)化為基于 OpenUSD 的交互式仿真場景，并集成至開放機器人仿真框架 NVIDIA Isaac Sim。這使得開發(fā)者能根據(jù)傳感器數(shù)據(jù)掃描并重建真實世界，從而在基于真實物理交互的仿真環(huán)境中安全測試機器人。

FieldAI 結(jié)合 Omniverse NuRec 與其世界級機器人基礎(chǔ)模型，助力工業(yè)客戶將機器人與物理 AI 輕松部署至工作流中

真實數(shù)據(jù)也可通過遙操作設(shè)備采集。借助已全面開放的 NVIDIA Isaac Teleop，開發(fā)者能夠通過 XR(擴展現(xiàn)實)頭戴式耳機、身體追蹤器及手套等遙操作設(shè)備收集數(shù)據(jù)，可在現(xiàn)實世界和仿真環(huán)境中創(chuàng)建演示數(shù)據(jù)，并將其用于在 NVIDIA Isaac Lab 等仿真環(huán)境中訓(xùn)練機器人。

借助 NVIDIA Isaac Teleop，開發(fā)者可無縫采集真實世界與仿真環(huán)境中的演示數(shù)據(jù)。

這些數(shù)據(jù)集隨后通過全新的 NVIDIA 物理 AI 數(shù)據(jù)工廠 Blueprint 進(jìn)行擴展。該藍(lán)圖將數(shù)據(jù)增強、評估與編排統(tǒng)一至單一工作流。

依托 NVIDIA Cosmos 開放世界基礎(chǔ)模型與開源智能體編排器 NVIDIA OSMO，此參考工作流為機器人提供可擴展的生產(chǎn)就緒型數(shù)據(jù)引擎?；谠撍{(lán)圖，開發(fā)者可以將單一的現(xiàn)實場景轉(zhuǎn)化為全新且多樣化的合成場景，而所花費的時間僅為在現(xiàn)實世界中采集同類數(shù)據(jù)所需時間的一小部分。

除環(huán)境與數(shù)據(jù)仿真外，機器人開發(fā)者還需對機器人本體進(jìn)行仿真。通過 NVIDIA Isaac Sim，開發(fā)者可從人形機器人、自主移動機器人及機械臂中選擇，并按現(xiàn)實世界的規(guī)格對虛擬模型進(jìn)行骨骼綁定。

Isaac Sim 與 PTC Onshape 深度集成，簡化機器人仿真中的骨骼綁定與修改流程

機器人采用 OpenUSD 格式渲染，能與生成環(huán)境和數(shù)據(jù)無縫交互。其動作和軌跡可被記錄、回放并用于訓(xùn)練 AI 模型——所有環(huán)節(jié)均在接觸現(xiàn)實硬件之前，在仿真環(huán)境中安全完成。

經(jīng)受 AI 考驗：策略訓(xùn)練

當(dāng)教學(xué)素材 (即數(shù)據(jù)集) 就緒后，機器人就可開始學(xué)習(xí)新任務(wù)。這一過程始于如 GR00T 等 VLA 推理模型驅(qū)動的機器人大腦。

VLA 模型可基于特定任務(wù)數(shù)據(jù)進(jìn)行后訓(xùn)練。比如：折疊衣服的機器人需掌握抓取衣物、識別形狀、精準(zhǔn)折疊及整齊堆疊;烹飪機器人需精通切菜、攪拌與煎炒;醫(yī)院護理機器人須學(xué)會在走廊自主導(dǎo)航、找到電梯及向醫(yī)護或患者傳遞物品。

借助光輪智能的仿真數(shù)據(jù)，機械臂在 NVIDIA Isaac Sim 中學(xué)習(xí)如何疊襯衫

VLA 模型完成后訓(xùn)練后，開發(fā)者即可對機器人策略進(jìn)行全面驗證。在現(xiàn)實世界中訓(xùn)練此類機器人往往耗時過長、成本高昂且風(fēng)險巨大。因此開發(fā)者轉(zhuǎn)而使用仿真框架，比如最新發(fā)布的 Isaac Lab 3.0 等進(jìn)行訓(xùn)練。Isaac Lab 3.0 能同時運行數(shù)千個輕量級物理仿真環(huán)境，讓機器人安全地并行演練多種場景，在短短幾天內(nèi)即可完成在現(xiàn)實世界中原本需要數(shù)年才能積累的學(xué)習(xí)量。

下一代機器人將是通用型專家，既能理解指令、學(xué)習(xí)通用技能，又可針對特定任務(wù)進(jìn)行訓(xùn)練。

可以將他們看作既博采眾長、也能勝任特定工作的“萬能型選手“。

構(gòu)建此類機器人需打通云端到機器人的集成工作流，從而實現(xiàn)確保數(shù)據(jù)采集與生成、訓(xùn)練并評估控制策略，最終安全部署至實體設(shè)備都能無縫銜接。這些通用型專家系統(tǒng)依賴推理視覺語言動作 (VLA) 模型，以實現(xiàn)智能感知、理解并執(zhí)行多樣化任務(wù)。

為加速這一變革，NVIDIA Isaac 開放平臺為機器人開發(fā)者提供包括模型、數(shù)據(jù)管線、仿真框架、運行時庫的完整工具鏈，依托 NVIDIA“三臺計算機解決方案“，實現(xiàn)機器人的大規(guī)模構(gòu)建與部署。同時，NVIDIA 提供開放 VLA 模型 NVIDIA Isaac GR00T N，為開發(fā)者引導(dǎo)并后訓(xùn)練其機器人智能奠定基礎(chǔ)。

這些模型、庫和框架可在云端或邊緣 AI 基礎(chǔ)設(shè)施運行，并通過集成 OpenClaw 等長時間運行智能體進(jìn)一步加速。

GTC 2026 上，NVIDIA 發(fā)布了全新智能體友好型模型 NVIDIA Isaac GR00T、Isaac 機器人仿真與學(xué)習(xí)框架，以及邊緣 AI 系統(tǒng)。NVIDIA 為開發(fā)者帶來面向通用型專家自主化時代的新一代強大工具。

這些開放工作流采用模塊化設(shè)計，開發(fā)者可自由組合組件、集成自有工具與數(shù)據(jù)，并加速從原型開發(fā)到現(xiàn)實世界部署的進(jìn)程。

Agility 通過 NVIDIA Isaac 開放框架實現(xiàn)機器人虛實遷移

而這一切都始于數(shù)據(jù)。

將算力轉(zhuǎn)化為數(shù)據(jù)

僅在幾年前，擴展機器人流程仍高度依賴開發(fā)者手動采集數(shù)據(jù)：機器人的學(xué)習(xí)效果取決于其接觸的現(xiàn)實世界環(huán)境與不同的場景。

NVIDIA 開放庫和框架改變這一局面：通過將傳感器日志與遙操作演示等現(xiàn)實世界信號與仿真生成數(shù)據(jù)相結(jié)合，迅速將云端算力轉(zhuǎn)化為海量的可用數(shù)據(jù)。

高保真且物理精確的合成數(shù)據(jù)，正幫助開發(fā)者突破人工采集的局限：很難或者幾乎不可能獲取足量的罕見邊緣場景物理數(shù)據(jù)。這些邊緣場景的數(shù)據(jù)人工難以獲取或存在安全風(fēng)險，卻是機器人在不可預(yù)測的現(xiàn)實環(huán)境中大規(guī)模部署前必須掌握的核心能力。

據(jù) Gartner 報告，當(dāng)前合成數(shù)據(jù)僅占邊緣場景 AI 訓(xùn)練數(shù)據(jù)的 20%，但到 2030 年這一比例預(yù)計將超過 90%。

NVIDIA 正借助庫與開放框架推動這一轉(zhuǎn)變，持續(xù)賦能基于現(xiàn)實世界構(gòu)建的高保真合成數(shù)據(jù)工廠。

NVIDIA Omniverse NuRec 加速的 3D Gaussian Splatting 庫現(xiàn)已全面開放下載。它可將現(xiàn)實世界的真實傳感器數(shù)據(jù)轉(zhuǎn)化為基于 OpenUSD 的交互式仿真場景，并集成至開放機器人仿真框架 NVIDIA Isaac Sim。這使得開發(fā)者能根據(jù)傳感器數(shù)據(jù)掃描并重建真實世界，從而在基于真實物理交互的仿真環(huán)境中安全測試機器人。

FieldAI 結(jié)合 Omniverse NuRec 與其世界級機器人基礎(chǔ)模型，助力工業(yè)客戶將機器人與物理 AI 輕松部署至工作流中

真實數(shù)據(jù)也可通過遙操作設(shè)備采集。借助已全面開放的 NVIDIA Isaac Teleop，開發(fā)者能夠通過 XR(擴展現(xiàn)實)頭戴式耳機、身體追蹤器及手套等遙操作設(shè)備收集數(shù)據(jù)，可在現(xiàn)實世界和仿真環(huán)境中創(chuàng)建演示數(shù)據(jù)，并將其用于在 NVIDIA Isaac Lab 等仿真環(huán)境中訓(xùn)練機器人。

借助 NVIDIA Isaac Teleop，開發(fā)者可無縫采集真實世界與仿真環(huán)境中的演示數(shù)據(jù)。

這些數(shù)據(jù)集隨后通過全新的 NVIDIA 物理 AI 數(shù)據(jù)工廠 Blueprint 進(jìn)行擴展。該藍(lán)圖將數(shù)據(jù)增強、評估與編排統(tǒng)一至單一工作流。

依托 NVIDIA Cosmos 開放世界基礎(chǔ)模型與開源智能體編排器 NVIDIA OSMO，此參考工作流為機器人提供可擴展的生產(chǎn)就緒型數(shù)據(jù)引擎?；谠撍{(lán)圖，開發(fā)者可以將單一的現(xiàn)實場景轉(zhuǎn)化為全新且多樣化的合成場景，而所花費的時間僅為在現(xiàn)實世界中采集同類數(shù)據(jù)所需時間的一小部分。

除環(huán)境與數(shù)據(jù)仿真外，機器人開發(fā)者還需對機器人本體進(jìn)行仿真。通過 NVIDIA Isaac Sim，開發(fā)者可從人形機器人、自主移動機器人及機械臂中選擇，并按現(xiàn)實世界的規(guī)格對虛擬模型進(jìn)行骨骼綁定。

Isaac Sim 與 PTC Onshape 深度集成，簡化機器人仿真中的骨骼綁定與修改流程

機器人采用 OpenUSD 格式渲染，能與生成環(huán)境和數(shù)據(jù)無縫交互。其動作和軌跡可被記錄、回放并用于訓(xùn)練 AI 模型——所有環(huán)節(jié)均在接觸現(xiàn)實硬件之前，在仿真環(huán)境中安全完成。

經(jīng)受 AI 考驗：策略訓(xùn)練

當(dāng)教學(xué)素材 (即數(shù)據(jù)集) 就緒后，機器人就可開始學(xué)習(xí)新任務(wù)。這一過程始于如 GR00T 等 VLA 推理模型驅(qū)動的機器人大腦。

VLA 模型可基于特定任務(wù)數(shù)據(jù)進(jìn)行后訓(xùn)練。比如：折疊衣服的機器人需掌握抓取衣物、識別形狀、精準(zhǔn)折疊及整齊堆疊;烹飪機器人需精通切菜、攪拌與煎炒;醫(yī)院護理機器人須學(xué)會在走廊自主導(dǎo)航、找到電梯及向醫(yī)護或患者傳遞物品。

借助光輪智能的仿真數(shù)據(jù)，機械臂在 NVIDIA Isaac Sim 中學(xué)習(xí)如何疊襯衫

VLA 模型完成后訓(xùn)練后，開發(fā)者即可對機器人策略進(jìn)行全面驗證。在現(xiàn)實世界中訓(xùn)練此類機器人往往耗時過長、成本高昂且風(fēng)險巨大。因此開發(fā)者轉(zhuǎn)而使用仿真框架，比如最新發(fā)布的 Isaac Lab 3.0 等進(jìn)行訓(xùn)練。Isaac Lab 3.0 能同時運行數(shù)千個輕量級物理仿真環(huán)境，讓機器人安全地并行演練多種場景，在短短幾天內(nèi)即可完成在現(xiàn)實世界中原本需要數(shù)年才能積累的學(xué)習(xí)量。

Hexagon Robotics 的 AEON 人形機器人在 NVIDIA Isaac Lab 中并行學(xué)習(xí)如何上下樓梯

Isaac Lab 已集成開源機器人學(xué)習(xí)物理引擎 Newton。借助 Newton，開發(fā)者可耦合多種物理求解器。這些求解器通過重力、慣性及碰撞約束等物理法則計算物體的運動，從而確保仿真行為的真實性。該技術(shù)使開發(fā)者能夠?qū)C器人如何與布料等軟體對象交互，或如何在雪地、礫石等復(fù)雜地形中的行進(jìn)進(jìn)行仿真。

機器人開發(fā)者還可調(diào)用 NVIDIA Isaac 庫與 AI 模型，這些組件優(yōu)化了邊緣端的運行時部署，并為操作與移動任務(wù)提供了核心構(gòu)建塊：

Isaac for Manipulation：賦予機器人物體感知、幾何與位姿理解及抓取能力。開發(fā)者將感知模型與 GPU 加速的運動生成相結(jié)合，使機器人能在雜亂、動態(tài)場景中快速規(guī)劃并重新規(guī)劃動作;

Isaac for Mobility：為機器人定位、建圖與安全導(dǎo)航提供基礎(chǔ)。開發(fā)者利用 GPU 加速的視覺里程計與 SLAM 技術(shù)實現(xiàn)穩(wěn)定定位，并配合實時 3D 重建技術(shù)規(guī)避障礙物及環(huán)境變化。

1X 的 NEO 機器人在 NVIDIA Isaac Lab 中學(xué)習(xí)在多樣地形上行走

為確保基于仿真的學(xué)習(xí)能夠遷移至現(xiàn)實世界，Isaac Sim 與 Isaac Lab 現(xiàn)已支持 Newton、NVIDIA PhysX 及 Google DeepMind Mujoco 等物理引擎，開發(fā)者無需調(diào)整機器人參數(shù)即可在不同框架間輕松切換。

僅訓(xùn)練單一技能遠(yuǎn)遠(yuǎn)不夠，開發(fā)者還需要確保機器人技能能夠跨環(huán)境與任務(wù)遷移。最新發(fā)布的 Isaac Lab-Arena 支持大規(guī)模任務(wù)配置與策略評估，簡化了環(huán)境構(gòu)建流程并加速復(fù)雜任務(wù)的創(chuàng)建，使開發(fā)者能并行評估多種任務(wù)。Isaac Lab-Arena 還可對接 LIBERO、RoboTwin 及 NIST 等工業(yè)與學(xué)術(shù)基準(zhǔn)測試，便于開發(fā)者評估進(jìn)展。

部署前的關(guān)鍵步驟：測試

在正式部署前，機器人必須在多種不同條件下反復(fù)測試其所學(xué)內(nèi)容。從機器人運動與操作，到機器人動力學(xué)對每項任務(wù)的響應(yīng)方式等每個細(xì)節(jié)，都必須在機器人投入現(xiàn)實世界運行前經(jīng)過全面評估。

Cyngn 在 NVIDIA Isaac Sim 中測試叉車輪胎在不同坡度上的動力學(xué)表現(xiàn)。

全面測試包含兩種模式：軟件在環(huán) (SIL) 僅測試機器人軟件棧，而硬件在環(huán) (HIL) 則驗證軟件棧在機器人大腦(即邊緣計算單元)上的實際運行效果。

Isaac Sim 同時支持硬件在環(huán)與軟件在環(huán)測試，方便開發(fā)者能在測試與迭代過程中輕松切換真實環(huán)境與仿真環(huán)境。

Wandelbots 借助 NVIDIA Isaac Sim 在高保真仿真環(huán)境中測試工廠自動化機器人

最新版 Isaac Sim 旨在幫助開發(fā)者無縫銜接各類工作流而設(shè)計：支持 NuRec 渲染以簡化數(shù)據(jù)輸入;同時，多物理后端使機器人能無需大調(diào)整，即可在 Isaac Sim 與 Isaac Lab 間自由遷移。

此外，該平臺還可直接連接 Mega——NVIDIA 專為在數(shù)字孿生中大規(guī)模開發(fā)、測試并優(yōu)化物理 AI 及機器人集群打造的 NVIDIA Blueprint。機器人開發(fā)者能將測試規(guī)模從單個機器人輕松擴展至多臺甚至整個機器人集群。

Idealworks 借助 NVIDIA Isaac Sim 與 Mega，在基于物理規(guī)律的工廠環(huán)境中同時測試多臺機器人

借助 NVIDIA Isaac 工作流與 Jetson 模組在現(xiàn)實世界中運行

當(dāng)準(zhǔn)備就緒進(jìn)入部署階段，開發(fā)者就需要高性能計算平臺：能夠無縫運行模型、處理多樣化的高速傳感器數(shù)據(jù)，并在邊緣端支持各種形態(tài)與尺寸的機器人。

包括 Jetson Thor 與 Jetson Orin 在內(nèi)的 NVIDIA Jetson 系列產(chǎn)品為全譜系 AI 驅(qū)動的機器人提供支持，實現(xiàn)從微型機械臂到全尺寸人形機器人的實時感知與 AI 推理能力。

智元機器人和 Bedrock 正在使用 NVIDIA Jetson 部署專為現(xiàn)實世界設(shè)計的機器人。

此外，NVIDIA Isaac 運行時庫優(yōu)化了邊緣端機器人策略的運行方式。最新開源的 cuVSLAM 庫能夠幫助機器人實時定位自身位置并構(gòu)建地圖，并通過基于 Jetson 的嵌入式計算機實現(xiàn)精確且可靠的運動追蹤。

探索新前沿

隨著機器人成為通用型專家智能體，研究人員需要可進(jìn)化的工作流，以便于迭代現(xiàn)有技能，而非從零開始重建。

NVIDIA 新推出的開放研究框架 SOMA-X 通過標(biāo)準(zhǔn)化 AI、仿真與實體機器人之間的骨骼結(jié)構(gòu)、動作及身份表示來幫助解決這一問題。

借助 SOMA-X，團隊無需重復(fù)進(jìn)行骨骼綁定、動作重定向或集成，便可以更換不同的本體模型或機器人平臺，并確保 Isaac Sim、Isaac Lab 和基于 GR00T 的管線在硬件和軟件不斷迭代的同時穩(wěn)定運行。

隨著新本體模型、數(shù)據(jù)集或硬件出現(xiàn)，開發(fā)者可以在無需破壞現(xiàn)有的工具或像 OpenClaw 這樣的長時間運行智能體情況下，接入相同的 SOMA-X 共享表示形式。這些智能體正不斷訓(xùn)練、評估并部署新行為。

在此共享本體層之上，面向研究人員的新基礎(chǔ)模型 GEAR-SONIC 現(xiàn)已上線，為人形機器人提供了強大的功能。該模型基于 Isaac Lab 中的大規(guī)模人類動作數(shù)據(jù)進(jìn)行訓(xùn)練，能夠教會機器人行走、爬行、操作物體等一系列自然全身技能。這一切均通過采用單一統(tǒng)一策略實現(xiàn)，而非依賴多個特定任務(wù)控制器。

安全工具與入門資源

NVIDIA 機器人技術(shù)棧配套提供完善的安全工具和入門資源，旨在幫助團隊快速從實驗階段過渡到規(guī)?；渴鸬目煽肯到y(tǒng)中。

NVIDIA Halos：完整的全棧安全系統(tǒng)，通過覆蓋從云端到機器人的的端到端安全護欄，為機器人的安全開發(fā)、訓(xùn)練和部署提供保障。

NVIDIA GR00T X-Embodiment：該數(shù)據(jù)集包含了用于后訓(xùn)練 NVIDIA GR00T 的相同數(shù)據(jù)。目前該數(shù)據(jù)集在 Hugging Face 上下載量已超過 1000 萬次。

Bones Studio 發(fā)布 BONES-SEED：包含 14 萬個人類動作動畫庫，可用于訓(xùn)練人形機器人。每個動作都附有描述和時間戳，為機器人團隊構(gòu)建更智能、更逼真的人形機器人提供了現(xiàn)成的基礎(chǔ)。該資源可通過 Hugging Face 上的 NVIDIA 物理 AI 開放數(shù)據(jù)集獲取。

教育資源：對于初級機器人開發(fā)者，提供了 Isaac Sim 和 Isaac Lab 的學(xué)習(xí)路徑以指導(dǎo)開發(fā)。NVIDIA 深度學(xué)習(xí)培訓(xùn)中心(DLI)也提供了自學(xué)式和講師引導(dǎo)類的課程，助力開啟機器人開發(fā)之旅。