NVIDIA 最近發(fā)布了 NVIDIA Cosmos 開放世界基礎(chǔ)模型（WFM）的更新，旨在加速物理 AI 模型的測試與驗證數(shù)據(jù)生成。借助 NVIDIA Omniverse 庫和 Cosmos，開發(fā)者可以大規(guī)模生成基于物理學(xué)的合成數(shù)據(jù)。

Cosmos Predict 2.5現(xiàn)在將 Text2World、Image2World 和 Video2World 三個獨立的模型統(tǒng)一為一個輕量級架構(gòu)，能夠從單個圖像、視頻或提示生成一致且可控的多機位視頻世界。

Cosmos Transfer 2.5能夠?qū)崿F(xiàn)高保真、空間可控的世界間風(fēng)格轉(zhuǎn)換，以增加數(shù)據(jù)多樣性。開發(fā)者可以在多機位的仿真環(huán)境中添加新的天氣、光照和地形條件。Cosmos Transfer 2.5 的體積縮小到上一代的 1/3.5，性能更快的同時，在提示對齊和物理精度方面都有所提升。

這些 WFM 可以集成到在 NVIDIA Isaac Sim 開源機器人仿真框架中運行的合成數(shù)據(jù)流程中，該框架基于 NVIDIA Omniverse 平臺構(gòu)建，以生成逼真的視頻，縮小仿真與現(xiàn)實之間的差距。開發(fā)者可以參考由四部分構(gòu)成的合成數(shù)據(jù)生成流程：

NVIDIA Omniverse NuRec 神經(jīng)重建庫，可通過智能手機拍攝的圖像，在 OpenUSD 環(huán)境中重建真實世界的數(shù)字孿生。

SimReady 資產(chǎn)，用于為數(shù)字孿生填充物理精確的 3D 模型。

Isaac Sim 中的 MobilityGen 工作流，用于生成合成數(shù)據(jù)。

NVIDIA Cosmos，用于擴充生成數(shù)據(jù)。

從仿真到現(xiàn)實世界，了解企業(yè)與開發(fā)者如何使用合成數(shù)據(jù)：Skild AI，Serve Robotics，Zipline，光輪智能，F(xiàn)S Studio，Robots for Humanity 等領(lǐng)先的機器人和 AI 公司及開發(fā)者已經(jīng)在使用這些技術(shù)來加速物理 AI 開發(fā)。

文是洞悉Omniverse系列文章?！岸聪?Omniverse”重點介紹開發(fā)者、3D 從業(yè)者與企業(yè)如何使用OpenUSD和NVIDIA Omniverse的最新進展深入改變他們的工作流。

驅(qū)動機器人、輔助駕駛車輛和其他智能機器的物理 AI模型必須具備安全性、能夠適應(yīng)動態(tài)場景，以及實時感知、推理和操作的能力。與可基于互聯(lián)網(wǎng)海量數(shù)據(jù)集訓(xùn)練的大型語言模型不同，物理 AI 模型必須從基于現(xiàn)實世界中的數(shù)據(jù)中學(xué)習(xí)。

然而，要收集足夠多的涵蓋現(xiàn)實世界各種場景的數(shù)據(jù)是極其困難的，在某些情況下甚至存在危險?；谖锢韺W(xué)的合成數(shù)據(jù)生成，為解決這一問題提供了關(guān)鍵途徑。

NVIDIA 最近發(fā)布了NVIDIA Cosmos開放世界基礎(chǔ)模型 (WFM)的更新，旨在加速物理 AI 模型的測試與驗證數(shù)據(jù)生成。借助NVIDIA Omniverse庫和 Cosmos，開發(fā)者可以大規(guī)模生成基于物理學(xué)的合成數(shù)據(jù)。

Cosmos Predict 2.5現(xiàn)在將 Text2World、Image2World 和 Video2World 三個獨立的模型統(tǒng)一為一個輕量級架構(gòu)，能夠從單個圖像、視頻或提示生成一致且可控的多機位視頻世界。

Cosmos Transfer 2.5能夠?qū)崿F(xiàn)高保真、空間可控的世界間風(fēng)格轉(zhuǎn)換，以增加數(shù)據(jù)多樣性。開發(fā)者可以在多機位的仿真環(huán)境中添加新的天氣、光照和地形條件。Cosmos Transfer 2.5 的體積縮小到上一代的 1/3.5，性能更快的同時，在提示對齊和物理精度方面都有所提升。

這些 WFM 可以集成到在NVIDIA Isaac Sim開源機器人仿真框架中運行的合成數(shù)據(jù)流程中，該框架基于NVIDIA Omniverse平臺構(gòu)建，以生成逼真的視頻，縮小仿真與現(xiàn)實之間的差距。開發(fā)者可以參考由四部分構(gòu)成的合成數(shù)據(jù)生成流程：

NVIDIA Omniverse NuRec 神經(jīng)重建庫，可通過智能手機拍攝的圖像，在OpenUSD環(huán)境中重建真實世界的數(shù)字孿生。

SimReady 資產(chǎn)，用于為數(shù)字孿生填充物理精確的 3D 模型。

Isaac Sim 中的 MobilityGen 工作流，用于生成合成數(shù)據(jù)。

NVIDIA Cosmos，用于擴充生成數(shù)據(jù)。

從仿真到現(xiàn)實世界

領(lǐng)先的機器人和 AI 公司已經(jīng)在使用這些技術(shù)來加速物理 AI 開發(fā)。

Skild AI致力于打造通用機器人的大腦，他們正利用 Cosmos Transfer，通過添加新變體來擴充現(xiàn)有數(shù)據(jù)，以便測試和驗證在NVIDIA Isaac Lab訓(xùn)練的機器人策略。

Skild AI 使用 Isaac Lab 創(chuàng)建可擴展的仿真環(huán)境，讓其機器人可以在不同的形態(tài)和應(yīng)用場景中訓(xùn)練。通過將 Isaac Lab 的機器人仿真能力和 Cosmos 的合成數(shù)據(jù)生成相結(jié)合，Skild AI 能夠在各種條件下訓(xùn)練機器人智能體，避免了現(xiàn)實世界數(shù)據(jù)采集所面臨的時間和成本限制。

Serve Robotics在 NVIDIA Isaac Sim 中從數(shù)千個仿真場景中生成合成數(shù)據(jù)，然后結(jié)合真實數(shù)據(jù)與合成數(shù)據(jù)，用于物理 AI 模型訓(xùn)練。該公司已構(gòu)建起全球規(guī)模最大的公共空間自主機器人車隊之一，并在城市地區(qū)完成了超過 10 萬次“最后一英里”送餐。Serve 的機器人每月收集 100 萬英里的數(shù)據(jù)，包含近 1700 億張圖像與激光雷達樣本，這些數(shù)據(jù)被用于仿真訓(xùn)練以持續(xù)優(yōu)化機器人模型。

除了給人送餐，Serve 最近還使用其機器人來運送算力——將全新的NVIDIA DGX Spark個人 AI 超級計算機交付給 Refik Anadol、Will.I.AM 和 Ollama。DGX Spark 提供 1 petaflop 的 AI 性能，為開發(fā)者提供了桌面級計算能力，支持從 AI 模型原型設(shè)計、模型微調(diào)到推理及機器人開發(fā)等全流程工作。

自主無人機送貨公司 Zipline 也參與了 DGX Spark 的交付，首席硬件官 Jo Mardall 在加利福尼亞州半月灣的公司總部和測試場地通過無人機接收了 DGX Spark。Zipline 使用NVIDIA Jetson邊緣 AI 和機器人平臺為其無人機配送系統(tǒng)提供支持。

了解開發(fā)者如何使用合成數(shù)據(jù)

光輪智能作為一家仿真優(yōu)先的機器人解決方案提供商，正利用 SimReady 資產(chǎn)和大規(guī)模合成數(shù)據(jù)集幫助公司彌合仿真到現(xiàn)實的差距。憑借基于 OpenUSD 構(gòu)建的高質(zhì)量合成數(shù)據(jù)和仿真環(huán)境，光輪智能的解決方案有助于確保在仿真中訓(xùn)練的機器人能夠在從工廠車間到家庭場景的真實環(huán)境中高效運作。

數(shù)據(jù)科學(xué)家、Omniverse 社區(qū)成員Santiago Villa正運用合成數(shù)據(jù)結(jié)合Omniverse 庫與 Blender 軟件，通過識別阻礙作業(yè)的大型巖塊來優(yōu)化采礦作業(yè)。

未被檢測到的巖石進入破碎機可能會導(dǎo)致每次事故延誤七分鐘或更久，每年給礦山造成高達 65 萬美元的生產(chǎn)損失。利用 Omniverse 在不同光照和天氣條件下生成數(shù)千張自動標(biāo)注的合成圖像能夠顯著降低培訓(xùn)成本，同時使礦業(yè)公司能夠改進巖石檢測系統(tǒng)，避免設(shè)備停機。

FS Studio與一家全球物流領(lǐng)導(dǎo)者合作，利用Omniverse 庫 (如 Replicator)創(chuàng)建了數(shù)千種在不同光照條件下的逼真包裹變體，以改善 AI 驅(qū)動的包裹檢測。合成數(shù)據(jù)集顯著提高了目標(biāo)檢測精度，減少了誤報，為客戶物流網(wǎng)絡(luò)中的吞吐速度和系統(tǒng)性能帶來了可衡量的提升。

Robots for Humanity 為一家石油和天然氣客戶在 Isaac Sim 中使用 Omniverse 庫構(gòu)建了完整的仿真環(huán)境，生成合成數(shù)據(jù)，包括深度、分割和 RGB 圖像，同時通過遙操作從 Unitree G1 機器人收集關(guān)節(jié)和運動數(shù)據(jù)。

Omniverse 大使Scott Dempsey正在開發(fā)一個合成數(shù)據(jù)生成合成器，根據(jù)現(xiàn)實世界制造商的規(guī)格構(gòu)建各種電纜，使用 Isaac Sim 生成經(jīng)過 Cosmos Transfer 增強的合成數(shù)據(jù)，為檢測和處理電纜的應(yīng)用創(chuàng)建逼真的訓(xùn)練數(shù)據(jù)集。