新的 Project GR00T 工作流和 AI world model開(kāi)發(fā)技術(shù)將提高機(jī)器人的靈巧性、控制性、操縱性和移動(dòng)性。

NVIDIA 在本周于德國(guó)慕尼黑舉行的機(jī)器人學(xué)習(xí)大會(huì)（CoRL）上發(fā)布了全新 AI 和仿真工具以及工作流。機(jī)器人開(kāi)發(fā)者可以使用這些工具和工作流，大大加快 AI 機(jī)器人（包括人形機(jī)器人）的開(kāi)發(fā)工作。

此次發(fā)布的系列產(chǎn)品包括：NVIDIA Isaac Lab 機(jī)器人學(xué)習(xí)框架正式版；Project GR00T（一個(gè)為加速人形機(jī)器人發(fā)展的項(xiàng)目）的六個(gè)全新人形機(jī)器人學(xué)習(xí)工作流；以及用于視頻數(shù)據(jù)管理和處理的全新世界模型開(kāi)發(fā)工具，包括用于視頻處理的NVIDIA Cosmos tokenizer和NVIDIA NeMo Curator。

開(kāi)源 Cosmos tokenizer可將圖像和視頻分解為具有極高壓縮率的高質(zhì)量 token，為機(jī)器人開(kāi)發(fā)者提供卓越的視覺(jué)標(biāo)記化功能。Cosmos tokenizer的運(yùn)行速度最高可達(dá)到當(dāng)前標(biāo)記器的 12 倍，NeMo Curator 的視頻處理整理速度則最高可達(dá)到未優(yōu)化管線的 7 倍。

NVIDIA 在 CoRL 上還發(fā)布了 23 篇與機(jī)器人學(xué)習(xí)相關(guān)的論文，并舉辦了 9 場(chǎng)研討會(huì)，同時(shí)發(fā)布了面向開(kāi)發(fā)者的培訓(xùn)和工作流指南。此外，Hugging Face 和 NVIDIA 還宣布，將共同使用 LeRobot、NVIDIA Isaac Lab和NVIDIA Jetson來(lái)加速開(kāi)發(fā)者社區(qū)的開(kāi)源機(jī)器人研究。

使用 Isaac Lab 加速機(jī)器人開(kāi)發(fā)

NVIDIA Isaac Lab 是一個(gè)建立在NVIDIA Omniverse平臺(tái)上的開(kāi)源機(jī)器人學(xué)習(xí)框架。NVIDIA Omniverse 是一個(gè)用于開(kāi)發(fā)適用于工業(yè)數(shù)字化和物理 AI 仿真的 OpenUSD 應(yīng)用的平臺(tái)。

開(kāi)發(fā)者可以使用 Isaac Lab 來(lái)大規(guī)模訓(xùn)練機(jī)器人策略。這個(gè)開(kāi)源的統(tǒng)一機(jī)器人學(xué)習(xí)框架適用于從人形機(jī)器人到四足機(jī)器人和協(xié)作機(jī)器人等各種具身，能夠處理日益復(fù)雜的動(dòng)作和交互。

全球領(lǐng)先的商用機(jī)器人制造商、機(jī)器人應(yīng)用開(kāi)發(fā)商和機(jī)器人研究機(jī)構(gòu)都在使用 Isaac Lab，包括 1X、Agility Robotics、波士頓動(dòng)力人工智能研究所、Berkeley Humanoid、波士頓動(dòng)力公司、Field AI、傅利葉、銀河通用、Mentee Robotics、Skild AI、Swiss-Mile、宇樹(shù)科技和小鵬機(jī)器人。

Project GR00T：

通用人形機(jī)器人的基礎(chǔ)

制造先進(jìn)的人形機(jī)器人非常困難，需要多層技術(shù)和跨學(xué)科方法，才能使機(jī)器人有效地感知、移動(dòng)和學(xué)習(xí)技能，進(jìn)而實(shí)現(xiàn)人與機(jī)器人以及機(jī)器人與環(huán)境的交互。

Project GR00T旨在通過(guò)開(kāi)發(fā)加速庫(kù)、基礎(chǔ)模型和數(shù)據(jù)管線，加速全球人形機(jī)器人開(kāi)發(fā)者生態(tài)的發(fā)展。

這六個(gè)全新 Project GR00T 工作流為人形機(jī)器人開(kāi)發(fā)者提供了實(shí)現(xiàn)最具挑戰(zhàn)性的人形機(jī)器人功能的藍(lán)圖：

GR00T-Gen用于構(gòu)建基于 OpenUSD 的生成式 AI 3D 環(huán)境

GR00T-Mimic用于生成機(jī)器人運(yùn)動(dòng)和軌跡

GR00T-Dexterity用于機(jī)器人靈巧操作

GR00T-Control用于全身控制

GR00T-Mobility用于機(jī)器人運(yùn)動(dòng)和導(dǎo)航

GR00T-Perception用于多模態(tài)感知

NVIDIA 具身 AI 高級(jí)研究經(jīng)理 Jim Fan 表示：“人形機(jī)器人是具身 AI 的下一輪浪潮。NVIDIA 的研究和工程團(tuán)隊(duì)正在與整個(gè)公司內(nèi)部和我們的開(kāi)發(fā)者生態(tài)合作構(gòu)建 Project GR00T，以幫助推動(dòng)全球人形機(jī)器人開(kāi)發(fā)者的進(jìn)步和發(fā)展?！?/p>

世界模型構(gòu)建者的新開(kāi)發(fā)工具

如今，機(jī)器人開(kāi)發(fā)者正在構(gòu)建世界模型。這種用 AI 呈現(xiàn)世界的方式可以預(yù)測(cè)物體和環(huán)境對(duì)機(jī)器人行動(dòng)的反應(yīng)。構(gòu)建這些世界模型需要大量計(jì)算和數(shù)據(jù)，這些模型需要數(shù)千小時(shí)的經(jīng)過(guò)整理的真實(shí)世界圖像或視頻數(shù)據(jù)。

NVIDIA Cosmos tokenizer 提供高效、優(yōu)質(zhì)的編碼和解碼能力，能夠簡(jiǎn)化這些世界模型的開(kāi)發(fā)。它們樹(shù)立了最小失真和時(shí)間不穩(wěn)定性的新標(biāo)準(zhǔn)，實(shí)現(xiàn)了高質(zhì)量的視頻和圖像重建。

Cosmos tokenizer 提供了高質(zhì)量壓縮和最高達(dá) 12 倍的視覺(jué)重構(gòu)速度，為在廣泛的視覺(jué)域開(kāi)發(fā)可擴(kuò)展、強(qiáng)大且高效的生成應(yīng)用創(chuàng)造了條件。

人形機(jī)器人公司 1X 已更新了 1X 世界模型挑戰(zhàn)賽數(shù)據(jù)集，以便使用 Cosmos tokenizer。

1X Technologies AI 副總裁 Eric Jang 表示：“NVIDIA Cosmos tokenizer 在保持視覺(jué)保真度的同時(shí)，實(shí)現(xiàn)了對(duì)我們數(shù)據(jù)的高度時(shí)空壓縮。這讓我們能夠以更高效的計(jì)算方式，來(lái)使用長(zhǎng)視距視頻生成技術(shù)去訓(xùn)練世界模型?！?/p>

包括小鵬機(jī)器人和 Hillbot 在內(nèi)的其他人形機(jī)器人和通用機(jī)器人開(kāi)發(fā)商正在其開(kāi)發(fā)過(guò)程中使用 NVIDIA Cosmos tokenizer，以管理高分辨率圖像和視頻。

NeMo Curator 現(xiàn)在加入了一個(gè)視頻處理管線，這使機(jī)器人開(kāi)發(fā)者能夠通過(guò)處理大規(guī)模文本、圖像和視頻數(shù)據(jù)，來(lái)提高其世界模型的準(zhǔn)確性。

由于視頻數(shù)據(jù)的規(guī)模龐大，需要可擴(kuò)展的管線和跨 GPU 負(fù)載平衡的高效編排，這給視頻數(shù)據(jù)管理帶來(lái)了挑戰(zhàn)。此外，還需要對(duì)過(guò)濾、字幕生成和嵌入模型進(jìn)行優(yōu)化，才能最大程度地提高吞吐量。

NeMo Curator 通過(guò)自動(dòng)管線編排來(lái)簡(jiǎn)化數(shù)據(jù)整理工作，顯著縮短了處理時(shí)間，從而克服了這些挑戰(zhàn)。NeMo Curator 支持跨多節(jié)點(diǎn)、多 GPU 系統(tǒng)的線性擴(kuò)展，可高效處理 100 PB 以上的數(shù)據(jù)，這簡(jiǎn)化了 AI 開(kāi)發(fā)，降低了成本，加快了產(chǎn)品的上市時(shí)間。

在 CoRL 上

推進(jìn)機(jī)器人學(xué)習(xí)社區(qū)的發(fā)展

NVIDIA 機(jī)器人團(tuán)隊(duì)與 CoRL 共同發(fā)布的近二十篇研究論文涵蓋了以下領(lǐng)域的突破性成果：集成 VLM 來(lái)優(yōu)化環(huán)境理解和任務(wù)執(zhí)行、機(jī)器人時(shí)間導(dǎo)航、為復(fù)雜的多步驟任務(wù)制定長(zhǎng)視距規(guī)劃策略，以及利用人類演示來(lái)習(xí)得技能。

有關(guān)人形機(jī)器人控制和合成數(shù)據(jù)生成的突破性論文包括：SkillGen（一個(gè)基于合成數(shù)據(jù)生成的系統(tǒng)，用于在人工演示極少的情況下訓(xùn)練機(jī)器人）和 HOVER（一個(gè)用于控制人形機(jī)器人運(yùn)動(dòng)和操作的機(jī)器人基礎(chǔ)模型）。

NVIDIA 研究人員還參加了本屆大會(huì)的九場(chǎng)研討會(huì)。進(jìn)一步了解有關(guān)活動(dòng)的完整日程安排：

供貨情況

NVIDIA Isaac Lab 1.2 現(xiàn)已在 GitHub 上開(kāi)源可用。NVIDIA Cosmos tokenizer現(xiàn)已在 GitHub 和 Hugging Face 上開(kāi)源。用于視頻處理的 NeMo Curator 將于本月底發(fā)布。

新的 NVIDIA Project GR00T 工作流即將推出，以幫助機(jī)器人公司更加輕松地構(gòu)建人形機(jī)器人功能。

學(xué)習(xí)使用 Isaac Lab 的研究人員和開(kāi)發(fā)者現(xiàn)可以訪問(wèn)開(kāi)發(fā)者指南和教程，包括 Isaac Gym 到 Isaac Lab 的遷移指南。

在即將于 11 月 13 日舉行的關(guān)于機(jī)器人仿真和學(xué)習(xí)的 OpenUSD 內(nèi)部直播中了解機(jī)器人學(xué)習(xí)和仿真的最新進(jìn)展.。