通用機器人策略需要能夠處理多種任務，適應不同形態(tài)的機器人，并在多樣化的環(huán)境中運行。因此，仿真評估過程必須具有可擴展性且易于復現(xiàn)。目前，建立大規(guī)模的策略評估流程既繁瑣又依賴人工。如果缺乏系統(tǒng)化的方法，開發(fā)者將不得不以高昂成本構建定制化基礎設施，即便如此，任務庫的復雜性和多樣性仍不足。

本文將介紹NVIDIA Isaac Lab-Arena，專為仿真環(huán)境中實現(xiàn)高效、可擴展的機器人策略評估而設計的開源框架。該框架建立在NVIDIA Isaac Lab之上，由NVIDIA與光輪智能共同開發(fā)。它提供了用于任務管理、任務多樣化以及大規(guī)模并行評估的簡化API?，F(xiàn)在，開發(fā)者無需承擔系統(tǒng)構建的高昂成本，即可快速構建復雜的基準測試原型。本文還將展示一個涵蓋環(huán)境設置、可選的策略后訓練以及閉環(huán)評估的端到端示例工作流。

Isaac Lab-Arena概覽與核心優(yōu)勢

Isaac Lab-Arena的Pre-alpha版本正式上線，我們誠邀社區(qū)參與其路線圖的規(guī)劃。同時，我們正與基準測試作者合作，在Isaac Lab-Arena上實現(xiàn)并開源他們的評估方法，從而構建一個不斷擴大的生態(tài)系統(tǒng)，讓研究者能夠在統(tǒng)一的核心上使用現(xiàn)成的基準測試和共享的評測方法。

Isaac Lab-Arena具備以下核心優(yōu)勢包括：簡化任務管理、實現(xiàn)自動化的多樣化處理、支持大規(guī)模基準測試、與數(shù)據(jù)生成和模型訓練無縫集成。后續(xù)將詳細說明。

簡化任務管理（從零到一）：

模塊化：框架采用樂高式的模塊化架構，取代了傳統(tǒng)的單體式任務描述。系統(tǒng)能夠通過獨立的物體、場景、本體和任務模塊，動態(tài)構建Isaac Lab環(huán)境。

泛化性：通過Affordance系統(tǒng)（如“可開啟”、“可按壓”）實現(xiàn)標準化交互，使任務能夠適配到各種不同的物體上。

可擴展性：記錄的指標與數(shù)據(jù)均可靈活擴展。用戶可根據(jù)需要，對仿真過程和分析結果進行精細化的控制。

自動化的多樣化處理（從一到多）：可輕松混搭各類組件，將同一任務應用于不同的機器人或物體。例如，無需重寫代碼，即可從家庭場景中的“開易拉罐”任務，無縫切換到工業(yè)流程任務。未來，團隊計劃利用基礎模型自動生成多樣化且真實的訓練任務。

大規(guī)模與策略無關的并行基準測試：支持在數(shù)千個并行仿真環(huán)境中評估任意機器人策略，從而實現(xiàn)高吞吐量的GPU加速評估。當前版本支持同構的并行環(huán)境（允許進行參數(shù)變化）。

用戶可以在統(tǒng)一的核心架構上，獲取社區(qū)基準測試和共享的評估方法。

寬松的開源許可：開發(fā)者可以自由使用、分發(fā)該框架，并為框架的開發(fā)做出貢獻。

與數(shù)據(jù)生成和訓練無縫集成：盡管Isaac Lab-Arena的核心功能是任務配置與評估，但它與數(shù)據(jù)生成及訓練框架緊密集成。這種集成實現(xiàn)了無縫的閉環(huán)工作流，涵蓋從Isaac Lab-Teleop、Isaac Lab-Mimic到NVIDIA Isaac GR00T N系列模型的后訓練與推理全過程。

靈活的部署選項：支持在本地工作站或云原生環(huán)境（如OSMO）中部署，便于實現(xiàn)CI/CD。此外，它還可集成至如LeRobotEnvironment Hub等排行榜和分發(fā)平臺。

圖 . NVIDIA Isaac Lab-Arena開源框架致力于在仿真環(huán)境中實現(xiàn)高效、可擴展的機器人策略評估

生態(tài)系統(tǒng)發(fā)展

NVIDIA正與各基準測試作者合作構建并發(fā)布基于Isaac Lab-Arena的評估方案，包括經過仿真到現(xiàn)實驗證的評估方法、任務與數(shù)據(jù)集，以方便社區(qū)在統(tǒng)一的核心架構上進行復用與擴展。這些方案將涵蓋工業(yè)及研究領域的移動、機械臂與移動操作等多個方向的基準測試。

光輪智能作為Isaac Lab-Arena框架的共同開發(fā)者，已正式采用該框架。通過Lightwheel-RoboCasa-Tasks和Lightwheel-LIBERO-Tasks套件，該公司已創(chuàng)建并開源了超過250項任務，并計劃未來將其確立為正式基準測試。目前，光輪智能正使用Isaac Lab-Arena開發(fā)RoboFinals，這是一個旨在反映復雜真實世界環(huán)境的工業(yè)級基準測試。

Isaac Lab-Arena環(huán)境現(xiàn)已集成至Hugging FaceLeRobotEnvironment Hub。開發(fā)者可以輕松注冊基于該框架構建的自定義環(huán)境，并利用持續(xù)擴充的環(huán)境庫，對包括Isaac GR00T N、pi0和SmolVLA在內的機器人策略進行后訓練與評估。更多詳細信息，請參閱LeRobot文檔。

NVIDIA正通過Hugging Face平臺為數(shù)百萬開發(fā)者提供開放機器人模型與數(shù)據(jù)集，推動機器人領域成為該平臺上增長最快的類別之一。

RoboTwin正使用Isaac Lab-Arena構建RoboTwin2.0的擴展版本（大規(guī)模具身智能仿真基準測試），以及其他復雜的多步驟任務基準測試。目前正計劃發(fā)布開源版本，相關的論文提交與代碼更新工作也在同步推進中。

此外，通用具身智能體研究中心（GEAR）等NVIDIA研究中心實驗室也在使用Isaac Lab-Arena。他們旨在對Isaac GR00T N系列視覺-語言-動作模型進行基準測試，從而在大規(guī)模場景下評估人形機器人的推理與技能執(zhí)行能力。

NVIDIA西雅圖機器人實驗室（SRL）正將其在語言條件任務套件及評估方法方面的研究成果集成到Isaac Lab-Arena中，用于通用機器人策略的基準測試。

Isaac Lab-Arena的未來規(guī)劃

當前發(fā)布的Pre-alpha版本是功能相對有限的早期框架形態(tài)。我們有意以此作為實際起點，邀請開發(fā)者進行試用、提供反饋，并共同參與框架未來的設計與發(fā)展。

框架計劃引入構建復雜任務庫所需的核心功能，包括：通過自然語言指令放置物體、通過組合基本技能實現(xiàn)復合任務的編排、強化學習任務的設置，以及并行異構評估（例如，在不同并行環(huán)境中使用不同的物體）。

從長遠來看，團隊致力于探索更智能體化、更神經化的方法，以進一步擴展評估的規(guī)模。例如，利用NVIDIA Cosmos實現(xiàn)由世界模型驅動的神經仿真與場景生成。此外，團隊還將借助NVIDIA Omniverse NuRec實現(xiàn)從現(xiàn)實到仿真的構建，從而創(chuàng)建與真實世界高度一致的鏡像仿真環(huán)境。社區(qū)的積極參與和反饋對于技術的發(fā)展至關重要。

如何利用Isaac Lab-Arena設置任務并進行大規(guī)模策略評估

本節(jié)將展示一個端到端的示例工作流，利用GR1機器人評估Isaac GR00T N系列模型在“打開微波爐門“這一操作技能上的表現(xiàn)。該工作流涵蓋環(huán)境設置、可選的策略后訓練以及閉環(huán)評估。

第一步：環(huán)境創(chuàng)建與多樣化

請按照“GR1開啟微波爐門”任務的先決條件，克隆倉庫并運行Docker容器。隨后，通過組合不同模塊在Isaac Lab-Arena中構建環(huán)境。您需要將一個具備“可開啟”與“可按壓”交互特質的物體（微波爐）放置在特定場景（廚房）中，并結合機器人本體（GR1機器人）來執(zhí)行指定任務（開啟微波爐門）。用戶還可根據(jù)需要，添加基于遠程操作的數(shù)據(jù)采集配置。

獲取資產：

background = self.asset_registry.get_asset_by_name("kitchen")()
microwave = self.asset_registry.get_asset_by_name("microwave")()
assets = [background, microwave]
 
embodiment = self.asset_registry.get_asset_by_name("gr1_pink")(enable_cameras=args_cli.enable_cameras)
teleop_device = self.device_registry.get_device_by_name("avp")()

想要了解詳細信息，請參閱Assets Design與Affordances Design。

放置物體：

microwave_pose = Pose(
    position_xyz=(0.4, -0.00586, 0.22773),
    rotation_wxyz=(0.7071068, 0, 0, -0.7071068),
)
microwave.set_initial_pose(microwave_pose)

構建場景：

scene = Scene(assets=assets)

創(chuàng)建任務：

task = OpenDoorTask(microwave, openness_threshold=0.8, reset_openness=0.2)

任務封裝了物體、成功標準，以及終止邏輯、事件和指標。更多詳情，請參閱Task Design。

最后，將這些獨立的組件整合起來，即可構建出完整的可運行環(huán)境：

isaaclab_arena_environment = IsaacLabArenaEnvironment(
    name=self.name,
    embodiment=embodiment,
    scene=scene,
    task=task,
    teleop_device=teleop_device,
)

接下來，利用測試數(shù)據(jù)集來運行該環(huán)境。

首先，下載測試數(shù)據(jù)集：

hf download \
    nvidia/Arena-GR1-Manipulation-Task \
    arena_gr1_manipulation_dataset_generated.hdf5 \
    --repo-type dataset \
    --local-dir $DATASET_DIR

運行該環(huán)境：

python isaaclab_arena/scripts/replay_demos.py \
  --device cpu \
  --enable_cameras \
  --dataset_file "${DATASET_DIR}/arena_gr1_manipulation_dataset_generated.hdf5" \
  gr1_open_microwave \
  --embodiment gr1_pink

機器人將基于NVIDIA采集的遙操作數(shù)據(jù)，來執(zhí)行開啟微波爐的任務。

若需了解創(chuàng)建新環(huán)境所涉及的技術細節(jié)與設計原則，請參閱官方教程文檔。

跨機器人、物體及場景的高效擴展任務

以下示例將展示如何在不重構環(huán)境或工作流的情況下，輕松替換任務中的物體或機器人。

示例1 –將操作對象從微波爐切換為power_drill：

background = asset_registry.get_asset_by_name("kitchen")()
embodiment = asset_registry.get_asset_by_name("gr1_pink")()
power_drill = asset_registry.get_asset_by_name("power_drill")()
assets = [background, power_drill]

示例2 –將機器人本體從GR1更換為Franka機械臂，并將操作對象更換為cracker_box：

background = asset_registry.get_asset_by_name("kitchen")()
embodiment = asset_registry.get_asset_by_name("franka")()
cracker_box = asset_registry.get_asset_by_name("cracker_box")()
assets = [background, cracker_box]

示例3 –將背景從廚房切換為工業(yè)包裝臺：

background = asset_registry.get_asset_by_name("packing_table")()
embodiment = asset_registry.get_asset_by_name("gr1_pink")()
cracker_box = asset_registry.get_asset_by_name("power_drill")()
assets = [background, cracker_box]

第二步：可選的策略后訓練

雖然Isaac Lab-Arena的核心功能聚焦于任務設置與策略評估，但如果您的策略在評估前需要進行后訓練，該環(huán)境也能夠與數(shù)據(jù)采集、數(shù)據(jù)生成及后訓練流程無縫集成。您可以按以下步驟操作：

使用Isaac Lab Teleop采集示范數(shù)據(jù)

使用Isaac Lab Mimic將少量示范數(shù)據(jù)擴展為規(guī)模更大的合成數(shù)據(jù)集

利用生成的訓練集，對Isaac GR00T N系列模型或任意機器人策略進行后訓練

第三步：在并行環(huán)境中執(zhí)行評估

接下來的步驟是對訓練完成的策略進行評估。需要注意的是，該框架支持評估任何已訓練好的機器人策略。

方案1 –在單個環(huán)境中測試策略：

python isaaclab_arena/examples/policy_runner.py \
  --policy_type gr00t_closedloop \
  --policy_config_yaml_path isaaclab_arena_gr00t/gr1_manip_gr00t_closedloop_config.yaml \
  --num_steps 2000 \
  --enable_cameras \
  gr1_open_microwave \
  --embodiment gr1_joint

方案2 –在多個并行的同質環(huán)境中測試策略：

python isaaclab_arena/examples/policy_runner.py \
  --policy_type gr00t_closedloop \
  --policy_config_yaml_path isaaclab_arena_gr00t/gr1_manip_gr00t_closedloop_config.yaml \
  --num_steps 2000 \
  --num_envs 10 \
  --enable_cameras \
  gr1_open_microwave \
  --embodiment gr1_joint

開始使用NVIDIA Isaac Lab-Arena

Isaac Lab-Arena的Pre-alpha版本現(xiàn)已開源。我們誠邀您加入，共同參與并指引其未來的設計與開發(fā)。如需使用該框架，可參閱GitHub代碼庫及相關文檔。

歡迎通過GitHub Issue反饋漏洞或建議功能優(yōu)化，也歡迎提交pull request來貢獻您的修改。

基于Isaac Lab-Arena創(chuàng)建任務或經過仿真到現(xiàn)實驗證的基準測試，并將其開源，共同構建一個即插即用的機器人學習任務共享生態(tài)。

任務發(fā)布至排行榜或LeRobot Environment Hub等評估平臺，提升任務的可見度，并便于在共享工作流與注冊表上運行。

關于作者

Sangeeta Subramanian 是 NVIDIA 的高級產品經理，專注于開發(fā)用于機器人學習和評估的仿真軟件。她曾從事智能汽車平臺軟件的開發(fā)工作，并在 NVIDIA DRIVE 平臺的系統(tǒng)軟件工程領導方面擁有豐富的經驗。她擁有北卡羅來納州立大學計算機科學碩士學位。

Kalyan Vadrevu 是 NVIDIA 的產品營銷經理，專注于 ROS 開發(fā)者生態(tài)系統(tǒng)、Isaac ROS、Isaac Manipulator 和 Isaac Perceptor。在加入 NVIDIA 之前，Kalyan 曾在微軟和諾基亞從事開發(fā)者關系和 SDK 營銷工作。他擁有印第安納大學 Bloomington 分校的營銷 MBA 學位。

Oyindamola Omotuyi 是 NVIDIA 的產品營銷經理實習生，專注于機器人開發(fā)社區(qū)。在之前的 NVIDIA 實習期間，她撰寫了 NVIDIA 對話 AI 電子書的介紹。 Oyindamola Omotuyi 擁有尼日利亞拉各斯大學系統(tǒng)工程學士學位和辛辛那提大學機械工程碩士學位。她目前正在辛辛那提大學攻讀博士學位，專注于多智能體深度強化學習和機器人感知。

Vikram Ramasamy 是 NVIDIA 的高級機器人工程師，從事機器人和仿真到現(xiàn)實應用的 3D 感知工作。在蘇黎世聯(lián)邦理工學院完成碩士學位后，他加入了 NVIDIA，當時他是 AMZRacing 團隊的一員，為自動駕駛賽車控制系統(tǒng)做出了貢獻。在職業(yè)生涯早期，他從事的是用于賽車應用的空氣動力學技術。

Alexander Millane 是 NVIDIA 的高級機器人工程師，從事機器感知、機器人學習和仿真交叉領域的工作。Alex 擁有蘇黎世聯(lián)邦理工學院的博士學位，主要研究機器人的實時 3D 重建。