本文來自 MathWorks 博客，Autonomous System 自主系統(tǒng)欄目。

作者：YJ Lim，MathWorks 機器人產(chǎn)品經(jīng)理

翻譯：葉女士(人機版)

非常激動地和大家分享我們最近的一些酷炫成果：我們正在利用生成式 AI，讓機器人變得更加靈活，使用起來也更加便捷!

生成式 AI 已成為近年來最具影響力的技術趨勢之一，推動了像 deepseek，ChatGPT 這樣的工具，改變了我們的生活和工作方式。除此之外，生成式 AI 也正在重塑各行各業(yè)，機器人領域也不例外。在 MathWorks，我們非常期待探索這項技術如何簡化和提升機器人運行的方式，讓先進的機器人技術變得更加易用和多樣化。

該領域的一個典型例子是 Google’s Robotics Transformer 2 (RT-2) [1]。RT-2 展示了生成式AI的巨大潛力，使機器人具備了前所未有的感知、規(guī)劃和行動的適應能力。這些模型利用大規(guī)模網(wǎng)絡數(shù)據(jù)，幫助機器人泛化知識、在非結(jié)構(gòu)化環(huán)境中執(zhí)行任務，并且只需極少的針對性訓練。雖然前景令人振奮，但仍然面臨一些挑戰(zhàn)，比如如何將這些模型集成到現(xiàn)實世界的工作流程中——而這，正是 MathWorks 的用武之地。

從傳統(tǒng)到生成式 AI 方法的轉(zhuǎn)變

傳統(tǒng)上，自主系統(tǒng)通常由感知、規(guī)劃和控制等獨立模塊組成。雖然這些模塊能夠?qū)崿F(xiàn)預期功能，但在集成和適應新環(huán)境時往往需要投入大量精力。

圖示：現(xiàn)有的機器人任務實現(xiàn)方式——在傳統(tǒng)機器人系統(tǒng)中，任務通常被分解為若干子任務，如目標檢測、抓取和運動規(guī)劃。感知模塊負責檢測并估算物體的姿態(tài)，而運動規(guī)劃模塊則計算任務執(zhí)行所需的軌跡。在動態(tài)環(huán)境下，這些步驟往往需要多次重復執(zhí)行，對于像放置多個物體這樣的多步驟任務，會導致系統(tǒng)變得復雜且效率低下。

以傳統(tǒng)的感知流程為例：

目標檢測：可以使用 YOLOv4 檢測器對圖像中的物體進行識別(示例[2])。

姿態(tài)估算：通過多步流程估算被檢測物體的三維位置和朝向(示例[3])。

訓練與部署：每添加一個新物體或更換環(huán)境，都需要重新訓練和配置系統(tǒng)，這不僅耗時，而且難以大規(guī)模推廣。

圖示：現(xiàn)有的姿態(tài)估算方法實現(xiàn)機器人任務(參見此示例[4])。在現(xiàn)有的感知流程中，主要目標是檢測圖像中的物體并估算其三維姿態(tài)，通常會用到 YOLOv4 檢測器。盡管這種方法有效，但需要大量的訓練和姿態(tài)估算步驟，因此在面對新物體或新環(huán)境時，擴展和應用起來既繁瑣又具有挑戰(zhàn)性。

生成式 AI 則改變了這一傳統(tǒng)做法，將感知、規(guī)劃和控制集成到一個端到端的系統(tǒng)中。VLA(視覺-語言-動作)模型能夠處理文本指令和攝像頭圖像，預測機器人動作，并根據(jù)反饋不斷優(yōu)化這些動作。這類模型具備以下特點：

基于 transformer 架構(gòu)——與 ChatGPT 等模型采用相同的技術基礎;

能夠結(jié)合視覺和語言輸入進行推理并生成相應動作;

作為“具身智能”系統(tǒng)，將抽象理解與實際物理動作相連接。

這種端到端的方法大大簡化了開發(fā)流程，使機器人更容易適應新的任務和環(huán)境。

圖示：基于 transformer 架構(gòu)的機器人 VLA(視覺-語言-動作)模型能夠根據(jù)文本指令和攝像頭圖像，在一個簡化的步驟中預測機器人動作，這與傳統(tǒng)系統(tǒng)中任務分解、感知和運動規(guī)劃等多個獨立階段不同。這些模型通過視覺反饋不斷迭代優(yōu)化動作，從而提升準確性，但在實際執(zhí)行時仍需依賴底層控制器，并且在真實應用中需要安全層來保障可靠性。與 ChatGPT 和 DALL-E 等模型不同，VLA 模型通過將決策過程融入物理機器人系統(tǒng)，實現(xiàn)了“具身智能”。

生成式 AI 與機器人技術在 MathWorks 的結(jié)合

在 MathWorks，我們致力于將生成式 AI 領域的前沿研究與機器人實際應用之間的鴻溝彌合。我們 MATLAB 和 Simulink 中的工具為機器人基礎模型提供了有力補充，例如：

即插即用：可直接在 MATLAB 和 Simulink 中訪問和部署此類模型。

測試驗證：利用生成式模型的輸出，仿真機器人動力學、優(yōu)化運動規(guī)劃和軌跡控制(通過 Robotics System Toolbox)。

三維可視化：逼真的3D動畫將機器人行為生動展現(xiàn)，便于在仿真環(huán)境中評估性能。

安全保障：為機器人系統(tǒng)的現(xiàn)實應用提供驗證和確認工具，確保安全關鍵型場景的可靠性。

真實部署：支持從仿真無縫過渡到實際部署，包括在資源受限設備上的測試或利用云端推理。

例如，我們開發(fā)了一個名為“RobotPolicy”的 Simulink 模塊，可與基礎模型集成，在閉環(huán)系統(tǒng)中展示其能力。該模塊能夠接收任務指令和視覺觀測，輸出機器人動作，并支持如 RT1-X 和 Octo 等預訓練的小型模型。

圖示：在 Simulink 中仿真和測試機器人基礎模型。Simulink 中的“RobotPolicy”模塊可以集成來自 HuggingFace 等平臺的基于 Python 的基礎模型。它能夠處理任務指令和觀測圖像，生成機器人動作，明確指定末端執(zhí)行器的位置和姿態(tài)。整個工作流程包括自然運動的位姿控制、具有真實感的 3D 仿真環(huán)境，以及動作的迭代生成直至完成任務，從而實現(xiàn)生成式 AI 在機器人領域的無縫測試與部署。

現(xiàn)實應用與未來展望

結(jié)合 MATLAB 和 Simulink 的生成式 AI 為各類機器人應用領域帶來了令人興奮的新可能，例如：

零樣本部署：得益于基礎模型在多樣化數(shù)據(jù)集上的廣泛訓練，機器人能夠在從未見過的環(huán)境中執(zhí)行任務。

涌現(xiàn)能力：不僅能執(zhí)行基礎指令，機器人還可完成需要推理的復雜任務，比如挑選健康飲品或理解符號化指令。

仿真驅(qū)動開發(fā)：高保真仿真有助于優(yōu)化模型和加速測試，縮小仿真與現(xiàn)實部署之間的差距。

針對特定任務的微調(diào)：借助基礎模型中學到的先驗知識，機器人僅需極少的數(shù)據(jù)就能適應新任務或新環(huán)境。例如，只需少量樣本，便可在數(shù)小時內(nèi)完成對高精度操作或長時序任務的模型微調(diào)。

親自體驗

我們非常樂意幫助您探索生成式 AI 如何變革機器人工作流程。目前，我們準備在 GitHub 上發(fā)布示例，同時您也可以直接聯(lián)系我們，申請試用代碼的訪問權限。

這個示例將展示：

機器人基礎模型與 Simulink 的集成

機器人任務的仿真與可視化

如何將這些模型適配到具體應用中

歡迎聯(lián)系我們獲取試用代碼，親自體驗生成式 AI 帶來的各種可能。我們期待您的反饋和寶貴見解!

加入討論

生成式 AI 仍在不斷發(fā)展，提升成功率和實現(xiàn)可擴展性等問題仍需攻克。隨著更多數(shù)據(jù)和高保真仿真的出現(xiàn)，我們相信該領域?qū)焖龠M步。在 MathWorks，我們很高興能夠參與這一進程，并期待聽到您對生成式 AI 在機器人領域創(chuàng)造新機遇的看法。

歡迎分享您的想法，并親自試用 GitHub 上的示例，體驗這些創(chuàng)新應用的可能性：

您目前是否在探索生成式 AI 在機器人領域的應用?在您看來，生成式AI在哪些機器人應用中能夠產(chǎn)生重大影響?

機器人VLA基礎模型(如 Google 的 RT-X 和 Covariant 的 RFM-01)可以實現(xiàn)端到端的任務處理(涵蓋感知、規(guī)劃和執(zhí)行)。您認為這些模型有可能取代傳統(tǒng)算法嗎?

機器人基礎模型在實際部署中仍需底層控制器、額外的安全機制和大量測試。您認為基于模型的設計(Model-Based Design)能否在保障這些模型功能安全方面發(fā)揮關鍵作用?

MATLAB/Simulink 為基礎模型的連接、仿真、測試和部署提供了便捷工具。您是否有興趣將 MATLAB/Simulink 用于這些用途?