佐思汽研發(fā)布《2024年端到端自動駕駛研究報告》。

1

國內端到端方案現(xiàn)狀

端到端自動駕駛是直接從傳感器信息輸入（如攝像頭圖像、LiDAR等）到控制命令輸出（如轉向、加減速等）映射的一套系統(tǒng)，最早出現(xiàn)在1988年的ALVINN項目，通過相機和激光測距儀進行輸入和一個簡單的神經(jīng)網(wǎng)絡生成的轉向進行輸出。

2024年初，特斯拉FSD V12.3版本發(fā)布，智駕水平讓人驚艷，端到端自動駕駛方案受到國內主機廠和自動駕駛方案企業(yè)的廣泛關注。

與傳統(tǒng)的多模塊方案相比，端到端自動駕駛方案將感知、預測和規(guī)劃整合到單一模型中，簡化了方案結構，可模擬人類駕駛員直接從視覺輸入做出駕駛決策，以數(shù)據(jù)和算力為主導，能夠有效解決模塊化方案的長尾場景，提升模型的訓練效率和性能上限。

傳統(tǒng)多模塊方案與端到端方案的對比（部分）

來源：佐思汽研《2024年端到端自動駕駛研究報告》

FSD V12.3版本實測圖

來源：公開渠道

部分主機廠對端到端方案落地量產(chǎn)的規(guī)劃

來源：佐思汽研《2024年端到端自動駕駛研究報告》

理想端到端方案

理想認為，完整的端到端需要完成感知、跟蹤、預測、決策、規(guī)劃整個過程的模型化，是實現(xiàn)L3級別自動駕駛的最佳方案。2023年，理想推送AD Max3.0，其整體框架已經(jīng)具備端到端的理念，但距離完整的端到端尚有一定差距，2024年理想預計以此為基礎，推進該系統(tǒng)成為一個徹底的端到端方案。

理想構建的自動駕駛框架如下圖，分為兩個系統(tǒng)：

快系統(tǒng)：System1，感知周圍環(huán)境后直接執(zhí)行，為理想現(xiàn)行的端到端方案。

慢系統(tǒng)：System2，多模態(tài)大語言模型，針對未知環(huán)境進行邏輯思考與探索，以解決L4未知場景下的問題。

理想自動駕駛框架

來源：理想汽車

在端到端方案推進的過程中，理想計劃把規(guī)劃/預測模型與感知模型進行統(tǒng)一，并在原基礎上完成Temporal Planner的端到端，實現(xiàn)泊車/行車一體化。

2

數(shù)據(jù)成為端到端落地的關鍵

端到端方案的落地需要經(jīng)歷構建研發(fā)團隊、配置硬件設施、數(shù)據(jù)收集處理、算法訓練與策略定制、驗證評估、推廣量產(chǎn)等流程，部分場景痛點如表中所示：

端到端方案的部分場景痛點

來源：佐思汽研《2024年端到端自動駕駛研究報告》

其中，端到端自動駕駛方案中的一體化訓練需要大量的數(shù)據(jù)，因此其面臨的難點之一在于數(shù)據(jù)的收集和處理。

首先，數(shù)據(jù)的收集需要大量的時間和渠道，數(shù)據(jù)類型除了駕駛數(shù)據(jù)外還包括各種不同的道路、天氣和交通情況等場景數(shù)據(jù)，其中在實際駕駛中駕駛員前方視野的駕駛數(shù)據(jù)相對便于收集，周圍方位的信息收集則難以保證。

再次，數(shù)據(jù)處理時需要設計數(shù)據(jù)提取維度、從海量的視頻片段中提取有效的特征、統(tǒng)計數(shù)據(jù)分布等，以支持大規(guī)模的數(shù)據(jù)訓練。

元戎啟行

截至2024年3月，元戎啟行端到端自動駕駛方案已經(jīng)獲得長城汽車的定點項目，并與英偉達開展合作，預計2025年適配英偉達Thor芯片；在元戎啟行的規(guī)劃中，從傳統(tǒng)方案過渡到“端到端”自動駕駛方案，經(jīng)歷傳感器前融合、去高精度地圖、感知決策控制三個模型一體化等環(huán)節(jié)。

元戎啟行在數(shù)據(jù)環(huán)節(jié)的布局

來源：佐思汽研《2024年端到端自動駕駛研究報告》

極佳科技

極佳科技的自動駕駛世界模型DriveDreamer，具備場景生成、數(shù)據(jù)生成、駕駛動作預測等功能；在場景/數(shù)據(jù)生成上，分為兩個步驟：

涉及單幀結構化條件，引導DriveDreamer生成駕駛場景圖像，便于其理解結構交通約束。

將其理解擴展到視頻生成。利用連續(xù)的交通結構條件，DriveDreamer輸出駕駛場景視頻，進一步增強其對運動轉換的理解。

DriveDreamer的功能包括可連續(xù)駕駛視頻生成、與文本提示和結構化交通限制無縫對齊

來源：極佳科技

3

端到端方案加快具身機器人落地

除了自動駕駛汽車，具身機器人是端到端方案另一個主流場景。從端到端自動駕駛到機器人，需要構建更加通用的世界模型，來適應更加復雜、多元的現(xiàn)實使用場景，主流AGI（通用人工智能）發(fā)展的框架分為兩個階段：

階段一：基礎大模型理解和生成實現(xiàn)統(tǒng)一，進一步與具身智能結合，形成統(tǒng)一世界模型；

階段二：世界模型+復雜任務的規(guī)控能力和抽象概念的歸納能力，逐步演化進入交互AGI 1.0時代。

在世界模型落地的過程中，構建端到端的VLA（Vision-Language-Action) 自主系統(tǒng)成為關鍵一環(huán)。VLA作為具身智能基礎大模型，能夠將3D感知、推理和行動無縫鏈接起來，形成一個生成式世界模型，并建立在基于3D的大型語言模型（LLM）之上，引入一組交互標記以與環(huán)境進行互動。

3D-VLA解決方案

來源：University of Massachusetts Amherst、MIT-IBM Watson AI Lab等機構

截至2024年4月，部分采用端到端方案的具身機器人廠商如下：

部分具身機器人如何應用端到端方案

來源：佐思汽研《2024年端到端自動駕駛研究報告》

以有鹿機器人為例，其具身智能大模型LPLM（Large Physical Language Model）為端到端的具身智能解決方案，通過自我標注機制提升模型從未標注數(shù)據(jù)中的學習效率和質量，從而加深對世界的理解，進而加強機器人的泛化能力與跨模態(tài)、跨場景、跨行業(yè)場景下的環(huán)境適應性。

LPLM模型架構

來源：有鹿機器人

LPLM 將物理世界抽象化，確保該類信息與 LLM 里特征的抽象等級對齊，將物理世界中每一個所指的實體顯式建模為 token，編碼幾何、語義、運動學與意圖信息。

此外，LPLM 在自然語言指令的編碼中加入了 3D grounding，一定程度上彌補了自然語言不夠精確的缺陷；其解碼器能夠通過不斷預測未來的方式去學習，從而加強了模型從海量無標簽數(shù)據(jù)中學習的能力。

審核編輯：劉清