[首發(fā)于智駕最前沿微信公眾號]自動駕駛的核心任務就是賦予機器像人類一樣觀察、思考并操作車輛的能力。在整個技術(shù)架構(gòu)中，感知與場景理解處于最前端，是后續(xù)所有決策與執(zhí)行邏輯的根基。

如果將自動駕駛車輛比作一個生物體，傳感器就像是分布在全身的神經(jīng)末梢，而場景理解能力則是大腦對這些神經(jīng)沖動進行的深度加工。這種加工不僅要求車輛能夠看清周圍有什么，更要求其理解這些物體之間的空間關系、語義屬性以及未來可能發(fā)生的行為趨勢。

隨著技術(shù)的不斷更迭，自動駕駛的場景理解已經(jīng)從單純的二維圖像識別，演進到了三維空間重構(gòu)，乃至具備常識推理能力的認知階段。

從多維度感知到時空對齊

在探討算法模型之前，必須理解自動駕駛獲取信息的硬件基礎。單一傳感器由于物理特性的限制，無法應對所有的天氣和光照條件。

攝像頭能夠提供豐富的顏色和紋理信息，但在強光直射、黑夜或大霧天氣的表現(xiàn)會大打折扣；激光雷達能夠輸出高精度的三維點云數(shù)據(jù)，清晰地勾勒出障礙物的輪廓，卻難以識別交通燈的顏色或路牌上的文字；毫米波雷達在惡劣天氣下極具穿透力，且對動態(tài)物體的速度感知敏銳，但其空間分辨率較低，難以分辨靜止物體的細節(jié)。

因此，多傳感器融合技術(shù)成為了場景理解的第一道技術(shù)關卡。

多傳感器融合不是簡單的信息相加，其核心在于如何解決不同傳感器在時間和空間上的不一致性。

在空間層面，每個傳感器都有自己的坐標系，攝像頭看到的是像素坐標，激光雷達看到的是極坐標或笛卡爾坐標，系統(tǒng)必須通過極其精準的外參標定，將所有數(shù)據(jù)統(tǒng)一到一個固定的車輛世界坐標系中。

在時間層面，不同傳感器的采樣頻率各異，且由于車輛在高速運動，即便只差了幾十毫秒，物體在現(xiàn)實空間中的位置也會發(fā)生顯著變化。

圖片源自：網(wǎng)絡

為了解決這一問題，系統(tǒng)會采用運動補償技術(shù)，根據(jù)車輛的運動狀態(tài)對不同時刻的數(shù)據(jù)進行對齊，確保所有信息反映的是同一個物理時刻的環(huán)境狀態(tài)。

根據(jù)數(shù)據(jù)融合發(fā)生的階段不同，行業(yè)內(nèi)會將其劃分為前融合、深度融合與后融合。

前融合是在原始數(shù)據(jù)層面上進行整合，盡可能保留最底層的信息，但其對算力和帶寬的要求極高。

深度融合則是在神經(jīng)網(wǎng)絡的特征提取階段進行，將不同模態(tài)的特征向量在特征空間中進行連接或加權(quán)，這種方式能夠?qū)崿F(xiàn)信息的互補，提高系統(tǒng)的魯棒性。

后融合則是各個傳感器獨立得出檢測結(jié)果后再進行邏輯匯總，雖然架構(gòu)簡單、靈活性高，但往往會因為單個傳感器的局限性而丟失關鍵的細節(jié)信息。

在城市道路環(huán)境中，實時精準地感知動態(tài)環(huán)境是車輛做出安全決策的前提。

感知系統(tǒng)的實現(xiàn)依賴于多個技術(shù)模塊的協(xié)同運作，其中包括傳感器數(shù)據(jù)采集、特征提取、數(shù)據(jù)融合以及語義分析等。

數(shù)據(jù)采集是起點，通過多種傳感器的協(xié)作，感知系統(tǒng)能夠覆蓋從遠距離到近距離的全方位感知需求。

隨后的特征提取則通過復雜的算法從原始數(shù)據(jù)中提取如檢測車輛邊界、分割行人輪廓以及識別道路標志等有價值的信息。

鳥瞰圖與占用網(wǎng)絡的架構(gòu)革新

在解決了傳感器數(shù)據(jù)的統(tǒng)一問題后，下一步就是要解決如何從這些海量數(shù)據(jù)中提取有意義的地理結(jié)構(gòu)。

傳統(tǒng)的感知方式主要是基于圖像層面的目標檢測，即在照片里畫框。然而，畫框的方式很難準確描述物體在三維空間中的真實姿態(tài)，尤其是在多相機視野重疊的區(qū)域，如何確保不同視角的圖像被拼接到正確的位置是一個巨大的挑戰(zhàn)。

鳥瞰圖（BEV）技術(shù)的出現(xiàn)，徹底改變了這一現(xiàn)狀。BEV感知方案通過融合多個攝像頭的視覺數(shù)據(jù)，將原本支離破碎的2D圖像直接投影到一個統(tǒng)一的3D鳥瞰視角下，從而生成全局的環(huán)境信息。

BEV技術(shù)的核心在于空間轉(zhuǎn)換。

系統(tǒng)首先利用深度學習網(wǎng)絡從每個攝像頭的原始圖像中提取特征。這些網(wǎng)絡會包含主干網(wǎng)絡用于提取特征，頸部網(wǎng)絡進行特征融合，以及頭部網(wǎng)絡生成檢測結(jié)果。

提取出的特征隨后通過一種類似于投影的數(shù)學機制，在三維空間中進行位置查詢。這個過程可以理解為，系統(tǒng)在車輛上方的天花板上安裝了一個虛擬攝像頭，通過算法計算出地面上每一個點在不同原始圖像中對應的像素，從而完成從二維平面到三維地理坐標的轉(zhuǎn)換。

圖片源自：網(wǎng)絡

這種技術(shù)能夠有效解決遮擋問題，因為即使某個物體在側(cè)邊攝像頭的畫面中被擋住了一半，只要其他攝像頭的視野能覆蓋該區(qū)域，系統(tǒng)就能在視圖中完整地還原其位置和軌跡。

但即便是BEV技術(shù)，在處理那些形狀不規(guī)則的物體時也會感到吃力。像是路邊斜出的樹枝、施工區(qū)域的圍擋或者是灑落在地面的貨物，這些物體很難用標準的立方體盒子來準確描述。

為了解決這類挑戰(zhàn)，占用網(wǎng)絡（Occupancy Network）應運而生。占用網(wǎng)絡不再試圖識別物體具體是什么，而是將車輛周圍的空間劃分成無數(shù)個極小的立方體網(wǎng)格，并預測每一個網(wǎng)格是否被占用，以及其運動狀態(tài)。

占用網(wǎng)絡將場景理解從分類任務提升到了空間幾何重構(gòu)的層面。

它通過預測空間中每個點的占用概率，能夠識別出任何異形障礙物，哪怕系統(tǒng)從來沒有見過這種物體。這種不依賴預定義類別的特性，極大地增強了自動駕駛在復雜城市環(huán)境中的泛化能力。

為了提升計算效率，現(xiàn)階段的占用網(wǎng)絡結(jié)合了語義分割技術(shù)，在判斷空間是否被占用的同時，還能順便給出該區(qū)域的語義標簽，比如識別出這一片被占用的網(wǎng)格屬于植被，而那一片屬于路沿。

此外，這種三維空間的理解能力也為下游的路徑規(guī)劃提供了更可靠的依據(jù)。

傳統(tǒng)的感知結(jié)果如果只是二維的，規(guī)劃系統(tǒng)很難判斷車輛是否能從狹窄的縫隙中穿過。而有了體素化的空間表示，系統(tǒng)可以精確計算車輛輪廓與障礙物之間的物理距離，從而做出更細膩的駕駛動作。

為了應對各種極端天氣和光照條件的挑戰(zhàn)，感知系統(tǒng)在硬件設計和算法魯棒性方面也進行了多層優(yōu)化，確保在復雜的駕駛場景中，系統(tǒng)能在極短的時間內(nèi)處理大量數(shù)據(jù)，并給出準確的識別結(jié)果。

大模型如何賦予機器駕駛常識

盡管BEV和占用網(wǎng)絡已經(jīng)讓自動駕駛車輛看清了物理世界，但在面對復雜的交通規(guī)則和充滿變數(shù)的社會互動時，車輛依然顯得非常機械。

舉個例子，當前方有一輛閃著紅燈的救護車時，人類駕駛員知道即便前方是紅燈也需要觀察路況并盡可能讓行；當看到路邊有蹣跚學步的小孩時，人類會預判小孩可能會突然跑上公路。

這些基于常識的邏輯推理，是傳統(tǒng)基于規(guī)則的算法難以完全覆蓋的。近年來，以大語言模型和視覺語言模型為核心的基礎模型開始被引入自動駕駛領域，旨在解決這種深層次的語義理解和推理問題。

基礎模型在自動駕駛中的核心在于其擁有的世界知識。

圖片源自：網(wǎng)絡

這些模型在海量文本和圖像數(shù)據(jù)中學習到了人類社會的運行規(guī)律，能夠理解復雜的因果關系。例如，在面對一個施工區(qū)域時，大模型不僅能識別出錐桶和圍擋，還能結(jié)合當前的交通流和路標文字，推理出最佳的繞行方案。

相比于傳統(tǒng)的基于邏輯樹的決策方式，這種基于模型的方法在處理未曾見過的特殊場景時表現(xiàn)出極強的泛化能力。它將感知的范疇從識別幾何形體擴展到了理解場景意圖。

在具體的實現(xiàn)邏輯上，這些模型采用多模態(tài)架構(gòu)，將視覺傳感器的特征信息轉(zhuǎn)化為文本描述或高維向量，與預訓練的知識庫進行交互。通過這種方式，自動駕駛系統(tǒng)能夠?qū)崿F(xiàn)一種類似于人類思維的邏輯鏈條。

若車輛感知到前方車輛尾燈閃爍，然后結(jié)合當前路口特征和車道拓撲關系，就可以推理出該車可能由于故障?？炕驕蕚渚o急并線，最后做出減速并保持距離的決策。

這種推理過程不再是單純的概率計算，而是具備了一定程度的可解釋性，讓人們可以理解車輛為什么在特定時刻做出了特定的選擇。

基礎模型還在場景生成和系統(tǒng)評測中發(fā)揮著重要作用。

通過大規(guī)模生成如夜間逆行的非機動車、雨天反光的積水坑等稀有的極端場景，這些模型能夠為自動駕駛系統(tǒng)的訓練提供高質(zhì)量、多維度的模擬數(shù)據(jù)，從而加速感知的迭代優(yōu)化。

這種從真實數(shù)據(jù)中提煉知識，再通過模擬數(shù)據(jù)反哺系統(tǒng)的閉環(huán)，正成為提升自動駕駛場景理解能力的重要路徑。

為了在真實城市交通中實現(xiàn)安全行駛，系統(tǒng)還會采用多準則決策方法來平衡安全性、舒適性和效率等多個目標，確保車輛能夠自然地融入交通生態(tài)。

最后的話

自動駕駛場景理解是一場從物理探測到數(shù)學重構(gòu)，再到思維推理的演進過程。從多傳感器融合奠定的數(shù)據(jù)基石，到鳥瞰圖與占用網(wǎng)絡構(gòu)建的立體視野，再到基礎模型賦予的智慧大腦，每一項技術(shù)的突破都在填補機器與人類駕駛員之間的能力鴻溝。

在這個過程中，場景理解已經(jīng)不再僅僅是看見，而是演變成了對物理世界規(guī)律的洞察。隨著算力的持續(xù)提升和算法模型的不斷迭代，全場景、高可靠的語義理解終將實現(xiàn)，并為自動駕駛的安全落地提供最堅實的保障。

審核編輯 黃宇