[首發(fā)于智駕最前沿微信公眾號]自動駕駛里的多傳感器融合，本質(zhì)是把不同來源的信息拼在一起，讓系統(tǒng)對環(huán)境的理解更完整。攝像頭提供顏色和語義，激光雷達提供三維結(jié)構(gòu)，毫米波雷達提供距離和速度，這些信息如果分開用，很容易出現(xiàn)盲區(qū)，而融合之后就可以相互補充。

在這些融合方式里，前融合是最“靠前”的一種，它不是等模型理解完再合，而是直接從原始數(shù)據(jù)開始處理。

什么叫“前融合”？

前融合通常指數(shù)據(jù)級融合，也就是在傳感器剛輸出數(shù)據(jù)時就開始整合，而不是等到檢測結(jié)果出來之后再合并。

可以這樣理解，系統(tǒng)不再分別處理圖像、點云和雷達數(shù)據(jù)，而是先把它們變成一個統(tǒng)一的數(shù)據(jù)輸入，再交給后面的模型。

圖片源自：網(wǎng)絡(luò)

前融合常見的做法簡單說就是把激光雷達點云投影到攝像頭圖像上，讓每個像素同時帶有顏色和距離的信息，或者反過來，把圖像里的語義信息映射到三維點上，讓點云不僅有位置，還有類別屬性。

從輸入形式上看，這一步已經(jīng)不再是單一傳感器數(shù)據(jù)，而是一個融合后的多模態(tài)數(shù)據(jù)體。

它具體在做哪些處理？

前融合并不是簡單拼接數(shù)據(jù)，而是會解決幾個很基礎(chǔ)但關(guān)鍵的問題。

最先要處理的是時間和空間的統(tǒng)一。不同傳感器采樣頻率不同、安裝位置不同，如果不對齊，同一個目標在不同數(shù)據(jù)里會出現(xiàn)在不同位置甚至不同時間點。前融合必須先完成時間同步和坐標系統(tǒng)一，讓同一個物體在同一時刻出現(xiàn)在同一位置。

圖片源自：網(wǎng)絡(luò)

在此基礎(chǔ)上，需要建立不同數(shù)據(jù)之間的對應(yīng)關(guān)系。典型操作是把三維點投影到圖像平面，或者根據(jù)相機模型把圖像信息映射回空間。這一步解決的是圖像像素和空間點如何一一對應(yīng)的問題。

當(dāng)對應(yīng)關(guān)系建立之后，就可以把信息綁定在一起。一個點不僅只是空間坐標，還可以帶有顏色、紋理或者語義標簽。最終得到的數(shù)據(jù)，既包含幾何結(jié)構(gòu)，又包含語義信息，相當(dāng)于把多個傳感器合成了一個更完整的輸入。

為什么要這么早融合？

說到這里，可能會有很多小伙伴想問，為什么要進行前融合？

其實前融合的核心價值在于盡量少丟傳感器感知到的信息。

圖片源自：網(wǎng)絡(luò)

如果等各傳感器做完目標檢測候再合并，很多底層細節(jié)就可能被壓縮或丟棄。而在原始數(shù)據(jù)階段融合，可以最大程度保留如邊緣信息、稀疏點結(jié)構(gòu)以及弱信號目標等細節(jié)。

這將直接影響感知能力的上限。模型在訓(xùn)練時可以同時利用幾何和語義信息，能夠既知道一個目標是什么，也知道它在空間中的精確位置。

前融合還可以讓不同模態(tài)之間的關(guān)系更容易被模型學(xué)習(xí)。因為這些信息在一開始就是對齊的，模型不需要再去“猜測”它們之間的對應(yīng)關(guān)系，而是可以直接建模這種關(guān)聯(lián)。

前融合很難容易落地？

前融合的思路聽起來非常理想，但實現(xiàn)難度其實很高。

前融合需要面對的最直接的問題就是數(shù)據(jù)量。原始圖像和點云本身就很大，如果在數(shù)據(jù)層面直接融合，會明顯增加帶寬和計算壓力，這對自動駕駛的實時需求是個不小的挑戰(zhàn)。

對齊精度其實也是一個難點。前融合依賴精確的時間同步和空間標定，一旦有誤差，融合結(jié)果就會錯位，反而影響模型判斷。在高速場景或者復(fù)雜環(huán)境中，這種誤差更難控制。

另外，前融合幾乎不做篩選，傳感器的噪聲會一起進入模型，對算法的魯棒性提出更高要求。一旦某個傳感器數(shù)據(jù)質(zhì)量下降，這個影響將會被直接放大。

圖片源自：網(wǎng)絡(luò)

因此在實際量產(chǎn)方案中，很多系統(tǒng)會采用折中方式，在數(shù)據(jù)層做部分對齊，然后在特征層再進一步融合，以兼顧效果和穩(wěn)定性。

從技術(shù)路徑上看，前融合做的就是盡可能早地統(tǒng)一信息表達，讓模型直接面對一個完整的環(huán)境描述。

雖然它還沒有成為主流，但它的思路已經(jīng)被很多新架構(gòu)吸收，比如在BEV表達、多模態(tài)網(wǎng)絡(luò)中，都會提前做一定程度的對齊和信息融合。

簡單理解前融合，其實可以將其看做一種更徹底的融合方式。它不是在結(jié)果上做疊加，而是試圖從源頭上消除傳感器之間的邊界。

最后的話

多傳感器前融合就是在數(shù)據(jù)最原始的階段，把不同傳感器的信息統(tǒng)一到一起，再交給模型處理。它解決的是“信息什么時候開始融合”的問題。越早融合，信息越完整，但對系統(tǒng)能力要求也越高。在當(dāng)前階段，它更像是一種能力上限的探索方向，而不是默認選擇。

審核編輯 黃宇