[首發(fā)于智駕最前沿微信公眾號]對于自動(dòng)駕駛來說，激光雷達(dá)的重要性不言而喻，它能精確告訴系統(tǒng)物體在哪里、有多遠(yuǎn)，但在顏色識別上，它卻是個(gè)門外漢。之所以會(huì)出現(xiàn)這個(gè)問題，主要是因?yàn)榧す饫走_(dá)工作在905納米或1550納米的近紅外頻段，這個(gè)波段超出了人類肉眼的可見范圍，自然也就無法直接感知紅、綠、藍(lán)等色彩信息。它輸出的是由無數(shù)個(gè)點(diǎn)構(gòu)成的三維坐標(biāo)圖，雖然這些點(diǎn)帶有反射強(qiáng)度信息，能區(qū)分出路面和標(biāo)線，但卻無法分辨紅綠燈的顏色，也看不出車身的漆面色彩。

就在最近，禾賽發(fā)布了全彩激光雷達(dá)，讓激光雷達(dá)也具備了色彩識別能力。小編查閱了網(wǎng)上的一些內(nèi)容，了解了下全彩激光雷達(dá)色彩識別的基本原理，今天就和大家一起來聊一聊，若是存在錯(cuò)誤之處，也歡迎大家評論區(qū)補(bǔ)充。

圖片源自：禾賽科技

為什么激光雷達(dá)看不見顏色？

激光雷達(dá)之所以是色盲，主要受制于其硬件架構(gòu)和物理特性。在過去，如果想要讓激光雷達(dá)擁有色彩，通用的辦法是拼湊。工程師會(huì)通過一個(gè)甚至多個(gè)攝像頭，先讓激光雷達(dá)畫出物體的輪廓，再讓攝像頭拍下照片，最后通過算法把照片上的顏色一張張貼到激光雷達(dá)的點(diǎn)云上，這個(gè)過程被稱為傳感器融合。

圖片源自：網(wǎng)絡(luò)

這種后期貼圖的方式雖然讓感知信息更加豐富，但在實(shí)際應(yīng)用中卻埋下了不少隱患。由于激光雷達(dá)和攝像頭的物理位置不同、數(shù)據(jù)更新的頻率不一致，再加上光線折射等物理因素，系統(tǒng)在高速運(yùn)動(dòng)或者光影劇烈變化的環(huán)境下，很難實(shí)現(xiàn)物理意義上的完全同步。這就好比一個(gè)后期配音的電影，如果音軌和畫面差了零點(diǎn)幾秒，觀眾會(huì)感到違和，而對于需要毫秒級反應(yīng)的自動(dòng)駕駛系統(tǒng)來說，這種對不齊可能導(dǎo)致算法對物體性質(zhì)的誤判。

此外，后期融合非常吃算力。車載大腦需要花費(fèi)大量的計(jì)算資源去校準(zhǔn)兩套完全不同的數(shù)據(jù)流，試圖把它們強(qiáng)行按在同一個(gè)坐標(biāo)系里。這種繁瑣的處理邏輯，不僅增加了系統(tǒng)的延遲，也讓感知的可靠性打了一定折扣。

如何在一顆芯片上搞定空間與色彩？

全彩激光雷達(dá)其實(shí)是傳感器從物理組合進(jìn)化到了底層融合。其核心技術(shù)突破在于將接收激光回波的感光單元與接收可見光的色彩感應(yīng)單元，集成到了同一塊SPAD（單光子雪崩二極管）系統(tǒng)級芯片上。但想要實(shí)現(xiàn)色彩識別的功能，依舊是非常難的，因?yàn)樗笮酒饶懿蹲降綐O微弱的激光光子來計(jì)算飛行時(shí)間，又能像相機(jī)感光元件一樣感知不同波長的可見光。

圖片源自：禾賽科技

要理解激光雷達(dá)如何實(shí)現(xiàn)彩色識別，首先得打破激光雷達(dá)只能發(fā)光的固有印象。在全彩激光雷達(dá)的芯片設(shè)計(jì)中，每一個(gè)探測單元其實(shí)更像是一個(gè)精密的小型實(shí)驗(yàn)室，它不再只盯著自己發(fā)出的那道激光回波，而是開始同時(shí)留意環(huán)境中的自然光。這就像是在一個(gè)黑屋子里，你不僅通過手電筒閃爍的間隔來判斷墻壁的遠(yuǎn)近，還能通過眼睛分辨出那堵墻是紅色的還是藍(lán)色的。

1）每一個(gè)像素里到底藏著什么玄機(jī)？

實(shí)現(xiàn)彩色識別的第一步，是在傳感器底層的像素結(jié)構(gòu)上做加法。在傳統(tǒng)的芯片方案中，像素點(diǎn)只需要對特定波長的近紅外激光產(chǎn)生反應(yīng)。但全彩激光雷達(dá)引入了類似數(shù)碼相機(jī)感光元件的設(shè)計(jì)思路，在同一個(gè)微小的芯片像素上，通過半導(dǎo)體工藝覆蓋了一層極薄的濾光膜。

這些濾光膜就像給感應(yīng)器戴上了三色濾鏡，分別允許紅光、綠光和藍(lán)光通過。這意味著，當(dāng)這個(gè)像素在接收激光脈沖返回信號來測量距離（也就是深度信息）的同時(shí)，它也能捕捉到來自這個(gè)點(diǎn)位的可見光光子。因?yàn)闇y距信號和色彩信號是共用同一個(gè)像素、同一套光路收集進(jìn)來的，這就保證了輸出的每一個(gè)三維坐標(biāo)點(diǎn)在誕生時(shí)就自帶了顏色屬性。這種物理層面的結(jié)合，讓數(shù)據(jù)從源頭就是高度統(tǒng)一的。

2）怎么讓距離和顏色在同一時(shí)刻各就各位？

全彩激光雷達(dá)最難的部分應(yīng)該是如何讓激光測距和色彩感應(yīng)互不干擾。激光雷達(dá)工作時(shí)發(fā)射的脈沖極快，屬于納秒級別，而環(huán)境色彩的采集則依賴于對自然光的積累。全彩激光雷達(dá)的核心芯片采用了單光子探測技術(shù)，這種技術(shù)極其靈敏，甚至能夠捕捉到單個(gè)光子的跳動(dòng)。它利用極高的采樣頻率，在激光脈沖往返的極短時(shí)間內(nèi)，劃分出不同的時(shí)隙。

芯片內(nèi)部的邏輯電路會(huì)把信號分成兩路處理，一路專門記錄激光脈沖從發(fā)射到回傳的時(shí)間差，用來換算成物體的精確距離；另一路則負(fù)責(zé)統(tǒng)計(jì)在同一光軸上進(jìn)入的可見光光子數(shù)量，并根據(jù)濾光片的反饋計(jì)算出RGB數(shù)值。由于這兩項(xiàng)任務(wù)是在同一塊單光子雪崩二極管（SPAD）陣列上完成的，它們在時(shí)間軸和空間位移上是絕對對齊的。這種設(shè)計(jì)徹底告別了過去那種激光雷達(dá)看形狀，攝像頭看顏色的拼接模式，避免了因?yàn)檐囕v顛簸或高速行駛導(dǎo)致畫面和輪廓對不齊的尷尬。

圖片源自：禾賽科技

3）為什么這種自帶顏色的能力如此重要？

從感知的邏輯來看，全彩激光雷達(dá)提供的不再是冷冰冰的幾何點(diǎn)，而是具有語義信息的視覺點(diǎn)云。在傳統(tǒng)的感知方案中，如果路面上突然出現(xiàn)一個(gè)五顏六色的彩色塑料袋，普通激光雷達(dá)可能只能探測到一個(gè)低矮的障礙物，無法判斷它的材質(zhì)。但全彩激光雷達(dá)能立刻通過色彩特征分析出它可能只是一個(gè)質(zhì)地輕盈的漂浮物。

這種能力在識別交通環(huán)境時(shí)非常重要。比如在復(fù)雜的十字路口，地面上不同顏色的導(dǎo)向箭頭、彩色施工護(hù)欄，或者是遠(yuǎn)處交通信號燈投射在物體表面的微弱光影，都能被這種全彩點(diǎn)云直接捕獲。對于后臺的自動(dòng)駕駛算法來說，這相當(dāng)于減少了一個(gè)極其繁瑣的拼圖步驟。系統(tǒng)不需要再拿著攝像頭的圖像去和激光雷達(dá)的輪廓反復(fù)比對校準(zhǔn)，而是直接拿到了一張高清的、帶有深度信息的彩色三維實(shí)景圖。這種數(shù)據(jù)維度的增加，不僅提升了系統(tǒng)對周圍環(huán)境的理解深度，也極大地提高了感知任務(wù)的可靠性和實(shí)時(shí)性。這就好比我們從看一部配音電影，變成了看現(xiàn)場直播，所見即所得。

這種技術(shù)突破能改變什么？

當(dāng)激光雷達(dá)真正看到色彩后，自動(dòng)駕駛系統(tǒng)的感知能力會(huì)發(fā)生質(zhì)的飛躍。最直觀的改變體現(xiàn)在語義識別的精度上。在傳統(tǒng)的點(diǎn)云數(shù)據(jù)中，一個(gè)黑色塑料袋和一個(gè)黑色的水泥墩可能看起來差別不大，因?yàn)樗鼈兊男螤詈头瓷渎士赡鼙容^接近。但如果激光雷達(dá)自帶全彩視覺，算法就能瞬間識別出它們的材質(zhì)和色彩差異，從而做出更合理的避讓策略。

對于交通標(biāo)志和地面標(biāo)線的識別，全彩激光雷達(dá)也表現(xiàn)出極強(qiáng)的優(yōu)勢。很多時(shí)候，車道線的顏色（黃色或白色）或者交通指示牌的底色，對于理解交通規(guī)則至關(guān)重要。原生全彩數(shù)據(jù)讓系統(tǒng)不再需要去猜測顏色，而是直接獲取高清的彩色三維地圖。這不僅能顯著提高系統(tǒng)在復(fù)雜路口、施工區(qū)域的判斷準(zhǔn)確率，還能在夜間或強(qiáng)光直射等攝像頭容易致盲的場景下，通過激光和視覺信息的互補(bǔ)，提供更穩(wěn)健的感知冗余。

這種技術(shù)也極大地釋放了計(jì)算壓力。因?yàn)閿?shù)據(jù)在傳感器端就已經(jīng)完成了融合，車載計(jì)算機(jī)不再需要運(yùn)行復(fù)雜的融合對齊算法，可以將寶貴的算力投入到更高級的決策和規(guī)劃任務(wù)中。這種軟硬件一體化的趨勢，正在讓自動(dòng)駕駛的感知系統(tǒng)變得更加簡潔和高效，讓其既能看清距離，也能讀懂世界的色彩。

審核編輯 黃宇