[首發(fā)于智駕最前沿微信公眾號(hào)]在高度復(fù)雜的城市交通網(wǎng)絡(luò)中，行駛規(guī)則并不是一成不變的。雖然交通信號(hào)燈、地面標(biāo)線和各類指示牌可以構(gòu)成道路運(yùn)行的基礎(chǔ)框架，但在交通事故處理、電力故障導(dǎo)致信號(hào)燈失效以及極端交通擁堵等特殊場(chǎng)景下，交警就會(huì)介入并接管交通指揮權(quán)。對(duì)于人類駕駛員而言，識(shí)別交警的手勢(shì)并遵從其指令是一種本能反應(yīng)，但對(duì)于自動(dòng)駕駛系統(tǒng)來(lái)說(shuō)，這其中包含了感知、理解與決策領(lǐng)域的多項(xiàng)技術(shù)。

自動(dòng)駕駛汽車如何理解人體姿態(tài)？

自動(dòng)駕駛車輛識(shí)別交警手勢(shì)的第一步始于對(duì)環(huán)境的精細(xì)感知。在早期的計(jì)算機(jī)視覺(jué)方案中，自動(dòng)駕駛系統(tǒng)主要通過(guò)剛性的“邊界框”來(lái)定位物體。這種方法可以將交警從復(fù)雜的背景中框選出來(lái)，識(shí)別其為一個(gè)“人”，但這種粗顆粒度的識(shí)別無(wú)法捕獲關(guān)鍵的指揮信息。為了解決這一問(wèn)題，自動(dòng)駕駛系統(tǒng)引入了人體姿態(tài)估計(jì)技術(shù)。這種技術(shù)不再將交警視為一個(gè)整體，而是通過(guò)提取其肩膀、肘部、手腕、髖部以及腳踝等全身的關(guān)鍵點(diǎn)，構(gòu)建出一個(gè)精細(xì)的生物力學(xué)骨架模型。

為了實(shí)現(xiàn)這一目標(biāo)，需要車輛搭載的多個(gè)傳感器相互協(xié)同。攝像頭作為視覺(jué)核心，負(fù)責(zé)捕捉色彩和紋理信息，可以用來(lái)識(shí)別交警的制服特征、反光背心的樣式以及手部的細(xì)微動(dòng)作。攝像頭在強(qiáng)光直射、黑夜或雨雪天氣下容易出現(xiàn)感知退化。此時(shí)，激光雷達(dá)可以向外發(fā)射激光脈沖并接收反射點(diǎn)云，為系統(tǒng)提供一個(gè)具有精確深度信息的三維世界模型。即使在昏暗的環(huán)境下，激光雷達(dá)也能勾勒出交警手臂擺動(dòng)的空間軌跡。毫米波雷達(dá)則可以實(shí)時(shí)監(jiān)測(cè)交警身體運(yùn)動(dòng)的多普勒頻率變化，從而感知交警動(dòng)作的爆發(fā)力和節(jié)奏感。這種多模態(tài)的數(shù)據(jù)融合，讓自動(dòng)駕駛系統(tǒng)能夠建立一個(gè)超越人類肉眼的、具備全天候能力的數(shù)字視界。

為了提高識(shí)別的可靠性，自動(dòng)駕駛系統(tǒng)需要對(duì)交警的身份進(jìn)行確認(rèn)。在交通環(huán)境中，并不是所有人的揮手動(dòng)作都具有指揮意義，像是路邊招手的行人、正在施工的環(huán)衛(wèi)工或者是普通路人的肢體語(yǔ)言對(duì)于自動(dòng)駕駛汽車來(lái)說(shuō)，其實(shí)是沒(méi)有參考需要的。因此，感知層需通過(guò)卷積神經(jīng)網(wǎng)絡(luò)（CNN）對(duì)目標(biāo)進(jìn)行精細(xì)分類，確認(rèn)其是否穿著特定制服或持有指揮棒。

一旦系統(tǒng)確認(rèn)了交警，后續(xù)的計(jì)算資源將集中于該目標(biāo)的姿態(tài)變化。目前的MoveNet或MediaPipe等算法，能夠在極低的計(jì)算延遲下提取人體的關(guān)鍵點(diǎn)，這對(duì)于在時(shí)速幾十公里的行駛過(guò)程中做出瞬時(shí)判斷至關(guān)重要。

在處理復(fù)雜的手部動(dòng)作時(shí)，手套的顏色、手部被身體其他部位遮擋或者是交警側(cè)身對(duì)向車輛，都是感知算法必須面對(duì)的問(wèn)題。為了增強(qiáng)魯棒性，有技術(shù)提出了三維手部模型，通過(guò)對(duì)關(guān)鍵幀的深度學(xué)習(xí)，自動(dòng)駕駛系統(tǒng)能夠推斷出被遮擋部位的可能姿態(tài)。像是Waymo的感知系統(tǒng)就能夠在繁忙的路口同時(shí)追蹤上百個(gè)行人的動(dòng)態(tài)，并從中篩選出對(duì)車輛行駛有直接影響的指揮信號(hào)。這種從整體到局部的分層式識(shí)別架構(gòu)，構(gòu)成了自動(dòng)駕駛系統(tǒng)理解人類指揮的第一道技術(shù)屏障。

時(shí)間序列建模與手勢(shì)語(yǔ)義的動(dòng)態(tài)解析邏輯

對(duì)于自動(dòng)駕駛汽車來(lái)說(shuō)，僅捕捉到一瞬間的姿態(tài)并不能代表理解了指令，因?yàn)榻煌ㄖ笓]是一個(gè)連續(xù)的動(dòng)作序列。一個(gè)完整的“停止”指令可能包括抬起手臂、掌心向外、并保持一定的僵直度；而“左轉(zhuǎn)”指令則包含指向車輛、劃過(guò)胸前、并指向側(cè)方的一系列軌跡。因此，手勢(shì)識(shí)別本質(zhì)上是一個(gè)視頻分類和動(dòng)作理解的過(guò)程，需要自動(dòng)駕駛系統(tǒng)具備處理“時(shí)間相關(guān)性”的能力。

為了能夠?qū)崿F(xiàn)這種時(shí)間記憶，自動(dòng)駕駛系統(tǒng)可采用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）及其改進(jìn)型架構(gòu)，像是長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）和門控循環(huán)單元（GRU）等就屬于這一類架構(gòu)。這些網(wǎng)絡(luò)結(jié)構(gòu)在處理每一幀圖像時(shí)，都可以保留前一時(shí)刻的信息狀態(tài)。這種“記憶”機(jī)制允許模型將過(guò)去幾十幀中手臂的運(yùn)動(dòng)方向串聯(lián)起來(lái)，從而識(shí)別出動(dòng)作的語(yǔ)義。舉個(gè)例子，當(dāng)系統(tǒng)觀測(cè)到交警的手臂從低位向高位平滑移動(dòng)時(shí)，它不會(huì)簡(jiǎn)單地將其判定為一次“位移”，而是將其解讀為“起步”手勢(shì)的前奏。

為了提高對(duì)指揮手勢(shì)判斷的準(zhǔn)確性，可采用“標(biāo)志位序列算法”的機(jī)制。該機(jī)制可同時(shí)監(jiān)測(cè)交警的身體朝向、視線焦點(diǎn)以及手臂軌跡。當(dāng)交警的目光注視著本車，且手臂做出了針對(duì)性的導(dǎo)流動(dòng)作時(shí)，自動(dòng)駕駛系統(tǒng)會(huì)將該序列標(biāo)記為“有效指令”。這種邏輯能有效過(guò)濾掉那些交警正在指揮側(cè)向交通或者是正在整理裝備的無(wú)效動(dòng)作。

為了進(jìn)一步壓低系統(tǒng)延遲，還有技術(shù)提出了“無(wú)骨架”的手勢(shì)識(shí)別路徑。這種方法不再耗費(fèi)計(jì)算資源去精準(zhǔn)定位每一個(gè)手指關(guān)節(jié)，而是直接通過(guò)訓(xùn)練好的輕量級(jí)檢測(cè)器識(shí)別手臂的整體指向矢量，并將其映射到一個(gè)預(yù)定義的指令集合中。這種方法在保持高達(dá)91%以上準(zhǔn)確率的同時(shí)，還顯著提升了每秒處理幀數(shù)（FPS），使得車輛在高速運(yùn)動(dòng)中也能實(shí)時(shí)解析出交警的最新意圖。這種從“精細(xì)建?！钡健罢Z(yǔ)義映射”的轉(zhuǎn)變，也體現(xiàn)出自動(dòng)駕駛在效率與精度之間的權(quán)衡。

數(shù)據(jù)質(zhì)量是訓(xùn)練這些復(fù)雜模型的關(guān)鍵。Waymo等公司利用其龐大的路測(cè)數(shù)據(jù)庫(kù)，通過(guò)“內(nèi)容搜索”技術(shù)提取出數(shù)百萬(wàn)個(gè)包含交警指揮的真實(shí)片段。這些數(shù)據(jù)被用于訓(xùn)練具備多層深度的神經(jīng)網(wǎng)絡(luò)，使其能夠理解不同國(guó)家、不同文化背景下指揮習(xí)慣的微小差異。

端到端架構(gòu)與大模型驅(qū)動(dòng)的物理世界理解

隨著人工智能領(lǐng)域進(jìn)入大模型時(shí)代，自動(dòng)駕駛系統(tǒng)識(shí)別交警手勢(shì)的技術(shù)路線也正在經(jīng)歷變革。傳統(tǒng)的感知系統(tǒng)是模塊化的，視覺(jué)算法輸出坐標(biāo)，邏輯算法輸出語(yǔ)義，規(guī)劃算法輸出指令。這種鏈條式的結(jié)構(gòu)雖然清晰，但在處理高度抽象、充滿不確定性的人類行為時(shí)，會(huì)因?yàn)楦鲗又g的信息損耗而顯得生硬。像是VLA（視覺(jué)-語(yǔ)言-動(dòng)作）大模型，則嘗試將這些層級(jí)打通，構(gòu)建一種“端到端”的直接映射能力。

在這種全新的架構(gòu)中，交警的手勢(shì)不再被簡(jiǎn)化為一個(gè)“停車”或“通行”的標(biāo)簽。相反，系統(tǒng)會(huì)將攝取的視頻流轉(zhuǎn)化為一種隱式的“物理標(biāo)記”，這些標(biāo)記將直接輸入到一個(gè)擁有數(shù)十億參數(shù)的大模型中。該模型不僅學(xué)習(xí)過(guò)如何開(kāi)車，還閱讀過(guò)海量的交通法規(guī)，并觀看過(guò)無(wú)數(shù)人類在路口交互的視頻。因此，當(dāng)模型看到交警舉起手時(shí)，它就會(huì)直接輸出對(duì)物理世界規(guī)則的直覺(jué)反應(yīng)，做出停車的動(dòng)作。這種方式讓車輛的決策更加擬人化，能夠處理那些未經(jīng)預(yù)設(shè)的復(fù)雜場(chǎng)景。

大模型技術(shù)的另一個(gè)核心優(yōu)勢(shì)在于其強(qiáng)大的“零樣本”或“少樣本”泛化能力。這意味著即便自動(dòng)駕駛系統(tǒng)在訓(xùn)練中從未見(jiàn)過(guò)某種極其罕見(jiàn)的交通引導(dǎo)員服飾，它也能憑借對(duì)“人”和“指揮動(dòng)作”的深層理解，推斷出對(duì)方的指揮意圖。像是在施工地段，一名身穿便服但手持臨時(shí)導(dǎo)流旗幟的工人，其發(fā)出的信號(hào)同樣需要被識(shí)別。傳統(tǒng)系統(tǒng)可能因?yàn)槟繕?biāo)不符合“穿著的制服”特征而被忽略，但基于VLA架構(gòu)的物理世界模型可以通過(guò)周圍的錐桶、停滯的車流以及工人的視線等上下文，綜合判斷該信號(hào)的合法性。

圖片源自：網(wǎng)絡(luò)

如何將這種擁有龐大參數(shù)的大模型安裝在有限算力的車載芯片上也是一個(gè)巨大的挑戰(zhàn)。為了實(shí)現(xiàn)這一目標(biāo)，自動(dòng)駕駛廠商采用了“模型蒸餾”和“剪枝”技術(shù)。這就像是將一本百科全書(shū)壓縮成一本實(shí)用的駕駛手冊(cè)，在云端，自動(dòng)駕駛系統(tǒng)使用超大規(guī)模的模型進(jìn)行深度學(xué)習(xí)，捕獲最細(xì)微的交通特征；隨后，通過(guò)蒸餾算法，將這些知識(shí)遷移到參數(shù)量較小但效率極高的車載模型中。此外，諸如FastDriveVLA之類的創(chuàng)新框架，通過(guò)“視覺(jué)標(biāo)記剪枝”技術(shù)，可以讓模型在每一幀圖像中只關(guān)注那些真正重要的信息（如交警的手臂、面部和周圍的障礙物），并忽略背景中無(wú)關(guān)的建筑，從而在保持高精度的同時(shí)，將計(jì)算負(fù)荷降低數(shù)倍。

決策仲裁系統(tǒng)與復(fù)雜路口的協(xié)同控制策略

當(dāng)感知系統(tǒng)確認(rèn)了交警的指令，大模型解析了語(yǔ)義之后，自動(dòng)駕駛系統(tǒng)便進(jìn)入了最具挑戰(zhàn)性的環(huán)節(jié)，即決策執(zhí)行。在一個(gè)路口，車輛可能同時(shí)接收到多個(gè)互相矛盾的信息源，高清地圖顯示這里是直行車道，交通信號(hào)燈正亮著紅燈，但交警卻揮手示意你可以通過(guò)。在這種情況下，自動(dòng)駕駛系統(tǒng)的內(nèi)部仲裁邏輯必須做出準(zhǔn)確判斷。根據(jù)現(xiàn)行的交通法規(guī)，交警的指揮權(quán)始終高于靜態(tài)的信號(hào)系統(tǒng)和預(yù)設(shè)的規(guī)則。

為了實(shí)現(xiàn)這種高優(yōu)先級(jí)的接管，自動(dòng)駕駛系統(tǒng)的決策層會(huì)采用一種“分層控制架構(gòu)”。頂層是基于交警指令的臨時(shí)規(guī)控器，一旦手勢(shì)識(shí)別模塊確認(rèn)了合法的通行信號(hào)，它就會(huì)向底層的路徑規(guī)劃器發(fā)送一個(gè)覆蓋請(qǐng)求。這個(gè)請(qǐng)求會(huì)暫時(shí)讓紅綠燈的約束條件失效，并根據(jù)交警指引的方向生成一條臨時(shí)的軌跡線。譬如，在左轉(zhuǎn)彎受到交警引導(dǎo)時(shí)，車輛會(huì)自動(dòng)調(diào)整其轉(zhuǎn)彎半徑，并避開(kāi)交警劃定的禁行區(qū)域。這一過(guò)程需要極其精密的時(shí)空同步，因?yàn)榻痪闹噶羁赡苁撬蚕⑷f(wàn)變的，系統(tǒng)必須在毫秒級(jí)時(shí)間內(nèi)重新計(jì)算最優(yōu)軌跡。

安全性始終是自動(dòng)駕駛決策的核心。如果自動(dòng)駕駛系統(tǒng)識(shí)別到了交警在揮手，但無(wú)法解析出確切的語(yǔ)義，它應(yīng)采取“保守響應(yīng)”策略。在這種不確定性較高的場(chǎng)景下，車輛需請(qǐng)求人類駕駛員接管；對(duì)于Robotaxi的無(wú)人駕駛汽車，則需緩慢減速并在安全位置停車，同時(shí)需向云端調(diào)度中心發(fā)起遠(yuǎn)程協(xié)助請(qǐng)求，由人類遠(yuǎn)程安全員來(lái)執(zhí)行下一步動(dòng)作。這種“人機(jī)協(xié)作”的冗余機(jī)制，是確保自動(dòng)駕駛車輛在復(fù)雜社會(huì)環(huán)境中不引發(fā)二次事故的關(guān)鍵支撐。

最后的話

自動(dòng)駕駛系統(tǒng)識(shí)別交警手勢(shì)并不只是一個(gè)視覺(jué)問(wèn)題，從最初的規(guī)則硬編碼，到如今依托海量數(shù)據(jù)和端到端大模型的“直覺(jué)化”駕駛，自動(dòng)駕駛系統(tǒng)正在加速跨越從“機(jī)器”到“智能體”的界限。這種進(jìn)化的最終目標(biāo)，是讓每一輛自動(dòng)駕駛汽車都能像老司機(jī)一樣，在繁雜的路口做出最準(zhǔn)確的判斷。

審核編輯 黃宇