自動駕駛是人工智能當(dāng)前最熱門的方向之一，也是未來將對人類生活會產(chǎn)生重大影響的方向。機器學(xué)習(xí)在自動駕駛中有舉足輕重的地位，從環(huán)境感知到策略控制，都有它的身影。在本文中，SIGAI以百度阿波羅平臺為例，介紹機器學(xué)習(xí)在自動駕駛系統(tǒng)中的應(yīng)用，揭開自動駕駛算法的神秘面紗。

自動駕駛簡介

自動駕駛的目標(biāo)是讓交通工具能夠自主行駛，典型的是飛行器和車輛，這是人類長期以來追求的目標(biāo)。飛機的自動駕駛在多年前已經(jīng)實現(xiàn)，空中的障礙物、交通情況比地面簡單很多，而且有雷達等手段精確定位?，F(xiàn)階段的重點是車輛的自動駕駛，目前，Google、百度、特斯拉等公司都投入大量資源在這個領(lǐng)域進行研發(fā)，也取得了一些重要進展。

目前的自動駕駛系統(tǒng)由攝像機，激光雷達等傳感器，控制器，GPS定位系統(tǒng)，數(shù)字地圖，算法等多個部件構(gòu)成，在這里我們重點介紹算法部分，尤其是機器學(xué)習(xí)技術(shù)在其中的應(yīng)用情況。

無人駕駛為什么需要機器學(xué)習(xí)？

很多人可能不理解為什么自動駕駛需要機器學(xué)習(xí)技術(shù)，讓我們首先來看人是怎么駕駛車輛的?，F(xiàn)在要開車從清華大學(xué)東門去北京首都機場T3航站樓，你作為司機要完成這一次駕駛?cè)蝿?wù)。接下來你會怎么做？

首先，你要知道本次行駛的起始地和目的地。如果是老司機，你會知道按照什么樣的路線開到機場去；如果不是，則需要借助導(dǎo)航軟件，它將為你計算出一條最優(yōu)的行駛路徑。下面是搜狗地圖為我們計算出來的路徑：

這里涉及到定位，路徑規(guī)劃的問題。前者可以通過GPS或其他技術(shù)手段來實現(xiàn)，后者也有成熟的算法，如Dijkstra或者A*搜索算法，學(xué)過數(shù)據(jù)結(jié)構(gòu)和算法的同學(xué)對Dijkstra算法都不會陌生，它給出了計算圖的兩個節(jié)點之間最短距離的方案。目前，這一問題已經(jīng)很好的解決了，而且計算機比人要強。

接下來，你就要啟動汽車開始行駛了。首先你要知道的是：路在什么地方？應(yīng)該上哪個車道？

這就是機器學(xué)習(xí)登場的時候了，它要解決路面和車道線檢測問題。目前主流的自動駕駛系統(tǒng)一般都采用了激光雷達+攝像機+其他傳感器相結(jié)合的方案。無論是激光雷達掃描得到的3D距離數(shù)據(jù)，還是攝像機成像的2D數(shù)據(jù)，我們都要對它們進行分析，以準(zhǔn)確的確定路面的位置，車道線和每個車道的范圍。

在找到了道路和車道之后，我們就要開始行駛了，你要控制油門，剎車，方向盤。現(xiàn)在問題又來了，怎么開？

你得知道路上有沒有車，有沒有人，有多少車，有多少人，以及其他障礙物，它們在路面的什么地方。這又是機器學(xué)習(xí)和機器視覺要解決的問題，同樣是檢測問題。我們需要對激光雷達或者攝像機的圖像進行分析，得到這些障礙物的準(zhǔn)確位置。

行駛過程中，你遇到的這些行人，車輛都是移動的，因此你必須要對他們的運動趨勢做出預(yù)判。你前面的車輛、后面的車輛的行駛速度和軌跡都會影響你要采取的動作。如果有人要過馬路，距離你還有30米，你是停下來等他過去，還是慢速行駛過去？

這是機器視覺中的目標(biāo)跟蹤問題，我們要準(zhǔn)確的跟蹤出人，車輛，動物等移動目標(biāo)的運動軌跡，估計出他們的運動速度與方向，以便于做出決策。

行駛一會兒之后，你遇到了第一個十字路口，這里有紅綠燈，當(dāng)前是紅燈，因此你需要停下來等待，而不是硬闖過去，這又涉及到一個問題，你怎么知道這些交通燈？

這依然是機器視覺要解決的問題，即準(zhǔn)確的檢測出圖像中的交通燈，并知道它們當(dāng)前的狀態(tài)。除了紅綠燈之外，還有其他交通標(biāo)志需要我們識別，比如速度限制、是否允許調(diào)頭等。

還有一個問題沒有解決，在知道這些環(huán)境參數(shù)之后，我們該怎么行駛？即根據(jù)環(huán)境參數(shù)得到要執(zhí)行的動作，在這里是車輛行駛的速度（速度是一個矢量，具有大小和方向）。最簡單的做法是用規(guī)則來做決策，我們總結(jié)出人駕駛車輛的經(jīng)驗，前面沒有車，后面沒有車的時候該怎么行駛；前面有2輛車，后面有3輛車的時候該怎么行駛.....。問題是：各種情況實在是太多了，我們無法窮舉出所有的情況。

對于這個問題的一個解決方案是深度強化學(xué)習(xí)，和AlphaGo類似的一種技術(shù)，這也是一種機器學(xué)習(xí)算法。它的思路是根據(jù)環(huán)境的參數(shù)預(yù)測出要執(zhí)行的動作，我們用一些數(shù)據(jù)進行訓(xùn)練，得到這樣一個模型，也就是人開車時的經(jīng)驗，然后用它來做決策。但是這種方法有一個嚴(yán)重的問題，神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果不具有可解釋性，有時候會出現(xiàn)莫名其妙的結(jié)果，這會嚴(yán)重影響安全性。關(guān)注過AlphaGo的同學(xué)都知道，在一次對戰(zhàn)中，它下出了一個完全無法理解的棋，對于自動駕駛來說，這可能是一個災(zāi)難。

在列出了自動駕駛中所需要用機器學(xué)習(xí)解決的問題之后，接下來我們將以百度阿波羅平臺為例，看看這些問題是怎么解決的。

百度阿波羅平臺簡介

阿波羅（Apollo）是百度的無人駕駛開放平臺，和當(dāng)年的阿波羅登月計劃同名，對于這一計劃，時任美國總統(tǒng)約翰肯尼迪有一句經(jīng)典的名言：

我們選擇在這個10年登上月球并完成其他計劃，并不是因為它容易完成，而是因為它充滿挑戰(zhàn)，因為（登月）這一目標(biāo)可以整合并檢驗我們最出色的能力和技能。

在2017年百度已經(jīng)宣布阿波羅開源，目前有大量的廠商已經(jīng)接該平臺進行合作。我們可以通過閱讀它的源代碼和文檔來了解其所采用的技術(shù)。

阿波羅的官網(wǎng)地址是：

http://apollo.auto/

源代碼，文檔與數(shù)據(jù)下載地址為：

https://github.com/apolloauto

在這里需要申明的是，SIGAI的作者與百度以及阿波羅平臺沒有任何商業(yè)和其他關(guān)系，我們純粹是站在技術(shù)和產(chǎn)品角度，以第三方的視角來分析他們的技術(shù)。

先看看阿波羅官方對目前狀態(tài)的整體介紹：

阿波羅2.5版本的目標(biāo)是用低成本的傳感器實現(xiàn)自動駕駛。它能讓車輛保持在某一車道上，并與前面最近的車輛保持距離，這通過一個前視攝像頭，以及前視雷達來實現(xiàn)。對攝像頭圖像的分析采用了深度神經(jīng)網(wǎng)絡(luò)，隨著樣本數(shù)據(jù)的累積，神經(jīng)網(wǎng)絡(luò)的預(yù)測將越來越準(zhǔn)。官方說明，目前不支持在高度彎曲，沒有車道線標(biāo)志的道路上行駛。

首先來看它軟件部分的整體結(jié)構(gòu)（下圖截取自阿波羅官網(wǎng)）：

在這里，我們重點關(guān)注的是感知模塊，其他模塊以后有機會的話會寫文章分別介紹。

感知模塊

首先來看感知模塊，它為我們提供了類似人類眼睛所提供的視覺功能，即理解我們所處的駕駛環(huán)境。首先來看阿波羅官方對感知模塊的介紹（以下兩段話引用了他們的原文）：

“Apollo 2.0感知模塊包括障礙物檢測識別和紅綠燈檢測識別兩部分。障礙物檢測識別模塊通過輸入激光雷達點云數(shù)據(jù)和毫米波雷達數(shù)據(jù)，輸出基于兩種傳感器的障礙物融合結(jié)果，包括障礙物的位置、形狀、類別、速度、朝向等信息。紅綠燈檢測識別模塊通過輸入兩種焦距下的相機圖像數(shù)據(jù)，輸出紅綠燈的位置、顏色狀態(tài)等信息。上述兩大感知功能，使無人車具備在簡單城市道路自動駕駛的能力，希望能夠?qū)o人駕駛社區(qū)有幫助。如果對算法細節(jié)有興趣，請查閱github上的技術(shù)文檔?！?/p>

“通過安裝在車身的各類傳感器如激光雷達、攝像頭和毫米波雷達等獲取車輛周邊的環(huán)境數(shù)據(jù)。利用多傳感器融合技術(shù)，車端感知算法能夠?qū)崟r計算出環(huán)境中交通參與者的位置、類別和速度朝向等信息。背后支持這套自動駕駛感知系統(tǒng)的是多年積累的大數(shù)據(jù)和深度學(xué)習(xí)技術(shù)，海量的真實路測數(shù)據(jù)經(jīng)過專業(yè)人員的標(biāo)注變成機器能夠理解的學(xué)習(xí)樣本，大規(guī)模深度學(xué)習(xí)平臺和GPU集群將離線學(xué)習(xí)大量數(shù)據(jù)所耗費的時間大幅縮短，訓(xùn)練好的最新模型通過在線更新的方式從云端更新到車載大腦。人工智能+數(shù)據(jù)驅(qū)動的解決方案使百度無人車感知系統(tǒng)能夠持續(xù)不斷的提升檢測識別能力，為自動駕駛的決策規(guī)劃控制模塊提供準(zhǔn)確、穩(wěn)定、可靠的輸入。”

從這里可以看到，他們采用了攝像機，激光雷達，毫米波雷達等多種傳感器，用深度學(xué)習(xí)技術(shù)對這些傳感器采集的數(shù)據(jù)進行分析，以確定車輛當(dāng)前所處環(huán)境中的交通參與者，這里的參與者是指人，車等重要目標(biāo)。

整個感知模塊的結(jié)構(gòu)如下圖所（該圖來自阿波羅在github上的公開文檔）：

從上圖可以看出，核心的算法包括：

車道檢測

目標(biāo)檢測

車道線檢測

目標(biāo)跟蹤

軌跡管理

相機標(biāo)定

預(yù)測算法

規(guī)劃算法

在這里我們重點介紹前面4個算法。

道路和車道線識別

車道線屬于靜態(tài)目標(biāo)，不會移動。準(zhǔn)確的確定車道線，不僅對車輛的縱向控制有用，還對橫向控制有用。車道線由一系列的線段集合來表示。首先，用卷積神經(jīng)網(wǎng)絡(luò)對攝像機采集的圖像進行處理，預(yù)測出車道線的概率圖，即每一點處是車道線的概率。然后，對這種圖進行二值化，得到分割后的二值圖像。接下來計算二值圖像的聯(lián)通分量，檢測出所有的內(nèi)輪廓，然后根據(jù)輪廓邊緣點得到車道的標(biāo)志點。從他們的描述文檔看，核心的一步是用卷積神經(jīng)網(wǎng)絡(luò)預(yù)測出圖像每一點是車道線的概率。

障礙物檢測識別

下面來看官方對障礙物 檢測模塊的描述：

“障礙物模塊包括基于激光雷達點云數(shù)據(jù)的障礙物檢測識別、基于毫米波雷達數(shù)據(jù)的障礙物檢測識別以及基于兩種傳感器的障礙物結(jié)果融合?；诩す饫走_點云數(shù)據(jù)的障礙物檢測識別，通過線下訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型，學(xué)習(xí)點云特征并預(yù)測障礙物的相關(guān)屬性（比如前景物體概率、相對于物體中心的偏移量、物體高度等），并根據(jù)這些屬性進行障礙物分割?；诤撩撞ɡ走_數(shù)據(jù)的障礙物檢測識別，主要用來對毫米波雷達原始數(shù)據(jù)進行處理而得到障礙物結(jié)果。該算法主要進行了ID擴展、噪點去除、檢測結(jié)果構(gòu)建以及ROI過濾。多傳感器障礙物結(jié)果融合算法，用于將上述兩種傳感器的障礙物結(jié)果進行有效融合。該算法主要進行了單傳感器結(jié)果和融合結(jié)果的管理、匹配以及基于卡爾曼濾波的障礙物速度融合。具體算法請參閱github技術(shù)文檔。”

從這里可以看出，對障礙物的檢測與車道線檢測不同，這里采用的是基于激光雷達和毫米波雷達的數(shù)據(jù)。這是出于安全的考慮，如果采用攝像機，在惡劣天氣如雨雪，以及極端光照條件下，圖像將無法有效的分析，另外，激光雷達和毫米波雷達給出了物體準(zhǔn)確的距離數(shù)據(jù)，這對安全的行駛至關(guān)重要，而單純靠圖像數(shù)據(jù)分析則很難做到。

接下來我們看他們對神經(jīng)網(wǎng)絡(luò)實現(xiàn)方案的描述：

“Deep network ingests an image and provides two detection outputs, lane lines and objects for Apollo 2.5. There is an ongoing debate on individual task and co-trained task for deep learning. Individual networks such as a lane detection network or an object detection network usually perform better than one co-trained multi-task network. However, with given limited resources, multiple individual networks will be costly and consume more time in processing. Therefore, for the economic design, co-train is inevitable with some compromise in performance. In Apollo 2.5, YOLO [1][2] was used as a base network of object and lane detection. The object has vehicle, truck, cyclist, and pedestrian categories and represented by a 2-D bounding box with orientation information. The lane lines are detected by segmentation using the same network with some modification.”

這里他們考慮了兩種方案：車道線檢測和障礙物檢測使用同一個神經(jīng)網(wǎng)絡(luò)，以及各自使用一個神經(jīng)網(wǎng)絡(luò)。后者的準(zhǔn)確率更高，但更耗費計算資源，而且處理時間可能會更長。最后選用的是第一種方案。具體的，采用了YOLO[1][2]作為基礎(chǔ)網(wǎng)絡(luò)來進行目標(biāo)和車道檢測。目前區(qū)分的目標(biāo)有汽車，自行車，行人。這些目標(biāo)都用一個2D的矩形框表示，并且?guī)в谐蛐畔?。車道線用同一個網(wǎng)絡(luò)的輸出得到，使用了圖像分割技術(shù)。在之前的SIGAI公眾號文章“基于深度學(xué)習(xí)的目標(biāo)檢測算法綜述”中已經(jīng)簡單介紹了YOLO和其他主要的算法，感興趣的讀者可以閱讀，如有需要。實現(xiàn)時，使用了Caffe。

阿波羅將目標(biāo)分為兩種類型，靜態(tài)的和動態(tài)的，下面來看他們的描述：

“In a traffic scene, there are two kinds of objects: stationary objects and dynamic objects. Stationary objects include lane lines, traffic lights, and thousands of traffic signs written in different languages. Other than driving, there are multiple landmarks on the road mostly for visual localization including streetlamp, barrier, bridge on top of the road, or any skyline. For stationary object, we will detect only lane lines in Apollo 2.5.”

靜態(tài)的目標(biāo)包括車道線，交通燈，其他各種寫有文字的交通標(biāo)志。除此之外，路上還有一些標(biāo)志可用于視覺定位，包括路燈，柵欄，天橋，地平線等。

下面來看對動態(tài)目標(biāo)的描述：

“Among dynamic objects, we care passenger vehicles, trucks, cyclists, pedestrians, or any other object including animal or body parts on the road. We can also categorize object based on which lane the object is in. The most important object is CIPV (closest object in our path). Next important objects would be the one in neighbor lanes.”

動態(tài)目標(biāo)目前關(guān)注的是車輛，自行車，行人，動物等。在這些目標(biāo)中，最重要的是道路上離我們最近的物體，其次是相鄰車道上的物體。

“Given a 2D box, with its 3D size and orientation in camera, this module searches the 3D position in a camera coordinate system and estimates an accurate 3D distance using either the width, the height, or the 2D area of that 2D box. The module works without accurate extrinsic camera parameters.”

目標(biāo)跟蹤

在檢測出各個運動目標(biāo)之后，接下來需要準(zhǔn)確的跟蹤這些目標(biāo)，得到他們的運動參數(shù)和軌跡。目標(biāo)跟蹤是一個狀態(tài)估計問題，這里的狀態(tài)就是目標(biāo)的位置，速度，加速度等參數(shù)。跟蹤算法可以分為單目標(biāo)跟蹤和多目標(biāo)跟蹤兩類，前者只跟蹤單個目標(biāo)，后者可以同時跟蹤多個目標(biāo)。

跟蹤算法的數(shù)據(jù)來源是目標(biāo)檢測的輸出結(jié)果，即在每一個時刻先檢測出路上的移動目標(biāo)，得到他們的位置，大小等信息，然后對不同時刻的這些數(shù)據(jù)進行分析，得到目標(biāo)的狀態(tài)和運動軌跡。

單目標(biāo)跟蹤算法的核心是估計出單個目標(biāo)的位置，速度，加速度等狀態(tài)信息，典型的算法有卡爾曼濾波，粒子濾波等。

和單個目標(biāo)跟蹤不同，多目標(biāo)跟蹤需要解決數(shù)據(jù)關(guān)聯(lián)問題，即上一幀的每個目標(biāo)和下一幀的哪個目標(biāo)對應(yīng)，還要解決新目標(biāo)出現(xiàn)，老目標(biāo)消失問題。多目標(biāo)的跟蹤的一般流程為每一時刻進行目標(biāo)檢測，然后進行數(shù)據(jù)關(guān)聯(lián)，為已有目標(biāo)找到當(dāng)前時刻的新位置，在這里，目標(biāo)可能會消失，也可能會有新目標(biāo)出現(xiàn)，另外目標(biāo)檢測結(jié)果可能會存在虛警和漏檢測。聯(lián)合概率濾波，多假設(shè)跟蹤，線性規(guī)劃，全局?jǐn)?shù)據(jù)關(guān)聯(lián)，MCMC馬爾可夫鏈蒙特卡洛算法先后被用于解決數(shù)據(jù)關(guān)聯(lián)問題來完成多個目標(biāo)的跟蹤。

首先我們定義多目標(biāo)跟蹤的中的基本概念，目標(biāo)是我們跟蹤的對象，每個目標(biāo)有自己的狀態(tài)，如大小、位置、速度。觀測是指目標(biāo)檢測算法在當(dāng)前幀檢測出的目標(biāo)，同樣的，它也有大小、位置、速度等狀態(tài)值。在這里，我們要建立目標(biāo)與觀測之間的對應(yīng)關(guān)系。下面是一個數(shù)據(jù)關(guān)聯(lián)示意圖：

在上圖中，第一列圓形為跟蹤的目標(biāo)，即之前已經(jīng)存在的目標(biāo)；第二列圓為觀測值，即當(dāng)前幀檢測出來的目標(biāo)。在這里，第1個目標(biāo)與第2個觀察值匹配，第3個目標(biāo)與第1個觀測值匹配，第4個目標(biāo)與第3個觀測值匹配。第2個和第5個目標(biāo)沒有觀測值與之匹配，這意味著它們在當(dāng)前幀可能消失了，或者是當(dāng)前幀沒漏檢，沒有檢測到這兩個目標(biāo)。類似的，第4個觀測值沒有目標(biāo)與之匹配，這意味著它是新目標(biāo)，或者虛警。

下面我們看對阿波羅官方對跟蹤的描述：

“The object tracking module utilizes multiple cues such as 3D position, 2D image patches, 2D boxes, or deep learning ROI features. The tracking problem is formulated ase multiple hypothesis data association by combining the cues efficiently to provide the most correct association between tracks and detected object, thus obtaining correct ID association for each object.”

這里采用了多種線索來跟住目標(biāo)，包括3D坐標(biāo)，2D圖像塊，2D包圍盒，以及通過深度學(xué)習(xí)得到的ROI特征。對于多目標(biāo)跟蹤，這里采用了多假設(shè)跟蹤算法[3]，這種算法最早用于雷達數(shù)據(jù)的跟蹤，如果對它感興趣，可以閱讀參考文獻。

紅綠燈檢測識別

下面來看對紅綠燈檢測算法的描述：

“紅綠燈模塊根據(jù)自身的位置查找地圖，可以獲得前方紅綠燈的坐標(biāo)位置。通過標(biāo)定參數(shù)，可以將紅綠燈從世界坐標(biāo)系投影到圖像坐標(biāo)系，從而完成相機的自適應(yīng)選擇切換。選定相機后，在投影區(qū)域外選取一個較大的感興趣區(qū)域，在其中運行紅綠燈檢測來獲得精確的紅綠燈框位置，并根據(jù)此紅綠燈框的位置進行紅綠燈的顏色識別，得到紅綠燈當(dāng)前的狀態(tài)。得到單幀的紅綠燈狀態(tài)后，通過時序的濾波矯正算法進一步確認(rèn)紅綠燈的最終狀態(tài)。我們提出的基于CNN的紅綠燈的檢測和識別算法具有極高的召回率和準(zhǔn)確率，可以支持白天和夜晚的紅綠燈檢測識別。具體算法請參閱github技術(shù)文檔。”

模型數(shù)據(jù)

下圖是感知模塊中的一些模型和參數(shù)：

cnn_segmentation目錄下是用于車道線分割的模型。traffic_light目錄下有交通燈檢測模型。yolo_camera_detector目錄下有YOLO檢測器的配置文件。感興趣的讀者可以進一步閱讀。

參考文獻

[1] J Redmon, S Divvala, R Girshick, A Farhadi, "You only look once: Unified, real-time object detection," CVPR 2016.

[2] J Redmon, A Farhadi, "YOLO9000: Better, Faster, Stronger," arXiv preprint.

[3] Donald B Reid. An algorithm for tracking multiple targets. 1979, IEEE Transactions on Automatic Control.