朱 波，張紀偉，談東奎*，胡旭東
（1.合肥工業大學 汽車工程技術研究院，合肥市 230009，中國；
2.合肥工業大學 智能制造技術研究院，合肥市 230051，中國）
自動駕駛技術能夠有效緩解交通擁堵現狀，減少交通事故的發生，是未來汽車工業發展的必然趨勢[1]。傳統的基于規則的自動駕駛技術通常將自動駕駛解決方案劃分為感知、決策、控制3 個部分[2]。這種方法的特點在于各模塊之間分工明確，系統有明確的規則設定，可解釋性較強。然而，該方法也存在著系統結構復雜、設計開發難度高、過渡依賴人工規則等缺點，同時在遇到設定之外的情形時，系統難以有效建模并快速做出決策[3]。而基于深度神經網絡的端到端自動駕駛系統，通過采用監督學習或無監督學習的方法模仿人類駕駛員的駕駛行為，建立感知輸入與車輛控制之間的直接映射關系[4]。
“端到端(end-to-end)”指“傳感器數據輸入端”到“車輛控制命令端”。經過特定的數據訓練后，端到端自動駕駛系統能夠直接根據獲得的攝像頭、激光雷達(激光探測及測距系統，light-laser detection and ranging，LiDAR)等傳感器信息，映射輸出自動駕駛車輛控制所需要的方向盤轉向角、速度等控制命令。
D.A.Pomerleau 提出了Alvinn 模型[5]，證明了經過專門訓練后的端到端神經網絡能夠在公共道路上自主駕駛車輛。Y.LeCun 等人[6]將端到端神經網絡用于自動導向車輛(automated guided vehicle，AGV)，使其能夠在野外自由避障。NVIDIA 公司(英偉達公司)提出了基于深度卷積神經網絡(convolutional neural network，CNN)的PilotNet 模型[7]，該模型通過已訓練的神經網絡模型將左、中、右3 個攝像頭輸入的圖像直接映射為控制車輛的轉向角，在多種道路上取得了較為滿意的結果，證明了CNN 強大的圖像特征提取能力，但該模型在遇到交叉路口時就會失去前進方向，無法繼續行駛。XU Huazhe 等人則提出長短期記憶全卷積網絡(long short term memory fully convolutional network，LSTM-FCN)模型[8]，通過大規模的駕駛視頻數據完成神經網絡訓練，提高了模型的理解能力，實現了對離散或連續駕駛動作的預測。文獻[9]則在端到端模型中引入了視覺注意力機制，以關注圖像重要信息和減少冗余信息，進一步提高了模型的預測精度。文獻[10]針對交叉路口問題提出了使用導航指令的方式，即在路口處通過向前、向左、向右的導航指令引導車輛通過交叉路口，間接解決了交叉路口通行的問題。A.Sallab 等人提出將深度強化學習方法應用于端到端自動駕駛模型[11]，并在開源賽車模擬器(the open racing car simulator，TORCS)上完成了網絡模型智能體的訓練，并取得滿意結果。此外，其他研究也表明[12-13]，將強化學習應用于端到端駕駛動作預測能夠取得較好的結果。
現有的端到端自動駕駛方法多以攝像頭為主[14]，受光照、雨水等天氣影響較大，且由于攝像頭視角有限，使得多個攝像頭融合后圖像信息量較大，導致神經網絡結構規模倍增，模型訓練速度變慢，且占用大量的計算資源。更重要的是，現有研究方法主要體現在車道保持方面，而關于主動避障行駛和交叉路口通行等任務的端到端自動駕駛研究相對較少。
為此，本文提出了一種基于多源傳感器與導航地圖的端到端自動駕駛決策模型。該模型的輸入由單目前視攝像頭、360°多線激光雷達投影處理后的二維俯視圖、精準定位后截取的局部導航地圖3 部分組成，輸出為汽車方向盤轉向角。經過數據集迭代訓練后，該模型不僅能夠實現跟隨車道線行駛的車道保持功能，而且能夠在遇到障礙物時控制車輛完成局部避障任務，并在遇到Y 字型交叉路口時根據導航信息駛入指定車道。為驗證所提出的端到端自動駕駛模型的有效性，在常規的僅有視覺圖像輸入的端到端模型的基礎上，通過逐步添加不同的網絡分支進行對比分析，驗證了LiDAR 俯視圖與局部導航地圖網絡分支的加入對基礎端到端決策模型功能擴展的有效性。
1.1 端到端決策模型架構
所提出的基于多源傳感器與導航地圖的端到端決策模型為多輸入單輸出模型，其輸入分別由單目前視攝像頭、LiDAR 俯視圖以及局部導航地圖3 部分組成，經過特征提取網絡處理并融合特征后輸出下一時刻期望的方向盤轉向角。采用遞進式方法逐步驗證所提出模型的可行性，分別建立了Model-A、Model-B、Model-C 3 種端到端決策模型如圖1 所示。其中，Model-A 為最基本的端到端決策模型，能夠實現基礎的車道保持功能；
Model-B 則是在Model-A 的基礎上增加了LiDAR 俯視圖網絡分支，主要用于實現車道保持與局部避障行駛功能；
而Model-C 則是進一步的增加了局部導航地圖分支，通過引入導航信息使得車輛經過路口時能夠根據指示信息駛入正確車道，其是本文所提出的核心模型。
圖1 3 種端到端決策模型架構
可見，Model-C 為三輸入模型，每個輸入分別在模型中承擔著不同的角色：前視攝像頭主要用于車道線和障礙物識別，使車輛能夠具有車道保持和基本避障能力；
由于單攝像頭的視野有限，故LiDAR 俯視圖可用于彌補攝像頭的視角不足問題，使得車輛在避障過程中不會因視野丟失導致避障功能失效，輔助實現車道保持與局部避障功能；
局部導航地圖則主要用于引導車輛通過交叉路口時按照導航信息選擇指定的路口，并順利駛入該路口。Model-C 模型通過融合不同傳感器輸入的關鍵圖像特征信息，最終輸出方向盤轉向角的預測值，實現對車輛橫向運動的端到端控制。
卷積神經網絡中，利用權值共享與局部相關性，減少了網絡的參數數量，提高了訓練效率，常用于對圖像關鍵特征的提取[15]。若令b表示輸入圖像數量，h為圖像高度，w為圖像寬度，c為圖像通道數，則CNN的輸出尺寸[b,hout,wout,cout]由卷積核的數量cout、卷積核的大小k、步長s、上下填充數量ph、左右填充數量pw以及輸入圖像X的高寬所共同決定，它們之間的數學關系為：
式中：Cout為輸出通道數量，Cin為輸入通道數量，kw為卷積核寬，kh為卷積核高。
模型的最大池化層(Max pool 層)，它能夠有效降低輸入矩陣尺寸，減少特征維數，降低數據量，提高模型的尺度不變性以及防止過擬合現象，其數學表達為：
式中：xi為感受野區域內Rm,n個神經元的激活值。
模型的壓平層 (Flatten 層)主要用于將CNN 層的數據變為一維矩陣，以轉化為全連接層，其數學表達為：
模型的連接層(Concatenate 層)則用于將來自多個特征提取網絡的特征信息進行融合，其數學表達為：
鑒于Max Pool 層、Flatten 層以及Concatenate 層均不會額外增加參數量，根據式(1)—(3)的規則，Model-A/B/C 的總參數量分別為45 645 633、146 831 233 和158 166 977。
對于網絡模型不同的輸入，應當采取不同結構的特征提取網絡來實現對各種特征信息的提取。對于攝像頭圖像輸入，借鑒經典的VGG 系列網絡模型的圖像特征提取結構[16]，來確定相機圖像特征提取網絡的結構參數，即8 層CNN 結構。而端到端模型所使用的LiDAR 俯視圖和局部導航地圖在輸入網絡前將經過一定的預處理，這使得最終輸入到神經網絡的圖片層次較為分明，特征較為顯著，并不需要過多層數的卷積神經網絡，故此處選擇使用4 層CNN 作為其特征提取網絡。這將有助于降低端到端決策模型對計算資源的占用，提高模型的訓練和執行速度。
根據卷積神經網絡圖像特征提取經驗，卷積層激活函數采用ReLU[17]函數：
全連接層激活函數采用Sigmoid 函數：
1.2 模型損失函數選擇
本文所設計的端到端自動駕駛模型暫不考慮對期望車速的決策，并假定車輛車速保持不變。由于Model-A/B/C 輸出的預測結果只有轉向角，而車輛方向盤轉角本身是一個連續的區間變量，故方向盤轉角的預測問題可視為一個回歸問題。為此，模型選擇使用真實值與預測值之間的Euclid 距離作為Loss 損失函數[9]，損失函數為
式中：yb為轉向角真實值，M為端到端決策模型，I為模型輸入，W為目標網絡權值，M(I,W)為模型預測輸出結果，即轉向角預測值。
為了求解模型損失函數的最小值，訓練優化器選擇Adam 優化器，故模型損失函數更新后，訓練優化后的目標網絡權值為
將Model-A/B/C 所對應的數據集分別命名為Dataset-A、Dataset-B、Dataset-C，并利用Prescan 仿真軟件自行構建場景并采集數據集Dataset-A/B/C。數據采集所用車輛為Prescan 內置的某款緊湊型轎車，車輛模型的主要參數如表1 所示。
表1 車輛主要參數
車載傳感器包括16 線激光雷達、水平視角為48°的單目前視攝像頭，其他車輛信息由Prescan 內置模塊提供。
2.1 激光雷達點云預處理
模型所用的激光雷達為16 線360°環視激光雷達，垂直視角范圍為[-15°,15°]，方位角分辨率為0.2°。如圖2 所示。LiDAR 坐標系以安裝位置為原點、車輛行駛方向為y軸正方向、與車輛軸線垂直指向車輛右側為x軸正方向，投影俯視圖像素w=220，h=440。
圖2 LiDAR 坐標系和圖像坐標系
由于Prescan 提供的點云坐標值并不是以激光雷達本身作為坐標原點，而是在Prescan 全局坐標系下的坐標值，因此需要進行相應的平面坐標旋轉變換，將點云坐標轉換至LiDAR 坐標系下，轉換公式如下：
式中：(x0,y0)為點云在Prescan 坐標系下的坐標，(x,y)為點云在LiDAR 坐標系下的坐標，(xc,yc)為質心坐標，xf為質心坐標系與LiDAR坐標系在X軸方向上的差值，θ為車輛繞著Prescan 坐標系Z軸旋轉的角度。
顯然，激光雷達的點云數據需要經過由LiDAR 坐標系向圖像坐標系的轉換。如圖2 所示，假設激光雷達的某一個反射點為p，其在LiDAR 坐標系下的坐標為p(x,y)，圖像坐標系下的坐標為pimg(r,c)，考慮到模型更需要前方視野，故雷達中心投影相對圖像中心向下平移一定距離，實際坐標轉換關系如下：
式中：k為LiDAR 坐標系與圖像坐標系的比例尺，單位為：像素/m；
f為雷達相對圖像中心向下平移了多少個像素，取f=25。
在對點云數據投影時將進行數據預處理，即對點云數據進行地面分割：先實時使用點云數據動態擬合近似地平面的平面方程(ax+by+cz=1)，再利用反射點到平面的距離d(見式(13))實現點云的篩選。
式中：(x1,y1,z1)為某反射點在LiDAR 坐標系下的坐標，LiDAR 相對地面安裝高度為1.9 m。
地平面的平面方程擬合步驟如下：
步驟1：原始點云數據篩選。根據點云Z軸坐標值，篩選z∈ [-2.6,-1.8] 的點云集合A1。
步驟2：提取坐標信息。創建集合A2，提取點云集合A1中的X、Y、Z坐標信息，形成A2，大小為3n，其中n為點云的數量。
步驟3：根據線性代數理論，計算A2X=1，初步擬合平面系數矩陣X=[a,b,c]T。
步驟4：迭代優化。根據公式(13)計算集合A1中點云到擬合平面的距離，可得d∈ [0,0.03+0.01n] 的點云集合C，其中n依次取8、7、6、5、4、3、2、1，重復步驟3，不斷優化擬合平面系數矩陣X。
仿真環境中的地平面較為理想，因此根據上述方法和距離公式，即可完成地平面分割。但現實世界的地面狀況更為復雜，通常存在一定的坡度變化，并且激光雷達包含測量噪聲，這時更好的地面分割方法是沿著y方向將空間分割成若干個子平面，然后對每個子平面使用上述地面平面擬合算法。
在去除地平面點云后，根據點云y/x坐標距離與圖像的行像素與列像素之間的比例關系，將剩余點云在俯視圖上進行映射。俯視圖像默認為黑色，若圖像中某個像素位置被點云投影占據則將該點賦為紅色，最終得到的俯視圖示例如圖3 所示。
圖3 16 線激光雷達俯視圖
顯然，激光雷達點云俯視圖中包含了駕駛場景的障礙物信息，將該圖像輸入自動駕駛決策模型能夠使其清晰地了解到車輛與周圍障礙物之間的位置關系，為模型的避障行駛功能提供了信息支撐。
2.2 局部導航地圖獲取
現有模型大多以研究車輛在行駛過程中的車道保持任務為主，并沒有考慮如何通過交叉路口的問題，故本模型針對交叉路口中的Y 字型路口提出了一種解決方法，即：給定一張全局導航地圖，根據定位信息，以車輛為中心截取指定大小的局部導航地圖作為決策模型的分支輸入，以引導車輛在遭遇交叉路口時應當選擇哪條路線繼續行駛。
由于預先給定的全局導航地圖是固定而不發生旋轉的，而車輛是處于實時運動的，故為了模擬人類駕駛時局部導航地圖信息會隨著車輛的運動而進行旋轉的情況，從全局導航地圖中定位截取的局部導航地圖也應當進行旋轉，具體的截取步驟如圖4 所示。
圖4 局部導航地圖截取流程
車輛質心在全局導航地圖中的定位公式如下：
式中：k為全局導航地圖比例尺，(xm,ym)為全局導航地圖中心在Prescan 全局坐標系下的坐標，hmap與wmap分別表示全局導航地圖的高與寬。
旋轉后的局部導航地圖如圖5 右側部分所示，其中藍色矩形代表車輛所處的位置，紅色線路代表預先指定的路線，程序所截取的圖像像素尺寸為50×50。根據車輛在全局坐標系的位置信息，旋轉前后的局部導航地圖對比，如圖5 所示。
圖5 局部導航地圖旋轉前后的對比
實際上，直接將導航指令數據作為模型的輸入也能夠實現路口通行功能[10]，但是此時模型的特征提取網絡就需要重新設計，而且隨著后續功能擴展和輸入數據增加，模型結構還需要不斷調整。本文將圖像化后的局部導航地圖作為端到端自動駕駛決策模型的輸入，主要是考慮到模型輸入信息的一致性以及模型的可擴展性。下一步還可以在圖像中增加限速和紅綠燈等信息，由于局部導航地圖的尺度是固定的，因此不需要修改原先網絡的結構。
2.3 數據采集規則
結合自身實際需求以及現實世界的交通規則，本文在采集數據集時將依據如下原則：
1）車輛以平穩的速度在仿真環境中采集數據，車速保持在40 km/h 及以下，不存在急加速或急減速的情況；
2）鑒于障礙物和交叉路口的類型多樣化，為了證明所提出的端到端決策模型的有效性，仿真環境下設置的障礙物主要是靜止停放的車輛及行人，交叉路口主要為Y 字型交叉路口；
3）為避免訓練數據的不平衡，即避障與轉彎數據過少，導致車輛趨向于直線行駛[10]，實際搭建駕駛場景時將在行駛路段適當增加彎道、障礙物以及交叉路口等場景的頻率，提高數據集的平衡性，避免過擬合現象；
4）由于較高的采樣率將導致數據集包含高度相似的圖像，并不能提供較為有效的監督信息，因此數據集的采樣頻率設置為10 Hz[19]。
此外，Y 字型交叉路口的向左側和右側轉向的兩個分岔口分別命名為分岔口M 和分岔口N。在Dataset-C采集時，數據采集車輛所途徑的M 和 N 類型的分岔口數量分別為16 和11，以避免訓練后的網絡模型出現過擬合現象。
值得注意的是，真實汽車的駕駛場景豐富多樣，難以窮盡，為了驗證所提出的端到端自動駕駛模型的有效性，本文只針對每個功能設計了具有代表性的測試場景。若要進一步提高模型的適應能力和泛化性能，還需要獲取更多駕駛場景下的訓練數據。
2.4 數據集增強
在駕駛員認知中，車輛在行駛時是不應該偏離車道的[20]，因此在采集常規數據集時，車輛盡量維持在車道中心，不會出現無故偏離車道的情形。然而，這樣的數據集缺乏錯誤樣本，進而導致使用該數據集訓練后的模型可能缺乏糾錯能力，即當車輛由于累積誤差出現偏離車道時無法自我調節，回到車道中心附近位置。
為了解決該問題，需要向數據集中增加糾錯樣本集。所采用的方法是：將車輛隨機初始化在偏離車道中心的某處位置，并調整其朝向(如圖6 所示，左側示例車輛航向角θ為10°，右側為-10°，航向角取值范圍為[-30°,30°])，然后使用Pure Pursuit 算法使車輛回到車道中心附近，從而獲得糾錯樣本集。
圖6 車輛初始化偏離車道中心
Pure Pursuit 算法是根據車輛的幾何位置關系來推算車輛的控制參數，在中低速情形時具有較好的路徑跟蹤控制性能，圖7 展示了Pure Pursuit 算法的跟蹤模型。
由圖7，可得
圖7 Pure Pursuit 算法跟蹤模型
根據Ackerman 轉向原理，車輛軸距L、轉向半徑R與前輪轉角δf有以下關系：
Pure Pursuit 算法的前輪轉向角為
綜上所述，基于Prescan 在仿真環境下搭建數據采集場景，采集程序在收集相機圖像、激光雷達俯視圖和局部導航圖等數據的同時，還同步保存方向盤轉角作為標簽數據。
最終，Dataset-C 共獲得3 萬余個樣本，其轉向角頻數（Nδ）分布情況如圖8 所示，其中 [-50°,50°] 的轉向角占比約為25.67%，處于較為合理的比例，避免車輛趨向于直線行駛。Dataset-A/B 的轉角分布情況與Dataset-C 類似，此處不再贅述。
圖8 Dataset-C 轉向角統計
3.1 網絡模型的訓練
模型訓練的深度學習框架為TensorFlow 2.1 版本，編程環境為Python 3.7.0，CUDA 版本為10.1；
GPU 為NVIDIA GTX 2060Ti、內 存 為32 GB；
CPU 為Intel Core i7-8700 (六核十二線程)。
顯然，從圖像中預測方向盤轉向角屬于一種回歸問題[21]，為此選用均方根誤差RMSE 作為評價指標，其表達式為
式中：yp為方向盤轉向角的預測值，Nb為圖像批量大小，取Nb=64。
使用TensorFlow 加載數據集Dataset-A/B/C，并將LiDAR 俯視圖尺寸放縮至110×220，其他輸入尺寸保持不變，并按照80%和20%的比例分別將數據集劃分為訓練集和測試集，測試集將通過RMSE 來實時評價網絡的優化過程。以Model-C 為例，其訓練過程示意圖如圖9 所示。
圖9 Model-C 模型訓練過程示意圖
作為對比，NVIDIA 提出的含有5 層特征提取網絡的PilotNet 網絡將一同參與模型訓練，其訓練所用的數據集為Dataset-A。經過50 個迭代次數(N)的epoch訓練，Model-C 的Loss 變化曲線如圖10 所示。
圖10 Model-C 模型訓練Loss 變化曲線
各個模型在不同數據集訓練下均呈現收斂，并沒有出現明顯的波動現象。為了定量分析不同模型之間性能的差異，以各模型在測試集上最后5 個Epoch 的平均值來對比分析，如表2 所示。從RMSE 值對比可以看出，Model-A/B/C 的表現要明顯優于PilotNet 模型。此外，相比Model-A 的RMSE 值，Model-B/C 出現逐漸增大趨勢，可以認為這是由于局部避障和交叉路口通行數據相比車道保持數據有著更大的轉向角差異性，即RMSE 值的增加是由于網絡分支增加所帶來的合理現象，屬于可接受范圍。
表2 不同模型的性能對比
3.2 車道保持驗證分析
針對各模型的車道保持性能驗證，設計了圖11 所示的測試場景，包含直行車道、S 形彎道以及大曲率彎道。
圖11 車道保持驗證場景
通過Prescan 與MATLAB 聯合仿真來驗證Model-A 與PilotNet 在車道保持方面的表現，而參照的基礎模型則為Prescan 自帶的預瞄控制器的轉向角預測曲線，對比結果如圖12 所示。顯然，Model-A 與基礎模型的重合度較高，且較為穩定；
而PilotNet 網絡在部分彎道存在明顯的波動現象，這進一步表明了所建立的Model-A 模型具有較好的學習與表達能力。
圖12 基礎模型/Model-A/PilotNet 轉向角預測
為了驗證Model-B/C 額外網絡分支加入對車道保持的影響，在同樣的測試場景上測試Model-B/C 模型，并結合Model-A 預測結果，構成了圖13 所示的對比圖。顯然，Model-B/C 模型的預測曲線與Model-A 模型的預測曲線有著高度重合，且均較為平滑，抖動幅度較小，Model-B/C 模型僅在部分彎道處存在些許的明顯波動。可見，額外網絡分支的加入，并沒有明顯改變原有模型對相機圖像輸入的特征提取能力。
圖13 Model-A/B/C 轉向角預測
由于本文所設計的端到端自動駕駛模型主要目的是為了擴展傳統端到端模型自動駕駛功能，因此模型輸入沒有考慮車速等汽車狀態數據。為了提高模型在不同車速下的車道保持性能，一個可行的改進方法是將汽車車速、側向加速度、縱向加速度等狀態量輸入給端到端自動駕駛模型。
3.3 避障行駛驗證分析
針對車輛自主換道避障功能的驗證，本文目前僅考慮較為簡單的情況，即雙向兩車道，障礙物為靜止的車輛和行人障礙物，且當主車避障到左側車道時，左側車道無干擾車輛。具體設置的驗證場景如圖14 所示。
圖14 避障驗證場景圖
車輛和行人障礙物場景下，模型Model-A/B/C 控制的主車行駛軌跡如圖15 所示。從圖15a 可知：Model-A 未能控制車輛完成局部避障，這是由于數據集Dataset-A 中并沒有相關避障數據，因此Model-A僅關注車道線信息；
而Model-B/C 均能順利完成局部避障，這充分表明模型已從數據集中學習到對障礙物的識別能力。與Model-A 相比，Model-B 的表現也從側面說明了LiDAR俯視圖的加入能夠實現避障的作用。從圖15b 可知：在行人障礙物場景下Model-B/C 依然能夠有效完成避障行駛，相比車輛障礙物場景，此時主車的換道行駛距離要短一些。
圖15 避障場景下Model-A/B/C 的車輛軌跡
考慮到Model-A 和Model-B 訓練所用的數據集并不是同一個數據集，其避障表現結果并不能直接驗證LiDAR 俯視圖對于擴大感知視野的作用。為此，這里使用數據集Dataset-B 再次訓練Model-A，并將其測試結果與Model-B 對比，可得圖16 所示的軌跡。
圖16 車輛障礙物場景下基于Dataset-B 的Model-A/B 的車輛軌跡
從圖16 可知：基于Dataset-B 訓練的Model-A 依舊未能完成預期的避障轉向行為，但相比基于Dataset-A的Model-A 卻有著明顯變化。對于Model-A 控制下的車輛自動轉向一段距離后折返的現象，通過觀察攝像頭的實時輸入狀況發現：車輛的異常行為發生在攝像頭視野中丟失障礙物車輛信息后。然而，作為對比分析的Model-B 模型所控制的主車并沒有發生此異常行為，而是成功完成了避障轉向行為。
結合2.4 小節提到的基于路徑跟蹤模型的數據增強以及Model-B 的LiDAR 俯視圖輸入，可以分析出：Model-A 的這一現象是由于視野丟失障礙物信息后，Model-A 認為車輛存在偏離預期車道行駛的跡象，因此開始控制車輛返回原車道；
而Model-B 在LiDAR 俯視圖的影響下始終沒有丟失障礙物信息，因而能夠順利完成局部避障行為。可見，圖16 的軌跡對比不僅直接驗證了加入LiDAR 俯視圖分支的有效性，而且側面驗證了增強數據集能夠幫助可能偏離車道的車輛維持車道保持的穩定。
3.4 交叉路口驗證分析
對于交叉路口驗證場景，這里主要探索Y 字型交叉路口，以盡快驗證所提方法的有效性。驗證場景設計如圖17 所示。以左側的S 點作為主車的起點，在隨后的路段分別設置了A、B、C、D共4 個Y字型交叉路口，E、F、G分別為3 條道路的終點位置。圖18 展示了2 條用于測試模型的全局導航地圖行駛路徑(命名為nav-1 和nav-2)，分別經過S-A-B-E和S-A-C-D-F。
圖17 交叉路口驗證場景
圖18 全局導航路徑nav-1 和nav-2
交叉路口場景的測試重點在于驗證局部導航地圖的加入是否對Model-C 在Y 字型交叉路口的選擇中起到了關鍵作用。因此，可直接將Model-C 與Model-B的驗證結果進行對比分析，以便能夠直觀體現出局部導航地圖加入的作用。模型Model-B/C 控制下主車的運動軌跡如圖19 所示。
圖19 Model-B/C 預測的車輛行駛軌跡對比
結合導航地圖與驗證場景可知：對于nav-1 的導航地圖，Model-C 選擇了S-A-B-E線路，與設定導航地圖相符；
對于nav-2 的導航地圖，Model-C 則選擇了S-AC-D-F線路，同樣與其全局導航地圖相符；
而沒有導航地圖網絡分支的Model-B 則選擇了S-A-C-G線路，與設定的nav-1 和nav-2 導航路徑均發生了分歧。顯然，Model-C 與Model-B 選擇的不同已充分表明了局部導航地圖網絡分支的加入對模型在交叉路口的選擇起到了關鍵作用。對于Model-B 這一現象，通過觀察其所途徑的交叉路口可知：Model-B 由于缺乏導航地圖，在交叉路口無法做出正確的判斷，因此只能選擇始終沿著車道線行駛，而右側車道線始終沒有發生中斷，這就是為什么Model-B會在路口朝著右側轉向的緣故。可見，Model-B 模型對車道線的依賴進一步說明了局部導航地圖在交叉路口處道路選擇時的作用。
此外，根據Dataset-C 中車輛所通過的交叉路口統計可知：M 型分岔口即為通往車道線發生中斷的那條道路；
N 型分岔口即為通往右側車道線未發生中斷的那條道路。顯然，統計信息表明了車輛既有通過M 型分岔口，也有N 型分岔口，且N 型占據了40.7%的比例，這充分排除了Model-C 存在對M 型分岔口過擬合的可能。可見，端到端自動駕駛模型引入局部導航地圖的設想是可行的，即通過增加額外的局部導航地圖網絡分支的方法，能夠使得決策模型具備在Y 字型交叉路口選擇正確車道的能力。
綜上所述，所涉及的端到端決策模型經歷了從PilotNet、Model-A，再到Model-B，最后到Model-C的改進，其功能表現也隨之逐漸提升，如表3 所示，清晰地展示了各模型間能力的不同。表3 中，模型處理時間“t”是指在本驗證平臺環境下，MATLAB 深度學習架構對不同模型單個輸入數據的平均處理時間，以衡量各模型對平臺算力的需求。
表3 不同模型間的功能表現對比
顯然，網絡層數的加深以及網絡分支的增加必然會增加額外的模型處理時間，但考慮到控制程序20 Hz的更新頻率要求和帶來的模型能力提升，模型處理時間的犧牲是可接受的。
3.5 實車道路測試
為進一步驗證所設計的端到端自動駕駛決策模型的有效性，以某款具備主動驅動、轉向和制動功能的電動汽車搭建實車道路測試驗證平臺如圖20 所示。車載設備包括Velodyne 16 線激光雷達、單目攝像頭、全球定位系統(global positioning system,GPS) 組合定位導航、高性能工控機和控制器局域網總線(CANBUS)等，軟件環境為Python 3.7.0。
圖20 智能駕駛電動汽車試驗平臺
鑒于真實場景下Y 字型交叉路口較少，且驗證平臺行駛區域限定，不易采集真實數據。而T 字型交叉路口與Y 字型本質上是相同的，且在特征方面有較多的相似性。因此，根據遷移學習任務轉移的理論，可通過采集一定的T 字型交叉路口數據構建數據集后遷移訓練Model-C，并驗證其在真實場景下的表現，從而驗證LiDAR 俯視圖與局部導航地圖網絡分支的可行性。
真實場景數據及驗證在某一園區進行，如圖21 所示為園區道路俯視圖。由圖21 可見：該園區內有多個T 字型交叉路口、直道和彎道可供數據采集。傳感器經過組合調試后，由熟練駕駛員在園區內駕駛實車完成真實場景數據采集。攝像頭采集的道路圖像照片示例如圖22 所示。
圖21 園區道路俯視圖及測試路線
圖22 真實場景道路圖像示例
為了安全著想，利用真實場景數據對Model-C 進行遷移訓練后，在園區內以10 km/h 的車速進行實車驗證。圖23 展示了人類駕駛員與無人駕駛的Model-C 的轉向角對比。
由圖23 可知：盡管經過真實數據訓練后的Model-C 在轉向角預測方面存在較為明顯的波動，但整體上車輛并沒有偏離目標路線，仍完成了預期任務，即：完成了直道與彎道車道保持控制、主動避障行駛以及交叉路口通行。實車道路測試結果進一步驗證了本文所提出的融合多源傳感器與導航地圖的端到端自動駕駛決策模型的可行性。
圖23 人類駕駛員與Model-C 的轉向角對比
本文提出了一種融合多源傳感器和導航地圖信息的端到端自動駕駛決策模型，該模型以單目前視攝像頭、多線激光雷達俯視圖以及局部導航地圖作為輸入，通過特征融合后，能夠實現對車輛轉向角的預測，克服了單攝像頭視野不足以及交叉路口無法通行的問題。此外，針對訓練數據集缺乏糾偏能力的問題，提出了應用車輛不同初始化位置與純跟蹤算法結合的方式，構建了增強數據集。軟件仿真和實車道路試驗結果表明，經過訓練后的端到端決策模型在車道保持、主動避障、交叉路口通行方面都表現出良好的性能。
然而，由于所提出的決策模型并沒有考慮其他障礙物的運動狀態以及自身的縱向速度控制等，因此無法應用于更為復雜的駕駛場景。考慮到速度與轉向具有不同的屬性，未來的工作將更多集中于通過增加額外網絡分支來賦予模型車速控制能力以及多障礙物場景下的端到端決策等方面，使得模型能夠適應更加復雜的路況并提高車輛的行駛安全性。
猜你喜歡交叉路口車道局部北斗+手機實現車道級導航應用衛星應用(2021年11期)2022-01-19爨體蘭亭集序（局部）中華書畫家(2021年12期)2022-01-06避免跟車闖紅燈的地面車道線科學大眾(2021年9期)2021-07-16非局部AB-NLS方程的雙線性B?cklund和Darboux變換與非線性波數學物理學報(2021年2期)2021-06-09淺談MTC車道改造中國交通信息化(2020年11期)2021-01-14無信號燈交叉路口安全警示裝置科學技術創新(2020年24期)2020-08-12超精密車削出現局部振紋的診斷及消除制造技術與機床(2019年4期)2019-04-04局部遮光器發明與創新(2016年38期)2016-08-22無人駕駛汽車在交叉路口的避障規劃汽車文摘(2015年1期)2016-01-13基于車-車通信的協同交叉路口碰撞預警系統汽車文摘(2015年11期)2015-12-14