作者 | Jessie
出品 | 焉知
自動駕駛領域的發展見證了采用端到端算法框架的方法的快速增長，這些方法利用原始傳感器輸入來生成車輛運動計劃，而不是專注于檢測和運動預測等單個任務。與模塊化管道相比，端到端系統受益于感知和規劃的聯合特征優化。由于大規模數據集的可用性、閉環評估以及對自動駕駛算法在具有挑戰性的場景中有效執行的需求不斷增加，該領域蓬勃發展。
傳統的自動駕駛系統采用模塊化部署策略，其中感知、預測、規劃等各個功能都是單獨開發并集成到車載車輛中。規劃或控制模塊負責生成轉向和加速輸出，在確定駕駛體驗方面發揮著至關重要的作用。模塊化Pipeline中最常見的規劃方法涉及使用復雜的基于規則的設計，這通常無法有效解決駕駛時發生的大量情況。因此，利用大規模數據并使用基于學習的規劃作為可行的替代方案的趨勢日益明顯。我們將端到端自動駕駛系統定義為完全可微分的程序，該程序將原始傳感器數據作為輸入并生成計劃或低級控制操作作為輸出。圖 1 (a)-(b) 說明了經典公式和端到端公式之間的差異。傳統方法將每個組件的輸出（例如邊界框和車輛軌跡）直接輸入后續單元（虛線箭頭）。相反，端到端范式跨組件傳播特征表示（灰色實線箭頭）。例如，優化函數設置為規劃性能，并通過反向傳播（紅色箭頭）最小化損失，在此過程中任務得到聯合全局優化。
圖 1：自動駕駛端到端整體概覽
本文首次提供了端到端自動駕駛的全面分析，包括高層動機、方法論、基準等。我們提倡的不是單個模塊的優化，而是整體設計算法框架的理念，最終目標是實現安全舒適的駕駛。1、端到端系統的動機
在經典Pipeline中，每個模型都提供獨立的組件并對應于特定的任務（例如交通燈檢測）。這樣的設計在可解釋性、可驗證性和易于調試方面是有益的。然而，由于各個模塊的優化目標不同，感知中的檢測追求平均精度（mAP），而規劃則以駕駛安全性和舒適性為目標，整個系統可能不會朝著一個統一的目標，即最終的規劃/控制任務。隨著順序過程的進行，每個模塊的錯誤可能會加劇并導致驅動系統的信息丟失。此外，多任務、多模型部署可能會增加計算負擔，并可能導致計算使用不佳。
與傳統的對應系統相比，端到端自治系統具有多種優勢。(a) 最明顯的優點是它簡單地將感知、預測和規劃結合到一個可以聯合訓練的模型中。(b) 整個系統，包括其中間表示，針對最終任務進行了優化。(c) 共享主干網提高了計算效率。(d) 數據驅動的優化有可能通過簡單地擴展培訓資源來提供改進系統的新興能力。
請注意，端到端范式不一定表示只有規劃/控制輸出的黑匣子。它可以像經典方法一樣采用中間表示和輸出進行模塊化（圖 1 (b)）。事實上，一些最先進的系統提出了模塊化設計，但同時優化所有組件以實現卓越的性能。
本文重點說明了三種流行的范式，包括兩種模仿學習框架（行為克隆和逆最優控制）以及在線強化學習。
2、方法
本文回顧大多數現有端到端自動駕駛方法背后的基本原理。并討論了使用模仿學習的方法，并提供了兩個最流行的子類別的詳細信息，即行為克隆和逆最優控制。最后，總結了遵循強化學習范式的方法。
圖 2：端到端自動駕駛方法概述
2.1 模仿學習模仿學習（IL），也稱為從演示中學習，通過模仿專家的行為來訓練智能體學習最優策略。IL 需要數據集
包含根據專家的政策收集的軌跡
，其中每個軌跡都是狀態-動作對的序列
。IL 的目標是學習代理策略
匹配
。IL 的一個重要且廣泛使用的類別是行為克隆（BC，Behavior Clone），它將問題歸結為監督學習。逆向最優控制（IOC），也稱為逆向強化學習（IRL），是另一種 IL 方法，它利用專家演示來學習獎勵函數。我們將在以下幾節中詳細說明這兩個類別。2.2 行為克隆
行為克隆BC 在駕駛任務中的早期應用利用端到端神經網絡從攝像頭輸入生成控制信號。在行為克隆中，將代理策略與專家策略相匹配的目標是通過最小化計劃損失來實現的，作為收集數據集上的監督學習問題：
。這里，
表示一個損失函數，用于測量代理動作和專家動作之間的距離。行為克隆因其簡單和高效而具有優勢，因為它不需要手工設計的獎勵設計，而這對于強化學習至關重要。已有學者提出了進一步的增強功能，例如多傳感器輸入、輔助任務和改進的專家設計，以使基于 BC 的端到端駕駛模型能夠處理具有挑戰性的城市駕駛場景。然而，存在一些與行為克隆相關的常見問題。在訓練過程中，行為克隆將每個狀態視為獨立且相同分布，從而導致一個稱為協變量偏移的重要問題。對于一般的IL，已經提出了幾種在策略方法來解決這個問題。在端到端自動駕駛的背景下，行為克隆的另一個常見問題是因果混淆，即模仿者利用并依賴某些輸入組件和輸出信號之間的錯誤相關性。這個問題已經在中的端到端自動駕駛的背景下進行了討論。基于模仿學習的端到端自動駕駛的這兩個具有挑戰性的問題將在后續文段中進一步討論。
2.3 行為克隆
成本學習方法仍然存在一些挑戰。特別是，為了產生更現實的成本，通常會結合高清地圖、輔助感知任務和多個傳感器，這增加了多模態多任務框架的學習和構建數據集的難度。為了解決這個問題，MP3、ST-P3和 IVMP放棄了先前工作中使用的 HD 地圖輸入，并利用預測的 BEV 地圖來計算交通規則的成本，例如靠近中心線并避免與道路邊界發生碰撞。上述成本學習方法顯著增強了自動駕駛汽車決策的安全性和可解釋性，相信受行業啟發的端到端系統設計是真正實現自動駕駛汽車決策的可行方法。
2.4 強化學習
強化學習（RL）是一個通過反復試驗進行學習的領域。深度Q網絡（DQN）在Atari 2600基準上實現人類級別的控制的成功已經普及了深度強化學習。DQN 訓練一個稱為批評家（或 Q 網絡）的神經網絡，該網絡將當前狀態和操作作為輸入，并預測該操作的貼現未來獎勵（當隨后遵循相同的策略時）。然后通過選擇具有最高 Q 值的操作來隱式定義策略。強化學習需要一個允許執行潛在不安全操作的環境，因為它需要探索（例如，有時在數據收集期間執行隨機操作）。此外，強化學習比監督學習需要更多的數據來訓練。因此，現代強化學習方法通常會跨多個環境并行數據收集。在現實汽車中滿足這些要求提出了巨大的挑戰。因此，幾乎所有在自動駕駛中使用強化學習的論文都只研究了仿真技術。
實際上，強化學習與監督學習相結合已成功應用于自動駕駛。隱式可供性、GRI都使用監督學習、語義分割和分類等輔助任務來預訓練其架構的 CNN 編碼器部分。在第二階段，預訓練的編碼器被凍結，并使用現代版本的 Q 學習對凍結圖像編碼器的隱式可供性進行訓練。強化學習也已成功用于微調 CARLA 上的完整架構，這些架構是使用模仿學習進行預訓練的。
強化學習還被有效地應用于網絡可以訪問特權模擬器信息的規劃或控制任務。本著同樣的精神，強化學習已應用于自動駕駛的數據集管理。Roach在特權 BEV 語義分割上訓練 RL 方法，并使用該策略自動收集用于訓練下游模仿學習代理的數據集。WoR 采用 Q 函數和表格動態規劃來為靜態數據集生成附加或改進的標簽。
該領域未來的挑戰是將模擬結果轉移到現實世界。在強化學習中，目標被表示為獎勵函數，大多數算法要求這些獎勵函數是密集的，并在每個環境步驟提供反饋。當前的工作通常使用簡單的目標，例如進度和避免碰撞，并將它們線性組合。這些簡單化的獎勵函數因鼓勵冒險行為而受到批評。設計或學習更好的獎勵函數仍然是一個懸而未決的問題。另一個方向是開發可以處理稀疏獎勵的強化學習算法，從而直接優化相關指標。強化學習可以與世界模型有效結合，當前自動駕駛的 RL 解決方案嚴重依賴于場景的低維表示。
強化學習已經證明了在空蕩蕩的街道上的真車上成功學習車道跟隨。盡管早期結果令人鼓舞，但必須指出的是，三十年前就已經通過模仿學習完成了類似的任務。迄今為止，還沒有報告顯示強化學習端到端訓練的結果可以與模仿學習相媲美。在與 CARLA 模擬器發布一起進行的直接比較中，強化學習遠遠落后于模塊化Pipeline和端到端模仿學習。這種失敗的原因很可能是通過強化學習獲得的梯度不足以訓練駕駛所需的深度感知架構（ResNet 規模）。RL取得成功的 Atari 等基準測試中使用的模型相對較淺，僅由幾個層組成。
3、標桿管理
自動駕駛系統需要對其可靠性進行全面評估以確保安全。為了實現這一目標，研究人員必須使用適當的數據集、模擬器和指標對這些系統進行基準測試。端到端自動駕駛系統大規模基準測試有兩種方法：
（1）模擬中的在線或閉環評估；
（2）人類駕駛數據集的離線或開環評估。其中需要特別關注更有原則性的在線設置，并提供離線評估的簡要總結以確保完整性。
4、挑戰對于圖 1 中所示的每個主題/問題，我們現在討論相關工作、當前挑戰以及有希望的未來趨勢和機遇。我們先基于處理不同輸入方式和公式相關的挑戰開始。然后是關于高效政策學習的視覺抽象的討論。此外，我們還介紹了學習范式，例如世界模型學習、多任務框架和策略蒸餾。最后，我們討論阻礙安全可靠的端到端自動駕駛的一般問題，包括可解釋性、因果混亂、穩健性和普遍性。
不同的模式具有不同的特征，因此，需要有效融合它們并關注行動關鍵特征的挑戰。這里我們以點云和圖像為例來描述各種融合策略。
圖3：輸入模式和融合策略的示例
4.1 輸入方式
4.1.1多傳感器融合
盡管早期的工作成功實現了簡單的自動駕駛任務，例如使用單目攝像頭進行車道跟蹤，但這種單一輸入模式不足以處理復雜的場景。因此，最近的自動駕駛汽車上引入并配備了各種傳感器，如圖4所示。
特別是，來自攝像頭的RGB圖像自然地復制了人類如何感知世界，具有豐富的語義視覺信息；LiDAR 或立體相機提供準確的 3D 空間知識。此外，車速表和 IMU 的速度和加速度等車輛狀態以及高級導航命令是指導端到端系統的其他輸入線。然而，各種傳感器具有不同的視角和數據分布，它們之間的巨大差距給自動駕駛的有效融合、互補帶來了巨大挑戰。
多傳感器融合主要在感知相關領域進行討論，例如物體檢測、跟蹤和語義分割，通常分為三類：早期、中、后期融合。端到端自動駕駛算法探索類似的融合方案。早期融合意味著在將感知信息輸入特征提取器之前對其進行組合。串聯是融合各種輸入的常用方法，例如圖像和深度、BEV點云和高清地圖等，然后使用共享特征提取器對其進行處理。還有在 BEV 上繪制與透視圖像相同大小的 LiDAR 點，并將它們組合作為輸入。為了解決視圖差異，一些工作嘗試在 2D 圖像上投影點云或通過提前預測圖像的語義標簽為每個 LiDAR 點附加一個附加通道。另一方面，后期融合方案結合了多模態的多個結果。由于其性能較差，因此討論較少。
與這些方法相反，中間融合通過單獨編碼輸入，然后在特征級別將它們組合來實現網絡內的多傳感器融合。通用串聯模式也經常被用來融合來自不同模態的特征。最近，有研究采用 Transformers來模擬特征對之間的交互。Transfuser使用兩個獨立的卷積編碼器處理圖像和 LiDAR 輸入，將每個分辨率的特征與 Transformer 編碼器互連，從而產生四階段特征融合。自注意力層用于傳感器Token令牌，關注感興趣的區域并更新來自其他模式的信息。MMFN 進一步在 Transfurser 之上整合了 OpenDrive 地圖和雷達輸入。采用單級 Transformer 編碼器架構來融合最后一個編碼器塊之后的各種特征。注意力機制在聚合不同傳感器輸入的上下文和實現更安全的端到端駕駛性能方面表現出了巨大的有效性。
4.1.2語言輸入自動駕駛系統
人類使用視覺感知和內在知識（例如交通規則和所需路線）來駕駛汽車，它們共同形成因果行為。在一些與自動駕駛相關的領域，例如機器人和室內導航（也稱為嵌入式人工智能），將自然語言作為細粒度指令來控制視覺運動代理已取得顯著進展。
然而，室外自動駕駛任務與室內機器人應用相比，在以下情況下具有不同的特點：
（1）室外環境未知，車輛無法來回探索。
（2）鮮明的錨點標志很少，給語言指令的落地帶來了巨大的挑戰。
（3）駕駛場景更加復雜，具有連續的動作空間和高度動態的代理。
操縱過程中，安全是重中之重。為了將語言知識融入到駕駛行為中，Talk2Car數據集提供了在室外環境中定位參考對象的基準。Talk2Nav、TouchDown和 Map2Seq數據集引入了使用 Google 街景的視覺語言導航任務。將世界建模為離散連接圖，并需要以節點選擇格式導航到目標。HAD首先采用人對車的建議，并使用基于 LSTM 的控制器添加視覺接地任務。將自然語言指令編碼為高級行為，包括左轉、右轉、不左轉等，并在 CARLA 模擬器中驗證他們的語言引導導航方法。后面，相關研究又通過關注文本動作命令來解決低級實時控制問題。最近，CLIP-MC和 LM-Nav 利用 CLIP，受益于大規模視覺語言預訓練，從指令中提取語言知識，從圖像中提取視覺特征。它們展示了預訓練模型的優勢，并為使用多模態模型解決復雜的導航任務提供了一個有吸引力的原型。不同的模式通常會帶來更大的視野和感知準確性，但融合它們來提取端到端自動駕駛的關鍵信息還需要進一步探索。必須在統一空間（例如 BEV）中對這些模式進行建模，識別與政策相關的背景，并丟棄不相關的感知信息。此外，充分利用強大的 Transformer 架構仍然是一個挑戰。自注意力層將所有令牌互連以自由建模其感興趣的領域，但它會產生大量的計算成本，并且不能保證有用的信息提取。感知領域更先進的基于 Transformer 的多傳感器融合機制，也在逐步應用于端到端駕駛任務。
4.2 視覺抽象
端到端自動駕駛系統大致分兩個階段實現操縱任務：將狀態空間編碼為潛在特征表示，然后用中間特征解碼駕駛策略。在城市駕駛的情況下，輸入狀態，即周圍環境和自我狀態，與視頻游戲等常見的政策學習基準相比更加多樣化和高維。因此，首先使用代理預訓練任務來預訓練網絡的視覺編碼器是有幫助的。這使得網絡能夠有效地提取對駕駛有用的信息，從而促進后續的策略解碼階段，同時滿足所有端到端算法的內存和模型大小限制。此外，這可以提高 RL 方法的樣本效率。
視覺抽象或表示學習的過程通常包含某些歸納偏差或先驗信息。為了實現比原始圖像更緊湊的表示，一些方法直接利用預訓練分割網絡中的語義分割掩模作為后續策略訓練的輸入表示。SESR更進一步，通過 VAE 將分割掩碼編碼為類解纏結表示。另外，預測的可供性指標，例如交通燈狀態、速度、車道中心偏移、危險指標和與領先車輛的距離，被用作策略學習的表示。
在觀察到分割或可供性作為表示可能會造成人類定義的瓶頸并導致有用信息的丟失后，一些人選擇了預訓練任務中的中間潛在特征作為有效的表示。ImageNet預訓練模型的早期層可以作為有效的表示。采用通過語義分割和/或可供性預測等任務預先訓練的潛在表示作為強化學習訓練的輸入，并取得優異的性能。比如，有在VAE中的潛在特征通過從分割的擴散邊界和深度圖獲得的注意力圖來增強，以突出重要區域。或者通過運動預測和深度估計以自我監督的方式在未標記的駕駛視頻上學習有效的表示。也有利用一系列先前任務的數據來執行與任務相關的不同預測任務，以獲得有用的表示。同時，潛在表示是通過近似來學習互模擬度量，由動態模型的獎勵和輸出的差異組成。除了這些帶有監督預測的預訓練任務之外，還采用了基于增強視圖的無監督對比學習。進一步將轉向角辨別添加到對比學習結構中。
由于當前的方法主要依賴于人類定義的預訓練任務，因此學習到的表示不可避免地存在可能的信息瓶頸，并且可能包含與駕駛決策無關的冗余信息。因此，如何在表示學習過程中更好地提取驅動政策的關鍵信息仍然是一個懸而未決的問題。
4.3 世界模型和基于模型的強化學習
除了更好地抽象感知表示的能力之外，端到端模型對未來做出合理的預測以采取安全的操作也至關重要。在本節中，我們主要討論當前基于模型的政策學習工作的挑戰，其中世界模型為政策模型提供了明確的未來預測。
深度強化學習通常會面臨樣本復雜度高的挑戰，這對于自動駕駛等任務來說尤其明顯，因為樣本空間很大。基于模型的強化學習（MBRL）通過允許代理與學習的世界模型而不是實際環境進行交互，為提高樣本效率提供了一個有前途的方向。MBRL方法顯式地對世界模型/環境模型進行建模，該模型由過渡動力學和獎勵函數組成，并且代理可以以較低的成本與之交互。這對于自動駕駛特別有幫助，因為像 CARLA 這樣的 3D 模擬器相對較慢。
對高度復雜和動態的駕駛環境進行建模是一項具有挑戰性的任務。為了簡化問題，假設世界是在軌道上的，將過渡動力學分解為非反應性世界模型和自車的簡單運動學自行車模型。利用分解世界模型和獎勵函數來豐富靜態數據集的標簽，通過動態編程優化更好的標簽。概率序列潛在模型被用作世界模型來降低強化學習的樣本復雜性。為了解決學習世界模型潛在的不準確性問題，使用多個世界模型的集合來提供不確定性評估。基于不確定性，世界模型和政策代理之間的想象推出可以相應地被截斷和調整。受成功的 MBRL 模型 Dreamer的啟發，ISO-Dream考慮環境中的非確定性因素，并將視覺動態解耦為可控和不可控狀態。然后，策略在分離狀態上進行訓練，明確考慮不可控因素（例如其他智能體的運動）。
在原始圖像空間中學習世界模型并不適合自動駕駛。預測圖像中很容易錯過重要的小細節，例如交通信號燈。為了解決這個問題，MILE將世界模型合并到 BEV 語義分割空間中。它將世界建模與模仿學習結合起來，采用Dreamer式的世界模型學習作為輔助任務。SEM2還擴展了 Dreamer 結構，但使用了 BEV 分割圖，并使用 RL 進行訓練。除了直接使用 MBRL 學習到的世界模型之外，DeRL 將無模型的行動者評論家框架與世界模型結合起來。具體來說，學習的世界模型提供了對當前行為的自我評估，它與評論家的狀態值相結合，以更好地了解車輛的表現。
用于端到端自動駕駛的世界模型學習（MBRL）是一個新興且有前途的方向，因為它大大降低了 RL 的樣本復雜性，并且了解世界有助于駕駛。然而，由于駕駛環境高度復雜和動態，仍需要進一步研究來確定需要建模的內容以及如何有效地建模世界。
4.4 帶有策略預測的多任務學習
多任務學習（MTL）涉及通過單獨的分支/頭基于共享表示聯合執行多個相關任務。MTL 通過使用單個模型執行多個任務，顯著降低了計算成本。此外，相關領域知識在共享模型內共享，并且可以更好地利用任務關系來提高模型的泛化能力和魯棒性。因此，MTL非常適合端到端的自動駕駛，最終的政策預測需要對當前環境進行全面了解。
與需要密集預測的常見視覺任務相比，端到端自動駕駛預測稀疏信號。這里的稀疏監督給輸入編碼器提取有用信息以進行決策帶來了挑戰。對于圖像輸入，端到端自動駕駛模型中普遍采用語義分割和深度估計等輔助任務。語義分割確保模型獲得對場景的高層次理解并識別不同類別的物體；深度估計使模型能夠理解環境的 3D 幾何形狀，并更好地估計到關鍵物體的距離。通過執行這些任務，圖像編碼器可以更好地提取有用且有意義的特征表示，以供后續規劃。除了透視圖像上的輔助任務之外，3D 對象檢測對于 LiDAR 編碼器也很有用。
隨著BEV 成為自動駕駛的自然且流行的代表，高清地圖映射和 BEV 分割等任務被包含在聚合 BEV 空間特征的模型中。此外，除了這些多任務視覺任務之外，還有針對預測視覺可供性，包括交通燈狀態、到路口的距離以及到對面車道的距離等。
端到端自動駕駛的多任務學習已證明其在提高性能和提供自動駕駛模型的可解釋性方面的有效性。然而，輔助任務的最佳組合以及其損失的適當權重以實現最佳性能仍有待探索。此外，構建具有多種類型的對齊和高質量注釋的大規模數據集提出了重大挑戰。
4.5 政策蒸餾
由于模仿學習或其主要子類別行為克隆只是模仿專家行為的監督學習，因此相應的方法通常遵循“師生”范式。教師（例如 CARLA 提供的手工制作的專家自動駕駛儀）可以訪問周圍智能體和地圖元素的真實狀態，而學生則通過收集的專家軌跡或僅使用原始傳感器輸入的控制信號來直接監督。這給學生模型帶來了巨大的挑戰，因為他們不僅必須提取感知特征，還必須從頭開始學習駕駛策略。
為了解決上述困難，一些研究提出將學習過程分為兩個階段，即訓練教師網絡，然后將策略提煉為最終的學生網絡。特別是，首先使用特權代理來學習如何直接訪問環境狀態。然后，他們讓感覺運動代理（學生網絡）密切模仿特權代理，并在輸出階段進行蒸餾。通過更緊湊的 BEV 表示作為特權代理的輸入，它提供了比原始專家更強的泛化能力和監督。該過程如圖 5 所示。LAV進一步賦予特權代理預測所有附近車輛軌跡的能力，并將這種能力提煉給使用視覺特征的學生網絡。
圖 4：政策蒸餾（a）特權代理通過訪問特權真實信息來學習穩健的策略。專家用虛線標記，表明如果特權代理通過 RL 進行訓練，則不是強制性的。(b) 感覺運動智能體通過特征蒸餾和輸出模仿來模仿特權智能體。
除了直接監督規劃結果之外，一些工作還通過在特征級別提取知識來訓練其預測模型。例如，FM-Net采用現成的網絡，包括分割和光流模型，作為輔助教師來指導特征訓練。盡管人們付出了大量的努力來設計更強大的專家并將知識從教師傳授給不同級別的學生，但師生范式仍然存在提煉效率低下的問題。正如之前的所有作品所示，視覺運動網絡與其特權代理相比表現出巨大的性能差距。例如，特權代理可以訪問交通信號燈的真實狀態，它們是圖像中的小物體，對提取相應特征提出了挑戰，這可能會導致學生的因果混亂。因此，如何從機器學習中的通用蒸餾方法中汲取更多靈感來縮小差距是值得探索的。
總結
我們首先討論端到端自動駕駛系統的動機和路線圖。端到端方法可以大致分為模仿學習和強化學習，我們對這些方法進行了簡要回顧。我們涵蓋閉環和開環評估的數據集和基準。我們總結了一系列關鍵挑戰，包括可解釋性、泛化、世界模型、因果混亂等。后續文章我們將接續本文進一步討論端到端自動駕駛索要面臨的一系列挑戰。并重點分析其應該接受的未來趨勢，幫助讀者可以有效的整合數據引擎、大型基礎模型和車輛到一切的最新發展。