更多優質內容請關注微信公眾號“AI 前線”（ID：ai-front）
大家好，我是來自百度自動駕駛技術部的高階產品經理王石峰。負責感測器、特種車輛識別、交通手勢識別的產品設計和專案管理的工作。很高興在這裡，通過社群帶給大家自動駕駛中有關硬體系統的分享。
接下來，我將從五個方面為大家做自動駕駛汽車硬體系統概述的內容分享，希望大家可以通過我的分享，對硬體系統的基礎有個全面的瞭解：
自動駕駛系統的硬體架構
自動駕駛的感測器
自動駕駛感測器的產品定義
自動駕駛的大腦
自動駕駛汽車的線控系統
根據美國國家運輸安全委員會的調查報告，當時涉事 Uber 汽車——一輛沃爾沃 SUV 系統上的感測器在撞擊發生 6s 前就檢測到了受害者，而且在事故發生前 1.3 秒，原車自動駕駛系統確定有必要採取緊急剎車，此時車輛處於計算機控制下時，原車的緊急剎車功能無法啟用。於是剎車的責任由司機負責，但司機在事故發生前 0.5s 低頭觀看視訊未能抬頭看路。
從事故視訊和後續調查報告可以看出，事故的主要原因是車輛不在環和司機不在環造成的。Uber 在改造原車加裝自動駕駛系統時，將原車自帶的 AEB 功能執行部分截斷造成原車 ADAS 功能失效。自動駕駛系統感知到受害者確定要執行應急制動時，並沒有聲音或影像警報，此時司機正低頭看手機也沒有及時接管剎車。
目前絕大多數自動駕駛研發車都是改裝車輛，相關感測器加裝到車頂，改變車輛的動力學模型；改裝車輛的剎車和轉向系統，也缺乏不同的工況和兩冬一夏的測試。圖中 Uber 研發用車是 SUV 車型自身重心就較高，車頂加裝的裝置進一步造成重心上移，在避讓轉向的過程中轉向過急過度，發生碰撞時都會比原車更容易側翻。
所以在自動駕駛中，安全是自動駕駛技術開發的第一天條。為了降低和避免實際道路測試中的風險，在實際道路測試前要做好充分的模擬、臺架、封閉場地的測試驗證。
軟體在環（Software in loop），通過軟體模擬來構建自動駕駛所需的各類場景，復現真實世界道路交通環境，從而進行自動駕駛技術的開發測試工作。軟體在環效率取決於模擬軟體可復現場景的程度。對交通環境與場景的模擬，包括複雜交通場景、真實交通流、自然天氣（雨、雪、霧、夜晚、燈光等）各種交通參與者（汽車、摩托車、自行車、行人等）。採用軟體對交通場景、道路、以及感測器模擬模擬可以給自動駕駛的環境感知提供豐富的輸入可以對演算法進行驗證和測試。
硬體在環（Hard-ware in loop），各種感測器類似人的眼睛和耳朵，作為自動駕駛系統的感知部分，該部分的效能決定了自動駕駛車輛能否適應複雜多變的交通環境。包括，攝像頭、毫米波雷達、超聲波雷達、鐳射雷達。針對不同的感測器，硬體在環會根據不同的感測器和環境因素來部署。
車輛在環（Vehicle in loop），車輛執行系統向傳動系統發出執行命令來控制車輛，在自動駕駛中取代了人類的手腳。自動駕駛系統的執行控制優劣決定了車輛是否能夠安全舒適的行駛。車輛執行在空曠的場地上，自動駕駛系統感知系統模擬的虛擬場景，自動駕駛系統根據虛擬的場景發出控制指令，再通過感測器將車輛的真實軌跡反饋到虛擬環境中，實現真車與虛擬環境的融合，從而進行車輛操控的驗證。
司機在環（Driver in loop），基於實時模擬技術開發，結合駕駛員的實際行為，可以實現對車輛和自動駕駛技術開發測試做出主觀的評價。司機在環，可以一方面獲得司機的主觀評價，另一方面可以驗證人機共駕駛的功能。
就整體而言，汽車是個全社會化管理的產品，其固有的行業特點是相對保守的。在人工智慧的大潮下，面對造車新勢力和消費者需求變化的衝擊，傳統汽車行業漸進式的創新方法已經面臨巨大的挑戰。急需改變傳統的架構和方法不斷創新。自動駕駛整體的硬體架構不光要考慮系統本身也要考慮人的因素。
自動駕駛系統主要包含三個部分：感知、決策、控制。從整個硬體的架構上也要充分考慮系統感知、決策、控制的功能要求。整體設計和生產上要符合相關車規級標準，如 ISO26262、AECQ-100、TS16949 等相關認證和標準。目前 L1、L2、ADAS 系統的硬體架構體系和供應鏈相對完善符合車規級要求。
感知層依賴大量感測器的資料，分為車輛運動、環境感知、駕駛員檢測三大類。
車輛運動感測器：速度和角度感測器提供車輛線控系統的相關橫行和縱向資訊。慣性導航 + 全球定位系統 = 組合導航，提供全姿態資訊引數和高精度定位資訊。
環境感知感測器：負責環境感知的感測器類似於人的視覺和聽覺，如果沒有環境感知感測器的支撐，將無法實現自動駕駛功能。主要依靠鐳射雷達、攝像頭、毫米波雷達的資料融合提供給計算單元進行演算法處理。V2X 就是周圍一切能與車輛發生關的事物進行通訊，包括 V2V 車輛通訊技術、V2I 與基礎設施如紅綠燈的通訊技術、V2P 車輛與行人的通訊。
駕駛員監測感測器：基於攝像頭的非接觸式和基於生物電感測器的接觸式。通過方向盤和儀表臺內整合的感測器，將駕駛員的面部細節以及心臟、腦電等部位的資料進行收集，再根據這些部位資料變化，判斷駕駛員是否處於走神和疲勞駕駛狀態。
計算單元部分：各類感測器採集的資料統一到計算單元處理，為了保證自動駕駛的實時性要求，軟體響應最大延遲必須在可接受的範圍內，這對計算的要求非常高。目前主流的解決方案有基於 GPU、FPGA、ASIC 等。
車輛控制：自動駕駛需要用電訊號控制車輛的轉向、制動、油門系統，其中涉及到車輛地盤的線控改裝，目前在具備自適應巡航、緊急制動、自動泊車功能的車上可以直接借用原車的系統，通過 CAN 匯流排控制而不需要過度改裝。
警告系統：主要是通過聲音、影像、振動提醒司機注意，通過 HMI 的設計有效減少司機睏倦、分心的行為。
攝像頭：主要用於車道線、交通標示牌、紅綠燈以及車輛、行人檢測，有檢測資訊全面、價格便宜的特定，但會受到雨雪天氣和光照的影響。由鏡頭、鏡頭模組、濾光片、CMOS／CCD、ISP、資料傳輸部分組成。光線經過光學鏡頭和濾光片後聚焦到感測器上，通過 CMOS 或 CCD 積體電路將光訊號轉換成電訊號，再經過影像處理器（ISP）轉換成標準的 RAW，RGB 或 YUV 等格式的數字影像訊號，通過資料傳輸介面傳到計算機端。
鐳射雷達：鐳射雷達使用的技術是飛行時間法（Time of Flight）根據光線遇到障礙的折返時間計算距離。為了覆蓋一定角度範圍需要進行角度掃描，從而出現了各種掃描原理。主要分為：同軸旋轉、稜鏡旋轉、MEMS 掃描、相位式、閃爍式。鐳射雷達不光用於感知也應用於高精度地圖的測繪和定位是公認 L3 級以上自動駕駛必不可少的感測器。
毫米波雷達：主要用於交通車輛的檢測，檢測速度快、準確，不易受到天氣影響，對車道線交通標誌等無法檢測。毫米波雷達由晶片、天線、演算法共同組成，基本原理是發射一束電磁波，觀察回波與入射波的差異來計算距離、速度等。成像精度的衡量指標為距離探測精度、角解析度、速度差解析度。毫米波頻率越高，頻寬越寬，成像約精細，主要分為 77GHz 和 24GHz 兩種型別 。
組合導航：GNSS 板卡通過天線接收所有可見 GPS 衛星和 RTK 的訊號後，進行解譯和計算得到自身的空間位置。當車輛通過遂道或行駛在高聳的樓群間的街道時，這種訊號盲區由於訊號受遮擋而不能實施導航的風險。就需要融合 INS 的資訊，INS 具有全天候、完全自主、不受外界干擾、可以提供全導航引數（位置、速度、姿態）等優點，組合之後能達到比兩個獨立執行的最好效能還要好的定位測姿效能。
這張表總結了常見自動駕駛功能所使用的感測器，以及各個感測器的應用。針對 L1、L2 的自動駕駛功能各國也紛紛出臺了相關標準，加速了市場的發展和產品落地。歐盟新車安全評鑑協會 (E-NCAP) 從 2013 年起便在評分規則中增加了 ADAS 內容，計劃到 2017 年速度輔助系統 (SAS)、自動緊急制動 (AEB)、車道偏離預警 / 車道偏離輔助 (LDW/LKD) 的加分要求為系統，裝機量達到 100%。美國國家公路交通安全管理局 (NHTSA) 和高速公路安全保險協 (IIHS) 也提出 2022 年將自動緊急制動 (AEB) 等 ADAS 功能納入技術標準。
自動駕駛要求侷限於車輛的 ODD（Operational Design Domain），即設計適用範圍。城市道路 + 城際高速是自動駕駛汽車普遍的適用範圍。我國城市封閉道路最高限速 80 公里／小時，高速公路限速 120 公里／小時。乾燥的柏油路面摩擦係數是 0.6，根據剎車距離公式：S=V*V/2gμ 去計算剎車距離得出第一行的表格，再結合自動駕駛系統反應時間和制動系統反應時間得出下表。
從兩個表格可以看出，剎車距離與速度的平方成正比，與摩擦係數成反比。當摩擦係數一定時，剎車距離取決於車速，如果車速增加 1 倍，剎車距離將增大至 4 倍。摩擦係數μ主要與路面材質和天氣相關。
自動駕駛感測器在中國最高限速 120 公里的情況下，探測距離達到 150m 就可以滿足需求了，自動駕駛的技術開發者可以根據實際場景的速度來選擇所需要的感測器，沒有必要一味追求感測器的效能提高整體成本。
感測器的解析度和物體探測的關係可以用 atan 反正切函式來計算，圖中給出的公式多除以了個 2，主要是為了保證在感測器探測時當最小角度是最小目標一半時，任意情況都能覆蓋到某個畫素保證分辨。避免物體恰好不是在一個角度內而產生漏檢。
理論上解析度 0.4 度時 100m 外就可以探測到一輛車，而在 0.1 度解析度下 400m 外就能探測到。但檢測只是識別到有個物體並不代表能識別，從自動駕駛的演算法角度來講，比如鐳射雷達物體識別需要 4 到 5 條線掃描上才能識別出物體的類別。從這個角度看自動駕駛系統如果用 0.4 度解析度的鐳射雷達在 50m 範圍內才能真正識別出一輛車。
自動駕駛離不了多感測器融合，其中鐳射雷達和攝像頭都是光學類的感測器，核心零部件和處理電路相似。有望將兩個感測器前端融合到一起，直接輸出 R、G、B、X、Y、Z 顏色 + 點雲融合資訊。在感測器內部實現資料融合可大幅度降低後端的計算處理量。
其中以 AEye 為代表 ，其 iDAR 智慧感知系統能夠瞬間將 2D 真實世界的色彩資訊智慧地疊加在 3D 資料上。其動態掃描和發射圖紋技術、通過控制每束鐳射脈衝的掃描，可查詢每個點的三維座標和畫素。
IPC 即工業個人計算機（Industrial Personal Computer─IPC）是一種加固的增強型個人計算機，它可以作為一個工業控制器在工業環境中可靠執行。採用符合“EIA”標準的全鋼化工業機箱，增強了抗電磁干擾能力，採用匯流排結構和模組化設計技術。CPU 及各功能模組皆使用插板式結構，並帶有壓桿軟鎖定，提高了抗衝擊、抗振動能力。
整體架構設計需要考慮 ISO26262 的要求，CPU、GPU、 FPGA 以及匯流排都做冗餘設計，防止單點故障。當整體 IPC 系統失效還有 MCU 做最後的保證，直接傳送指令到車輛 Can 匯流排中控制車輛停車。
目前這種集中式的架構，將所有的計算工作統一放到一個工控機中，整體體積較大，功耗高，不適用於未來的量產。但這種架構非常方便，演算法迭代不需要過度考慮硬體的整體設計和車規要求。用傳統的 X86 架構就可以非常快捷的搭建出計算平臺，卡槽設計也方便硬體的更新。
採用工控機集中式運算整體體積和功耗難以滿足量產化要求，需要採用域控制器嵌入式的方案。將各個感測器的原始資料接入到 Sensor Box 中，在 Sensor Box 中完成資料的融合，再將融合後的資料傳輸到計算平臺上進行自動駕駛演算法處理。
自動駕駛汽車功能複雜，保證各個模組和功能間不互相影響和安全性考慮，將大量採用域控制器。根據不同的功能實現分為，車身域控制器、車載娛樂域控制器、動力總成域控制器、自動駕駛域控制器等。以自動駕駛域控制器為例，其承擔了自動駕駛所需要的資料處理運算力，包括毫米波雷達、攝像頭、鐳射雷達、組合導航等裝置的資料處理，也承擔了自動駕駛演算法的運算。
隨著自動駕駛的技術發展，演算法不斷完善。演算法固化後可以做 ASIC 專用晶片，將感測器和演算法整合到一起，實現在感測器內部完成邊緣計算。進一步降低後端計算平臺的計算量，有利於降低功耗、體積、車規化。其中以 Mobileye 為標杆性企業。
鐳射雷達處理需要高效的處理平臺和先進的嵌入式軟體。如圖 Renesas 將包含高效能影像處理技術及低功耗的汽車 R-CarSoC 與 Dibotics 的 3D 實時定位和製圖（SLAM）技術相結合，提供 SLAM on Chip™。SLAM 可在 SoC 上實現高效能所需的 3D SLAM 處理。Dibotics 公司也開發了一款名為“Augmented LiDAR”的嵌入式 LiDAR 軟體，能夠提供實時、先進的 LiDAR 資料處理。
ASIC 晶片是根據某類特定的需求去專門定製的晶片，比通用性的 GPU、FPGA 體積小、功耗低，效能穩定批量化成本低的特定。自動駕駛的演算法公司只要做好晶片的前端設計，後端的製造和工藝都是非常成熟的產業，完全可以依靠外包實現。
晶片的製作流程是由晶片設計、晶片製造、晶片封裝三部分組成。
前端設計完成之後，可以根據實際演算法需求選擇 IP 核通過 EDA（電子設計自動化）完成布圖規劃、佈局、佈線。根據延遲、功耗、面積等方面的約束資訊，合理設定物理設計工具的引數，以獲取最佳的配置從而決定元件在晶圓上的物理位置。
晶片製造工藝上正從 193nm 深紫外（DUV）向 13.5nm 極紫外（EUV）發展。半導體正步入 7nm 時代，更先進的工藝帶來效能上的提升，對比 16nm 工藝 7nm 可提升 40% 的效能和節省 60% 的能耗。
晶片封測是指將通過測試的晶圓按照產品型號及功能需求加工得到獨立晶片的過程。在封測的過程中完成對晶片車規級要求，傳統的汽車電子企業如 NXP 和 ST 有著更加豐富的經驗。
線控就是 Control by Wire 的直譯 。簡單理解，就是車輛的控制都是由一系列命令而執行的，而不是物理的操作進行執行的。
自動駕駛主要分為感知決策控制三部分，控制層是自動駕駛落地的基礎。感知定位如同司機的眼睛，決策規劃如同大腦，執行控制就好比手和腳了。做好自動駕駛的決策規劃也必須懂得執行控制，為了實現自動駕駛，執行機構的線控化是必然趨勢，其中包括線控制動、線控轉向、線控油門。
在傳統車輛上，制動系統多采用液壓或真空伺服機構來控制制動，對自動駕駛而言線控制動是最終的發展趨勢，線控制動是以電子系統取代液壓或氣壓控制單元。
上圖是大陸的線控制動解決方案，MK C1 與 MK100 組成冗餘線控方案。MK C1 將制動助力以及制動壓力控制模組 (ABS、ESC) 被整合為一個結構緊湊、重量輕省的制動單元。MK C1 能滿足自動駕駛對壓力動態特性更高的要求，電觸發的緊急制動所產生的制動距離要短得多。MK100 是大陸的汽車電子穩定控制系統（ESC），在汽車防抱死制動系統 (ABS) 和牽引力控制系統 (TCS) 功能的基礎上，增加了車輛轉向行駛時橫擺率感測器、測向加速度感測器和方向盤轉角感測器，通過 ECU 控制前後、左右車輪的驅動力和制動力，確保車輛行駛的側向穩定性。
電子助力轉向（EPS）與線控轉向最大的區別在於，EPS 方向盤與車輪之間連結並未參與線控技術，依然採用的機械連結。從電訊號控制角度看 EPS 也可以看成是一種線控轉向系統。
英菲尼迪 Q50 線控主動轉向系統基本上還是延續了傳統轉向系統的結構。只是增加了一套離合器裝置以及三組 ECU 電子控制單元和一個轉向力度回饋器。當車輛啟動時，離合裝置會自動切斷連線，轉向的任務交由電控系統。由於採用電子訊號控制，其傳動響應更為迅速，也更為輕鬆。
線控油門就是電子油門，通過位置感測器傳送油門踩踏深淺與快慢的訊號 ，從而實現油門功能的電子控制裝置。這個訊號會被 ECU 接收和解讀，然後再發出控制指令 ，要節氣門依指令快速或緩和開啟它應當張開的角度。這個過程精準而快速。不會有機械磨耗的問題。
電子油門目前已大量普及，凡具備定速巡航即可認定有電子油門，早期電子油門為接觸式，近來已經改為非接觸式。電車依靠電機扭矩實現，直接發扭矩訊號即可，油車依靠發動機管理系統（EMS）發扭矩訊號實現。
轉向的最早改裝是在轉向管柱端截斷加裝轉向電機進行改造。之後利用原車轉向助力系統進行轉向控制。
制動的最早改裝是加裝電機踏板，後續利用原車的 ESC 系統進行控制，未來會選用 MK C1 之類的線控控制系統。
加速的最早改裝都是發扭矩訊號依靠 EMS 實現，後續的改裝方案都是借用原車 ACC 介面由電子油門來執行。
自動駕駛面向量產的線控方案，可以參考英菲尼迪 Q50 的線控轉向、大陸 MK100+MK C1 的線控制動來實現。由自動駕駛域控制器直接輸出電機扭矩／制動壓力訊號給轉向剎車的執行機構，結合大量的測試標定實現精準控制，從而給司乘人員帶來完美的體感舒適度。
從 VSI 釋出自動駕駛產業佈局圖中可以看出自動駕駛產業，是汽車、新能源、IT 通訊、交通運輸、半導體、人工智慧、網際網路等多個 10 萬億巨無霸產業的跨界融合體。自動駕駛汽車是物質流、能量流、資訊流的聚合體，需要行業各方深度合作，只有軟硬體深度整合，打通藩籬跨界的企業才能摘得皇冠上的明珠。
本次分享的部分內容參考了我參與撰寫的《智慧汽車：決戰2020》一書，內容涵蓋技術到實戰、政策到市場、創業到投資，並對全產業鏈進行了全貌梳理。
Apollo 3.0 將在 7 月 4 日百度開發者大會上與大家見面，將開放更多硬體能力給開發者，歡迎大家到現場見證 Apollo 3.0 的釋出！更多硬體相關的技術乾貨也可以繼續關注後續的社群分享。
更多學習資料和自動駕駛相關技術內容，大家可以關注 Apollo 開發者社群的公眾號來獲取，歡迎大家在這裡溝通交流！
A1: 絕大多數不能，具備自動泊車、AEB、ACC 功能的車輛都有希望進行不破壞原車的執行機構的改裝。其他的只能通過破壞原車執行機構進行暴力改裝。
A2：需要做鐳射雷達的外耦合。耦合完成實現 360 度的識別。
A3：定位精度可以依靠 RTK 差分定位實現，目前 RTK 可以實現釐米級的定位。其次可以再融合鐳射雷達的資料，鐳射雷達自身測量精度可達到 2cm。通過這兩種感測器的資料結合優秀的演算法可實現高精度的定位要求。
A4: CPU 目前都是用的 X86 的 intel 的。如果做 ASIC 晶片用的都是 ARM 核的
A5：MKZ 原車自帶的泊車系統具有較好的線控能力，其制動基於車身自帶的 ESC。
A6：更多介紹可以來 7 月 4 日 Apollo 3.0 釋出會現場尋找答案
A7：監視員檢測不光是依靠攝像頭，戴墨鏡的情況可以靠生物電感測器，此感測器是放在方向盤裡，可以通過手與方向盤的接觸感應人體生物電從而判斷注意力是否集中或者駕駛疲勞的情況
A8：目前 Apollo 認證的 MKZ 參考車輛由 AS 公司提供。Apollo 也歡迎車企／車輛改裝服務商加入 Apollo 生態，豐富我們的參考車輛型別，降低 Apollo 上車門檻。
A9：可以參考 Apollo 的感測器標定文件https://github.com/ApolloAuto/apollo/blob/master/docs/quickstart/multiple_lidar_gnss_calibration_guide.mdhttps://github.com/ApolloAuto/apollo/blob/master/docs/quickstart/apollo_2_0_sensor_calibration_guide.mdhttps://github.com/Apol
A10：可以把 FPGA 看成是 ASIC 的前端設計部分。演算法固化後確實可以做 ASIC 晶片，量產化的成本功耗優勢明顯。