前沿研究丨李德毅院士:基於駕駛腦的智慧駕駛車輛硬體平臺架構

AIBigbull2050發表於2020-09-18
2020-09-05 20:31:00

導讀

智慧駕駛車輛試驗平臺是人工智慧科學、認知科學、控制科學等多個學科領域的最新理論與實踐的成果,也是研究智慧駕駛理論與技術的基礎。不同智慧駕駛試驗平臺的感測器型號、數量、安裝位置各不相同,導致感測器資訊處理模組也各不相同;不同駕駛地圖,其提供資訊的粒度也沒有固定標準,由此構成的智慧駕駛系統軟體模組的數量、介面各不相同。

CAAI名譽理事長、中國工程院院士、CAAI Fellow李德毅院士科研團隊在中國工程院院刊《Engineering》撰文指出,基於以駕駛腦為核心的智慧駕駛車輛軟體與硬體架構,決策模組將不直接與感測器資訊處理模組發生關聯,透過駕駛認知的形式化語言,將駕駛認知形式化,由駕駛腦認知形成決策。駕駛認知的形式化降低了感測器數量、型別、安裝位置的變化對整個軟體架構的影響,使得軟體架構可以在不同感測器配置車輛平臺上方便地移植。

前沿研究丨李德毅院士:基於駕駛腦的智慧駕駛車輛硬體平臺架構

一、引言

智慧駕駛車輛試驗平臺是人工智慧科學、認知科學、控制科學等多個學科領域的最新理論與實踐的成果,也是研究智慧駕駛理論與技術的基礎。

早在20世紀50年代,美國就開展了無人駕駛車輛研究。1950年,美國貝瑞特電子公司研製出全球第一臺自主導航車。美國無人駕駛車輛研究起源於美國國防部高階研究專案計劃局(Defense Advanced Research Projects Agency,DARPA),其研究水平處於世界領先地位。歐洲各國自20世紀80年代中期開始研發無人駕駛技術,將無人駕駛車輛作為獨立個體,讓車輛混行於正常交通流。1987年慕尼黑聯邦國防軍大學、戴姆勒賓士、寶馬、標緻、捷豹等著名研發機構和汽車企業聯合參與開展普羅米修斯計劃(Programme for a European Traffic of Highest Efficiency and Unprecedented Safety,PROMETHEUS),在世界範圍內產生重大影響。自20世紀90年代開始,日本交通部門的高階駕駛輔助公路系統研究協會(Advanced Cruise-Assist Highway System Research Asso-ciation,AHSRA)發起了高階安全車輛(advanced safety vehicle,ASV)專案,以每5年為一個階段開展無人駕駛技術研究。我國無人駕駛技術的研究始於20世紀80年代後期,由國家高技術研究發展計劃(863計劃)和國防科學技術工業委員會相關研究計劃支援。自2008年起,在國家自然科學基金委員會的支援下,中國開展智慧車未來挑戰賽,參賽隊伍數量逐年增長,比賽難度逐年提升,賽車隊的完成質量逐年提高,車企參與熱情逐漸加強,為無人駕駛技術引入國產汽車打下了堅實基礎,無人駕駛技術取得飛速進展。

感測器配置是智慧駕駛車輛的基礎,用來感知智慧駕駛車輛實時的外部環境與內部環境,包括感知智慧駕駛車輛周圍環境、自車狀態、航向角、位置等。根據不同的研究策略,不同的智慧駕駛車輛試驗平臺有不同的感測器配置,感測器型別、安裝位置也各不相同,沒有統一標準的方案。有些研究團隊主要依賴於視覺感測器,典型代表是義大利帕爾馬大學VisLab實驗室的智慧車團隊與卡爾斯魯厄理工學院智慧車輛團隊;有些研究團隊主要依賴於雷達感測器,典型代表是Google的無人駕駛車輛團隊與慕尼黑大學無人駕駛車輛團隊。在感測器配置方案中,既要考慮決策程式的需要,也要考慮透過必要冗餘和印證提高環境感知的可靠性,同樣需要考慮感測器配置的成本。感測器的種類和配置,既沒有唯一解,也不會有最終解。本文透過設計了以駕駛腦為核心的無人駕駛車輛的技術架構,體現人類認知的駕駛腦的架構設計,降低感測器數量、型別、安裝位置的變化對整個架構的影響,使得基於以駕駛腦為核心的技術架構可以在不同感測器配置的智慧駕駛車輛平臺上進行移植。

智慧駕駛技術以及智慧駕駛車輛研究的重要意義在於提高交通安全,預防與降低交通事故,減少燃油消耗帶來的環境汙染,加速社會智慧化發展。 智慧駕駛車輛是輪式機器人的一種,它集認知科學、人工智慧科學與控制科學等前沿科學技術,其研究目標是實現人類駕駛與機器駕駛的雙駕雙控,人與機器和諧駕駛,提高車輛的行駛安全,促進車輛智慧工業的發展。

本文透過對人類駕駛員的駕駛活動進行分析,構建基於駕駛腦的技術架構的智慧駕駛車輛硬體平臺,主要貢獻總結如下:

(1)基於猛獅智慧車輛測試平臺,對大腦認知的工作原理和人類駕駛員的駕駛活動進行了分析,建立駕駛大腦的不同功能區域和計算機軟體模組之間的關係。透過駕駛認知語言進行駕駛認知表達,也就是說,以駕駛腦為設計核心,為智慧車輛開發通用的智慧駕駛軟體體系結構。

(2)智慧車輛使用各種各樣的感測器。這些感測器安裝在不同的位置,為了資訊整合建立了一個統一的架構。在本文中,智慧決策模組和感測器之間低耦合的方法是根據自然的人類認知規律進行設計與建立,並對應於上述設計(即以駕駛腦為核心)來實現的。

本文按如下的方式進行組織,第二部分對人類駕駛活動進行分析與構建駕駛腦架構;第三部分基於猛獅智慧駕駛車輛平臺建立駕駛腦架構的硬體配置與連線;第四部分介紹猛獅智慧駕駛車輛感測器配置,並進行感測器分析;第五部分進行討論;第六部分總結全文。


二、 駕駛腦與人腦功能區域對應關係

不論是人類駕駛還是無人駕駛系統,其駕駛活動均  涵蓋3個空間:感知空間、認知空間與物理空間。

在感知空間中,人透過視覺、嗅覺、觸覺等各種感官,無人駕駛車輛透過各類感測器,完成對周邊環境和自身狀態的訊號獲取。

在認知空間中,人腦中的駕駛相關區域和無人駕駛車輛的駕駛腦,透過選擇性注意機制,從感知空間各類訊號中抽取出與駕駛活動相關的交通要素,形成駕駛態勢,並利用已有知識和經驗,對當前和歷史駕駛態勢進行分析和理解,做出決策。

在物理空間中,人透過四肢,無人駕駛車輛透過機械結構及電訊號,控制方向盤、油門、剎車,使車輛達到或接近預期狀態,並將當前狀態反饋給感知空間,形成閉環控制(圖1)。

前沿研究丨李德毅院士:基於駕駛腦的智慧駕駛車輛硬體平臺架構

▲圖1 駕駛活動中的3個空間

人腦透過不同區域的協同工作,完成學習與記憶, 實現駕駛活動。駕駛腦利用計算機技術解構這一活動機制,分析與完成人腦各功能區域與駕駛腦功能模組的對應關係。人腦主要包括感覺記憶、工作記憶、長期記憶、計算中樞與思維、動機、性格、情緒等功能區域。

感覺記憶完成對感官資訊的瞬時儲存,儘管儲存時 間短,但資訊量大。對應於智慧車載感測器對周邊環境 的感知。感測器得到的影像、點雲等原始訊號(如儲存在快取區內),新資料迅速覆蓋舊資料,這一機制與感覺記憶的工作原理相似。

感覺記憶中的感官資訊, 由計算中樞與思維迅速分析,透過選擇性注意機制,抽取與當前活動相關的內容,傳遞給工作記憶。對應於各駕駛腦中感測器的資訊處理模組,完成各類車載感測器資訊的預處理與分析,獲取車道標線、紅綠燈、交通標誌、周車、行人、自車狀態與位置等與駕駛有關的資訊,與駕駛無關的資訊則被迅速丟棄。

長期記憶中儲存重要的駕駛經驗、知識、場景等資訊。對應於智慧駕駛的駕駛地圖與駕駛操作模型,駕駛地圖精確記錄了與駕駛相關的地理資訊,包括車道寬度、交通標誌、靜態障礙物資訊等。駕駛操作模型包括軌跡跟蹤模型、跟馳模型、換道模型、超車模型等,是智慧駕駛車輛的操作規範。駕駛地圖與駕駛操作模型共同構成了智慧駕駛系統的先驗知識。長期記憶中與當前活動相關的內容由計算中樞與思維完成抽取,傳遞給工作記憶。這一抽取過程對應於智慧駕駛車輛的駕駛地圖對映模組。

工作記憶中暫存著與當前駕駛活動相關的重要資訊。這些資訊部分來自於感覺記憶中抽取得到的實時資訊,部分來自於長期記憶中抽取得到的先驗知識。這些實時資訊和先驗知識相互融合,為計算中樞與思維提供分析與決策的資訊池。與之對應,智慧駕駛系統包括一個公共資料池。資料池是駕駛認知的形式化表達,各感測器資訊處理模組提供的多元異構實時駕駛資訊,以及駕駛地圖提供的駕駛先驗資訊,用駕駛態勢形式化語言進行統一表達,全面反映無人駕駛車輛周邊的駕駛態勢。

人類計算中樞與思維根據工作記憶中的資訊實時進行決策,並由四肢控制執行機構做出反應。對應於智慧駕駛系統的智慧決策與自動控制模組。智慧決策模組根據當前或歷史駕駛態勢,結合先驗知識,完成行為選擇、路徑與速度規劃等功能。自動控制模組接收規劃路徑與速度,完成對油門、剎車、方向的協同控制,使車輛達到或接近預期狀態。

人腦中還有性格、情緒等功能區域。性格反映了不同駕駛員在不同時間、地點的駕駛風格,對於智慧駕駛系統,駕駛風格由駕駛操作模型中的引數決定。情緒是生物的特有屬性,人類駕駛行為會受到情緒焦躁、恐懼等的影響,妨礙安全駕駛。駕駛腦的實現不包括人腦中的情緒,因此有必要確保駕駛行為的安全性和穩定性。人腦功能區域與駕駛腦功能模組的對應關係如圖2所示。方框描述了駕駛腦的功能。

前沿研究丨李德毅院士:基於駕駛腦的智慧駕駛車輛硬體平臺架構

▲圖2 人腦功能區域與駕駛腦功能模組的對應關係。SLAM:即時定位於對映

不同的智慧駕駛試驗平臺的感測器型號、數量、安裝位置各不相同,感測器資訊處理模組也各不相同;不同的駕駛地圖,其提供資訊的粒度也沒有固定標準。由此構成的智慧駕駛系統軟體模組的數量、介面各不相同。以駕駛腦為核心,將駕駛認知形式化,利用駕駛認知的形式化語言,設計通用的智慧駕駛軟體架構。本架構中,智慧決策模組並不直接與感測器資訊發生耦合,透過感測器資訊和地圖先驗資訊綜合形成的全面的駕駛態勢完成智慧決策。基於駕駛腦的猛獅智慧駕駛試驗平臺架構如圖3所示。

前沿研究丨李德毅院士:基於駕駛腦的智慧駕駛車輛硬體平臺架構

▲圖3 基於駕駛腦架構的猛獅智慧駕駛試驗平臺。CAN:控制器域網;CT:計算機斷層掃描;GPS:全球定位系統;MMW:毫米波;OBD:車載診斷;RTK:實時動態


三、基於駕駛腦的硬體架構


(一)硬體配置

智慧駕駛車輛平臺機械結構各不相同,如汽油車、電動汽車和公共汽車,機械及電氣改造也有所差異。在大量工程試驗後,智慧駕駛車輛試驗平臺均可透過CAN匯流排進行實時通訊,實時準確地控制智慧駕駛車輛方向、油門及制動,經過智慧駕駛車輛動力學效能測試保證了智慧駕駛車輛與成品車輛動力學效能的一致性。

智慧駕駛車輛根據環境感知的可靠性與感測器配置的成本,進行車載感測器的配置。以雷達感測器為例,SICK鐳射雷達、毫米波雷達識別低矮障礙物,四線鐳射雷達識別動態障礙物,八線鐳射雷達識別道路可行駛區域,Velodyne 64線鐳射雷達識別動態障礙物的速度、道路邊界、車身定位。根據決策程式的需要可以部署一個Velodyne 64線鐳射雷達,也可以同時部署多個鐳射雷達的組合,但需結合無人駕駛車輛硬體平臺的成本。以視覺感測器為例,視覺感測器的配置方案是可以在無人駕駛車輛某一位置部署一個廣角攝像頭或全景攝像頭,透過多執行緒實現一個攝像頭多目標的並行檢測,如對停止線、斑馬線、車道線、紅綠燈、交通標誌牌、行人、車輛、動態與靜態障礙物等進行檢測與識別;也可以在無人駕駛車輛不同位置部署多個廣角攝像頭或全景攝像頭,實現每個攝像頭完成一項專門的檢測與識別任務。基於駕駛腦的智慧駕駛車輛硬體平臺已經驗證了不同型別、不同廠商的多種感測器,並在不同的智慧駕駛車輛試驗平臺進行測試,保證了資訊的可靠性和冗餘性。

圖4顯示了猛獅智慧駕駛車輛的感測器配置。猛獅智慧駕駛車輛試驗平臺在車輛頂部安裝Ibeo的8線鐳射雷達,車輛正前方安裝了一個SICK單線鐳射雷達,用於低矮障礙物的檢測,在車輛後部安裝一個SICK單線鐳射雷達與一個毫米波雷達,為基於雷達的同步定位與地圖繪製(simultaneous localization and mapping,SLAM)提供豐富的資料支撐,雷達是無人駕駛車輛試驗平臺中廣泛採用的感測器之一。此外,猛獅智慧駕駛車輛試驗平臺視覺感測器的配置主要包括在車輛內部前擋風玻璃正上方安裝了3個AVT 1394 Pike F-100C攝像頭,在左右後視鏡正下方位置各裝了一個視覺感測器,前者主要用於感知交通標誌、交通訊號燈等。後者主要為了採集左、右車道線影像,提高車道線識別與檢測的準確性。猛獅智慧駕駛車輛試驗平臺的導航定位系統採用NovAtel SPAN-CPT產品,主要由全球定位系統(glob-al positioning system,GPS)和慣性導航系統(inertial navigation system,INS)兩部分組成。

前沿研究丨李德毅院士:基於駕駛腦的智慧駕駛車輛硬體平臺架構

▲圖4 猛獅智慧駕駛車的感測器配置

透過猛獅智慧駕駛車輛試驗平臺的感測器配置測試, 不同的感測器配置方案具有不同的功能,功能間相互補充。駕駛腦被認為是無人駕駛車輛軟體與硬體架構的核心。感知的結果表現為反映時序的點雲圖簇,認知的結果表現為駕駛態勢圖簇,決策的結果表現為認知箭頭簇,透過駕駛認知的形式化語言駕駛態勢認知圖,將駕駛認知形式化,由駕駛腦認知形成駕駛態勢圖簇以進行決策,而決策的結果為形象化的認知箭頭簇。體現人類認知的駕駛腦的架構設計,是智慧駕駛車輛的核心。駕駛認知的形式化降低了感測器數量、型別、安裝位置的變化對整個架構的影響,使得架構可以在不同感測器配置的車輛平臺上進行方便的移植。


(二)硬體連線

猛獅智慧車輛的物理連線如圖5所示。SICK鐳射雷達和Ibeo鐳射雷達透過交換機與工控機(IPC)連線。Delphi毫米波雷達(MMW)透過CAN匯流排與IPC直接相連。GPS和INS透過RS232序列匯流排與IPC相連。AVT 1394 Pike F-100C攝像機透過1394標準影片傳輸線與IPC 相連。IPC完成資料融合、決策和規劃、動態控制的功 能。控制指令透過CAN匯流排傳送給油門、制動和方向盤 的執行器。

前沿研究丨李德毅院士:基於駕駛腦的智慧駕駛車輛硬體平臺架構

▲圖5 猛獅智慧駕駛車的感測器配置

(三)硬體平臺效能分析

基於駕駛腦的無人駕駛車輛架構將智慧決策與感測器資訊解耦。透過感測器資訊處理模組的輸出,由駕駛認知形式化語言進行統一,構成駕駛態勢實時資訊;駕駛地圖中的資訊,則根據車輛實時位置及朝向, 對映到駕駛態勢中,與駕駛態勢實時資訊融合,形成全面反映當前駕駛態勢的公共資料池。智慧決策模組以這一公共資料池為基礎,綜合考慮交通規則、駕駛經驗等先驗知識,完成智慧決策。透過駕駛認知的形式化語言,在駕駛資訊完備的條件下,增加、減少一路或幾路感測器,改變感測器型號或安裝位置,不再對智慧決策直接造成影響。整個架構只需做很少的改動,甚至完全不需調整,就可以在不同車輛試驗平臺上方便地遷移。


四、 基於駕駛腦的實車硬體平臺


(一)猛獅智慧車硬體平臺

猛獅智慧車是在李德毅教授的指導下,由清華大學和陸軍軍事交通學院合作設計和開發的。圖6顯示了猛獅智慧車的外觀, 圖7顯示了猛獅智慧車(猛獅3號)感測器部署,由5個雷達感測器、3個視覺感測器和一個整合的位置/姿態感測器組成。雷達感測器包括兩個SICK雷達(型號為SICK®LM291-S05)、一個4線鐳射雷達(型號為Ibeo®LUX4L)、一個8線鐳射感測器(型號為Ibeo®LUX8L)和一個毫米波雷達(型號為Delphi®ESR)。視覺感測器由3個攝像機(型號為AVT®1394 Pike F-100C)組成,均勻地安裝在前擋風玻璃後面。位置/姿態感測器由GPS和INS組成(型號為NovAtel®SPAN-CPT)。每個感測器的詳細描述見表1。

前沿研究丨李德毅院士:基於駕駛腦的智慧駕駛車輛硬體平臺架構

圖6 猛獅智慧車的外觀

前沿研究丨李德毅院士:基於駕駛腦的智慧駕駛車輛硬體平臺架構

圖7 猛獅智慧車的感測器部署

前沿研究丨李德毅院士:基於駕駛腦的智慧駕駛車輛硬體平臺架構

表1 猛獅智慧車的感測器描述

中央控制器由IPC組成(包括英特爾酷睿i7-3520 M2.9 GHz處理器),軟體開發環境是Visual Studio 2013。執行器包括轉向系統、電子液壓制動系統和電子油門控制系統。在原車轉向系統的基礎上,轉向系統配備了一套獨立的電動助力轉向(EPS)系統。在原車液壓制動系統的基礎上,增加了一個電控液壓制動系統和一個獨立的電控液壓系統。該系統與原液壓管道串聯,兩個系統沒有衝突。電子油門控制系統透過對原車電子油門的直接改造來執行,以實現車輛的發動機控制。 執行器工作模式、通訊介面、波特率和最小執行週期如表2所示。

前沿研究丨李德毅院士:基於駕駛腦的智慧駕駛車輛硬體平臺架構

表2 猛獅智慧車的執行器描述

(二)猛獅智慧車試驗結果

上述硬體架構被應用於猛獅系列智慧車,猛獅系列智慧車參加了由中國國家自然科學基金委員會組織的第三屆至第七屆智慧車未來挑戰賽(IVFC)。猛獅系列智慧車在第三屆和第五屆比賽中獲得亞軍,並在第四屆、第六屆和第七屆比賽中獲得冠軍。

同時,2012年,基於駕駛腦硬體架構的“猛獅3號”智慧駕駛車完成了從北京臺湖收費站到天津東麗收費站共114 km的高速全程無人駕駛試驗;2015年8月29日,基於駕駛腦架構的全球第一輛無人駕駛大客車完成了鄭州至開封的開放道路無人駕駛測試,順利到達終點,開啟了大客車無人駕駛的新時代。


五、 討論

在長期試驗過程中,我們認識到 感測器代替不了大腦,感知代替不了認知。無論感測器有多完善,甚至包括人的感官在內,都只是有限認知。只有代表腦認知的駕駛腦才是全域性認知。駕駛腦的認知,不僅融合了感官資訊,還融合了大腦中的先驗知識和駕駛經驗中的時空關聯知識。同時,智慧駕駛車輛智慧決策也要由駕駛腦完成,而不能簡單基於任何一路感測器。駕駛決策也不完全基於多路感測器形成的當前和歷史駕駛態勢,還應結合各種駕駛先驗知識。


六、 結論

基於以駕駛腦為核心的智慧駕駛車輛軟體與硬體架構,決策模組將不直接與感測器資訊處理模組發生關聯。透過駕駛認知的形式化語言,將駕駛認知形式化,由駕駛腦認知形成決策。駕駛認知的形式化降低了感測器數量、型別、安裝位置的變化對整個軟體架構的影響,使得軟體架構可以在不同感測器配置車輛平臺上方便地移植。


改編原文:

Deyi Li,Hongbo Gao.A Hardware Platform Framework for an Intelligent Vehicle Based on a Driving Brain[J].Engineering,2018,4(4):464-470.


轉自 機器學習研究組

原題目 前沿研究丨基於駕駛腦的智慧駕駛車輛硬體平臺架構




https://blog.csdn.net/weixin_42137700/article/details/108663054



來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69946223/viewspace-2722207/,如需轉載,請註明出處,否則將追究法律責任。

相關文章