自動駕駛中高精地圖的大規模生產:視覺慣導技術在高德的應用
導讀:導航、駕駛輔助、自動駕駛等技術的不斷髮展對地圖的精細程度提出了更高的要求。常規的道路級地圖對於智慧交通系統存在很多不足,針對自動駕駛應用的需求,我們提出了利用視覺慣導技術製作高精地圖的方法。
本文將首先介紹視覺和慣導的主流裝置,視覺慣導融合的框架和關鍵技術,高德在基於視覺方式生成高精地圖道路標誌和地面標識要素的計算方案,最後總結了這項技術在高精地圖精度上所面臨的挑戰和未來發展方向。
視覺慣導技術具有廣泛前景
高精地圖是自動駕駛的核心技術之一,精準的地圖對無人車定位、導航與控制,以及安全至關重要。隨著自動駕駛的不斷髮展,越來越多的車企選擇和地圖供應商合作。高精度地圖需要考慮規模和實時的問題,高德能面向不同品牌車型提供大規模的資料服務,在高精地圖行業具有領先優勢。
目前,高德完成了全國超過 32 萬公里 高等級道路的高精地圖資料,採用了搭配鐳射雷達採集、影像視覺慣導融合兩種方式。
透過影像視覺慣導結合的方式採集資料,一方面能大大降低成本。另一方面,基於影像視覺的高精地圖在識別上具有一定優勢,能提高車道級別要素作業的效率。因此,這項技術在大規模高精地圖生產中具有廣泛的前景。
高精地圖由高精度的地圖要素向量資訊組成,獲取這些高精度的地圖要素資訊,一方面是透過識別視覺影像獲取地圖要素目標,另一方面透過慣導資訊獲取車輛高精度的位置和姿態,兩方面融合得到對應的向量地圖要素。
視覺慣導硬體工具篇
視覺裝置
主流視覺裝置按照工作方式的不同,相機可以分為單目相機( Monocular )、雙目相機( Stereo )和深度相機( RGB-D )三大類。
單目相機結構簡單,成本低,劣勢在於照片是三維到二維的對映平面,缺少深度資訊,無法透過單張圖片來計算場景中物體與我們之間的距離,只有運動才能估計深度。
雙目相機由兩個單目相機組成,但彼此之間的距離(基線)是已知的。我們透過基線來估計每個畫素的空間位置。雙目相機測量到的深度範圍與基線相關,基線距離越大,能夠測量到的就越遠。
所以,無人車上搭載的雙目相機通常會是個很大的傢伙。它的缺點是配置與標定均較為複雜,其深度量程和精度受雙目的基線與解析度所限,而且視差的計算非常消耗計算資源。
深度相機原理是透過紅外結構光,類似鐳射感測器,主動向物體發射光並接收返回的光,測出物體與相機之間的距離。這部分並不像雙目相機那樣透過軟體計算來解決,而是透過物理的測量手段,所以相比於雙目相機可節省大量的計算。
深度相機缺點是可能存在測量範圍窄、噪聲大、視野小、易受日光干擾、無法測量透射材質等諸多問題,室外場景較難應用。
針對高精地圖需要大規模生產的需求,單目相機因其成本低,安裝簡單的特點是目前主流的高精地圖視覺裝置。
慣導裝置
慣性導航系統(簡稱慣導)是一種不依賴於外部資訊、也不向外部輻射能量的自主式導航系統。工作環境不僅包括空中、地面,還可以在水下。
慣導的基本工作原理是以牛頓力學定律為基礎,透過測量載體在慣性參考系的加速度,將它對時間進行積分,且把它變換到導航座標系中,就能夠得到在導航座標系中的速度、偏航角和位置等資訊,被廣泛應用在軍事、測繪、資源勘探、機器人、自動駕駛等領域。
慣導系統具有抗干擾、自主性強、資料頻率高、穩定性好等優點。按漂移率從小到大可分為導航級、工業級、車載級和消費級。
此外,慣導系統已發展出撓性慣導、光纖慣導、鐳射慣導、微機電系統慣導等多種方式。其中微機電系統( Micro-electromechanical Systems, MEMS )具有體積小、重量輕、功耗低、價格便宜、抗衝擊等優點,被廣泛應用,目前已擴充至中低精度的應用領域。
慣導系統單獨使用時會有累計誤差,實際應用中多與以 GPS 和北斗為代表的全球導航衛星系統( Global Navigation Satellite System, GNSS )等輔助系統構成組合系統,得到載體的全域性位置。
當衛星訊號丟失時,透過慣導積分可以獲取較為準確的實時位姿推算。對於不要求實時性的測繪應用,透過平滑演算法能獲取更高的定位精度。
在移動測繪領域,慣導的另一個作用是配合鐳射和相機等外部感測器。透過與 GNSS 耦合得到的載體位姿,可為圖片姿態及鐳射脈衝發射姿態提供高精高頻定位,經過感測器間的外部標定,將對應的資訊投射到全域性三維座標系。
慣導的另一種組合方式是與視覺感測器耦合構成視覺慣性里程計( Visual Inertial Odometry , VIO )。視覺感測器在紋理豐富的場景中 SLAM 效果較好,但是如果遇到移動物體佔據照片主體或者特徵較少的場景,視覺感測器會失效。
融合慣導資料能提高整體定位精度和連續性。 MEMS 慣導單元廣泛存在於智慧手機當中,蘋果公司推出的 ARkit 和谷歌公司推出的 ARcore 框架都提供了相應的 VIO 實現,以支援擴增實境應用。
多感測器融合的定位導航方案已經成為趨勢, 慣導系統首先與 GNSS 組合,再結合影像、鐳射雷達等感測器構成的組合導航系統是目前自動駕駛及高精地圖製作領域的研究熱點和發展方向。
視覺慣導框架及關鍵技術
目前主流的視覺慣導融合框架分為兩部分:前端和後端。前端提取感測器資料構建模型用於狀態估計,後端根據前端提供的資料進行最佳化,最後輸出相機的位置、姿態和全域性地圖,架構如圖所示:
視覺慣導技術框架中前端和後端的最佳化是關鍵技術,本文介紹的是採用滑動視窗的模式進行視覺融合慣導的區域性相對最佳化,當初始化失敗的時候考慮融入純視覺 SFM 加慣導對齊的方式進行初始化,相對最佳化之後會有一個全域性的最佳化,最後對整個地圖做絕對的最佳化。
高德高精地圖生產技術方案
高精地圖的生產主要從兩類要素進行,一類是道路標誌牌,例如路面導向指示牌,紅綠燈等;一類是地面標識,例如車道分割線,導向箭頭等。兩種類別的地圖要素均要先計算出位置,然後把要素和路閘道器聯,得到要素的屬性資訊和幾何資訊。
地圖要素的生產把人工作業和自動化提取融為一體。首先,透過外業採集的資料進行影像和軌跡的解算,獲取自動化所需的視覺慣導資訊,根據視覺慣導融合技術生成地圖要素,在自動化地圖的基礎上採用人工進行 Web 編輯的模型,提高地圖要素的精度,最後儲存到對應的資料庫中去。
感知結果示例:
生成地圖示例:
展望
基於慣導視覺的高精地圖生產方案有很多,國內外公司像 Moment 、寬凳科技, lvl5 等都在研究,但是從目前市面上看,由於裝置成本限制,基於視覺的高精地圖精度極限在 10cm 。
後續,基於視覺的高精地圖發展可能是朝著多源資料融合的方向,即同一道路多次採集,不同裝置多次採集獲取的資料來源融合在一起,提高精度的同時提高地圖更新的時效。
高德紮根於地圖行業,有豐富的地圖資料來源,有行業領先的自動化生產技術和成熟的工藝流程,為未來基於多元視覺慣導融合的高精地圖生產打下了堅實的基礎,這些都會進一步推動自動駕駛的發展。
關注高德技術,找到更多出行技術領域專業內容
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69941357/viewspace-2652458/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 寬凳科技搶位自動駕駛,大規模全自動高精地圖技術正式釋出自動駕駛地圖
- 高德地圖首席科學家任小楓:視覺智慧在高德地圖的應用地圖視覺
- 寬凳科技亮相上海車展,大規模全自動高精地圖技術引發關注地圖
- 大資料技術於應用 視覺化圖表的開發應用大資料視覺化
- 【高德地圖API】匯潤做愛地圖技術大揭祕地圖API
- UI自動化技術在高德的實踐UI
- 高精地圖廠商攪局自動駕駛地圖自動駕駛
- 視覺化程式設計技術在移動 UI 自動化中的應用 - 張海峰視覺化程式設計UI
- 視覺化技術在 Nebula Graph 中的應用視覺化
- 揭秘!文字識別在高德地圖資料生產中的演進地圖
- 機器學習在高德地圖軌跡分類的探索和應用機器學習地圖
- 機器視覺在生產包裝技術中的應用視覺
- Scala在Databricks的大規模應用
- 揭祕!文字識別在高德地圖資料生產中的演進地圖
- 3D組合地圖在資料視覺化大屏中的應用3D地圖視覺化
- 高德地圖導航和路徑規劃地圖
- 大規模圖視覺化工具和方法視覺化
- 高德地圖首席科學家任小楓QA答疑彙總丨視覺+地圖技術有哪些新玩法?地圖視覺
- 幾張產生視覺錯覺的圖片視覺
- 用資訊科技打造大規模定製的生產模式模式
- 感測器在自動駕駛中的應用自動駕駛
- OPPO 自研大規模知識圖譜及其在數智工程中的應用
- 圖撲 Web 視覺化引擎在模擬分析領域的應用Web視覺化
- 大規模深度學習系統技術是如何應用的深度學習
- 機器視覺技術在現代倉儲物流的應用視覺
- 技術前沿:AI大模型在自動化測試中的應用例項AI大模型
- 多卡聚合技術在應急視覺化指揮排程的應用視覺化
- PIX自動駕駛應用生態產品 | Showbar智慧飲料零售車自動駕駛
- 【數字孿生】數字孿生模型在產品構型管理中應用探討;不可忽視的輕量級三維視覺化技術...模型視覺化
- 【unity 技術教程】自動>手動 用隨機地圖豐滿你的遊戲Unity隨機地圖遊戲
- 深度學習在自動駕駛感知領域的應用深度學習自動駕駛
- 大廠技術實現 | 影像檢索及其在淘寶的應用 @計算機視覺系列計算機視覺
- WEB 三維引擎在高精地圖資料生產的探索和實踐Web地圖
- 一文詳解高精地圖:自動駕駛的必由之路丨曼孚科技地圖自動駕駛
- 【Apollo自動駕駛原始碼解讀】車道線的感知和高精地圖融合自動駕駛原始碼地圖
- RFID技術在服裝生產資訊化管理中的應用分析
- 多卡聚合技術在消防應急視覺化指揮視訊傳輸的應用視覺化
- web技術分享| 【高德地圖】實現自定義的軌跡回放Web地圖