高德在提升定位精度方面的探索和實踐
2019杭州雲棲大會上,高德地圖技術團隊向與會者分享了包括視覺與機器智慧、路線規劃、場景化/精細化定位時空資料應用、億級流量架構演進等多個出行技術領域的熱門話題。現場火爆,聽眾反響強烈。我們把其中的優秀演講內容整理成文並陸續釋出出來,本文為其中一篇。
阿里巴巴高階地圖技術專家方興在高德技術專場做了題為 《向場景化、精細化演進的定位技術》的演講,主要分享了高德在提升定位精度方面的探索和實踐,本文根據現場內容整理而成(在不影響原意的情況下對文字略作編輯),更多定位技術的實現細節請關注後續系列文章。
以下為方興演講內容的簡版實錄:
今天要分享的主題是關於定位的場景化、精細化。高德定位,並不只是服務於高德地圖本身,而是面向所有的應用開發者和手機裝置廠商提供定位服務。目前已有30萬以上的APP在使用高德的定位服務。
使用者每天會大量使用定位服務,比如看新聞、叫車、訂外賣,甚至是購物,首先都是要獲得位置資訊,有了更精準的位置資訊,才可能獲得更好的服務體驗。
高德地圖有超過1億的日活使用者,但是使用定位的有好幾個億,每天的定位請求數量有一千億次。如此大的資料量,高德定位服務可以保持毫秒級的響應速度,我們在這裡面做了很多工作。此外,我們還提供全場景的定位能力,不管為手機、車機還是任何廠家,都能提供位置服務。
我今天從四個方面介紹,分別是:
- 定位面臨的挑戰
- 高德地圖全場景定位
- 分場景提升定位精度
- 未來機遇
定位面臨的挑戰
大家可能都知道GPS,GPS在大部分情況下可以提供很好的精度,但是對於某些場景還是不夠,比如駕車,GPS給出的精度大概是10米,如果僅靠GPS定位甚至無法區分出在馬路的哪一側。
第二個場景是在室內,室內收不到GPS訊號,這樣的場景下如何實現比較準確的定位?第三個場景是如何在精度和成本之間取得平衡,因為不可能為了追求一個很好的精度去無限投入成本。只有透過海量大資料探勘,演算法和資料質量的提升,達到效果的持續最佳化,才能達到最終對各種場景的全覆蓋。
有很多技術可以選擇,除了GPS定位,還有基於網路定位、Wifi基站,原理就是透過掃描到的Wifi和基站列表、訊號強度,進行資料庫查詢,找到Wifi位置,定位。
除此之外還有慣性導航定位,慣性導航是一種相對定位的方式,可以不斷計算跟上次定位的偏移量,有了初始定位之後,根據連續計算可以獲得最終的位置。
還有根據地圖匹配定位,比如GPS的點落在一個湖裡,顯然是有問題的,可以透過地圖匹配,找到最近的一條路,這時候精度就得到了提升。
還有一些定位方式最近幾年變得很熱門,例如視覺、雷達、鐳射,自動駕駛的概念推動了這些技術的發展,這些方式各有各的定位精度和差異性。例如視覺,在實踐中往往需要大量計算和儲存的開銷。
很多時候,還是要基於Wifi的定位,獲得初始定位,然後在不同場景下不斷的最佳化,透過不同的資料來源提升精度。
高德地圖如何實現全場景定位
高德主要分為兩個業務場景,手機和車機。在手機上主要是GPS+網路定位。駕車的場景下,我們還會做一些根據地圖的匹配,實現對特殊道路的支援。
以往,很多使用者會反饋說會遇到GPS訊號不好,導致無法定位、無法導航的情形。約有60%的情況是因為使用者位於地下停車場或者在隧道里,約30%的情況是附近有嚴重的遮擋,比如在高架橋下,或者在很高的高樓旁。這些都會造成對GPS比較嚴重的遮擋。
我們打電話的時候,連線的基站可能就在一公里範圍內,這樣短的距離傳輸訊號還時常會出現訊號中斷,如果GPS訊號距離兩萬多米的高度,出現問題的可能性還是存在的。所以必須透過其他方式,例如地圖匹配或者慣性導航來對GPS進行補充。
在室內的場景,需要解決的是如何去挖掘Wifi基站的位置,提升精度。
在車機的場景,我們會結合更多來自於汽車的資料輸入來幫助我們。
定位的基礎能力
網路定位本質上是一個資料閉環,每個人在定位的時候,實際上是傳送了本身的基站和Wifi列表,傳送的資料一方面可以用來定位,另一方面也可以用做資料訓練。資料訓練主要產出兩種資料,一個是Wifi基站的位置,透過資料探勘,我們就可以獲得大概的位置(初始定位),但是精度比較差。第二個是產生更詳細的空間訊號強度分佈圖。有了這個圖以後,就可以進行比較精準的定位了,根據訊號強度判斷我距離這個基站和Wifi有多遠,從而對精度進行改進。
資料閉環完成以後,就是一個正向的反饋,資料越多,訓練結果越多,定位結果就越準確,從而吸引更多的使用者來使用(產生資料)。這就是透過資料探勘,不斷提升精度的閉環。
演算法部分,我們也經過了不斷的迭代。最早是基於經典的聚類模型,就是掃描基站Wifi列表,聚類以後選擇其中一處作為我的位置,這個方法效率比較高,很快可以得到結果,但是精度很差。
第二步,我們把空間進行了精細的劃分,在每個網格內統計一些基礎的特徵,比如歷史上的點定位的數量、定位的次數、Wifi的數量等等,計算出一個網格的打分,再對網格進行排序,最後你的定位點就是這個網格。透過這種方法,30米精度的佔比提升了15%。
這種方法也有侷限性,人工調參帶來的收益是有限的,調到一定程度就沒辦法再提升了。所以,第三步就是把機器學習演算法引入這個過程,利用監督的學習提升到最佳的模型和引數,這樣可以在特定場景下獲得顯著提升。主要的場景就是解決大誤差的Case。
一個比較典型的問題就是,掃描到的基站Wifi可能只有一個基站、一個Wifi,沒有別的資訊了。這個基站Wifi又離的特別遠,無論選擇基站還是Wifi,都有50%的機率是算錯了。有監督學習,就可以把海量的配送拿出來,精細化的挖掘細微的差異,達到全域性最優的效果,在某一情況下選基站,某一情況下選Wifi。把犯錯的比例降低了50%。
上圖就是我們的線上神經網路的模型,神經網路用於線上服務現在是比較流行的方式,我們在這裡實際上是利用基站和Wifi的訊號強度和混合特徵作為特徵輸入,同時把歷史位置也作為序列放進來,這個歷史位置特徵會放入一個RNN模型,預測現在的位置,使用預測的結果和基站Wifi列表特徵,再往下預測,最後是網格的打分。最終輸出一個機率最高的網格作為輸出。
這個方法最大的挑戰並不是在演算法,而是演算法效果和工程上的可實現性,如何能夠達到最優。高德每天有上千億次的呼叫,延時要在10毫秒以內。
另外,資料量很大,所有的資料,每條都有很多特徵,線上的資料儲存大概有幾十個TB,這個資料量也不可能放在線上服務裡做,所以要做相應的最佳化。
我們做了三個方面的最佳化,第一是 分級排序。把定位過程變成一個顯微鏡步驟,先做一個很粗略的定位,然後逐步收斂到很精確的位置。粗略定位的時候可以用很大的網格,用很少的特徵,快速過濾掉一些不可能的位置。
然後,在很精細的網格里,用更多的特徵、更多的網格進行排序。透過這種方法,就可以極大提升計算的效率,把一些不必要的計算過濾掉。
第二是 模型簡化。雖然深度學習的效果很好,但是不可能線上上用很複雜的模型,我們透過減少層數和節點數,把浮點數精度降低。
第三是 特徵壓縮。這裡面有特色的一點是我們根據模型進行的壓縮,原始特徵的輸入的數量是很大的,我們增加一個編碼層,輸入的特徵經過編碼層以後,只輸出兩個位元組的特徵。我們把線上、離線的資料處理好以後,最後線上只儲存兩個位元組。透過這種方法,線上特徵的資料量降低了10倍,降低到1個TB以內。以上是解決的幾個主要問題。
不同場景下的精度提升
在室內場景,經常會定位到室外去,這跟剛才介紹的序列流程是有關係的,因為採集過程更大機率是在室外,序列後的Wifi位置都在馬路上,所以定位最後的機率也是在馬路上,但是這對使用者體驗是很差的。比如叫車,可能在室內叫車,定位在對面的馬路上,但這條馬路可能是不對的,需要找到我在哪個樓裡,離哪個道路比較近。
怎麼解決這個問題?一種方法是透過資料採集,就是在室內進行人工的採集,使訓練資料的資料分佈跟實際的預測資料分佈保持一致,這種方法當然精度比較好,但是主要缺陷是成本非常高,目前也只是在熱門商場和交通樞紐進行這樣的資料採集,這肯定不是一個可擴充套件的方法。
我們的方法是想透過引入更多的資料最佳化定位過程。如果能基於地圖資料探勘出Wifi和POI的關係,就可以用資料關聯提升精度。比如掃到一個Wifi,名字叫KFC,有一個可能就是你在肯德基裡,這個方法比較簡單。實際用的方法會更加複雜。
我們是利用Wifi訊號的分佈反向挖掘出位置,上圖裡藍色的部分就是樓塊的位置,紅色的點是Wifi的真實位置,綠色的點是採集到Wifi的位置,綠色越亮,代表這個地方的訊號強度越強,透過這個圖放入影像學習,比如用CNN挖掘出它的位置以後,我們就可以建立一個Wifi跟樓塊或者跟POI的關聯,透過這個方法可以使全量Wifi的30%都能關聯上相應的POI或者樓塊。
線上的時候需要知道使用者什麼時候在室內,什麼時候在室外。我們用的是利用訊號強度特徵做區分的演算法,在室內室外掃描到的Wifi列表和強度會有很大差別,透過這個差別可以訓練出模型。綠色的點預測為室內的點,藍色的點是室外的點。透過這種方法,定位精度提升了15%。
駕車場景,導航過程中可能會遇到的常見問題。第一個問題是無法定位,開到停車場或者有遮擋的地方,第二個場景是點會有漂移,因為GPS受到建築或者其他遮擋的時候,會產生精度下降的情況。第三種情況是無法區分主路,可能會錯過路口。
對於以上問題,我們採用的是“軟+硬”融合定位,軟的部分包括兩部分,一個是基於移動定位,第二個是根據地圖匹配。經過兩個“軟+硬”結合之後,我們在GPS 10米精度做到90%以上,可以實現高架主路和停車場的持續導航。
這裡面關鍵的就是如何實現融合定位,比較有特色的一點就是我們做車機的感測器模組是低成本的,成本不到100元,其他類似產品成本是比較高的,可能需要幾千塊錢。使用低成本的器件,能夠更容易得到普及。缺點是精度比較差,定位準確性差一些。要透過軟體的方法彌補硬體上的缺點。
我們的解決辦法分成三個步驟,首先是航向融合。陀螺儀有相對的角度可以算出來,加速器可以算出地球引力的方向,這兩個結合以後就可以建立一個濾波方程,把真實的方向持續不斷的輸出。第二,把三維的方向和GPS的結果進行一次融合,就可以計算出修正後的位置。第三步,再和地圖匹配做對比,因為我們知道它的方向、位置以後,就知道它是在上坡還是下坡,是在高架上還是高架下。還有一點,匹配後的位置跟GPS原始位置做對比,如果差別很大,GPS可能發生了偏移,我們就把GPS捨棄掉,只用慣性導航推算。
這裡面有三個特點,第一,引數動態標定,不需要對器件有初始的標的,我們透過三維的計算出方向,用地圖匹配反饋。關於地圖匹配的部分,核心是我們利用HMM的演算法進行位置的匹配,推算每個點的道路。這裡面比較關鍵的機率,一個是發射機率,一個是位置轉移機率。
第二,我們把角度也考慮進來,角度的變化同樣用於決策轉移機率,這裡面跟位置轉移機率的區別就是引入了速度做變數,不同的速度下,發生轉角的機率是不一樣的,速度慢了可能會轉向,速度快也可能轉向,所以我們針對每個速率都有一個曲線。
上圖是定位效果,紅色的點是實際修正後的軌跡,藍色的點是原始的GPS點,下面是在高架下的效果,可以看到高架下GPS點已經非常發散了,飄的到處都是,但是修正之後跟綠色的點是重疊的。下面的圖是在停車場裡,在停車場進去的時候,藍色的點就已經消失了,但是紅色的點可以很好的還原出使用者在停車場裡持續的軌跡。
高精定位方面,高德主要建立兩種定位能力,一種是基於影像定位,一種是基於融合定位。影像定位是隻用影像就可以形成比較好的分米級精度,融合定位主要是引入了兩個新的定位技術,一個是VSLAM,一個是差分GPS。這兩個方法分別應用於有GPS和沒有GPS的情況,可以提供很好的精度。VSLAM可以做到誤差很小,因為可以有影像的方法進行修正。
自動駕駛是一個方向,並且需要從輔助駕駛過渡到自動駕駛,但系統性變化到來之前會有階段性的變化,就是服務於人的導航服務的精細化,即車道級導航。車道級導航需要高精地圖,至少是分米級的精度。
對未來定位技術發展的理解。基礎能力部分,我們認為5G的出現會為定位提供一種新的可能性,因為5G的頻率比4G更高,波長會更短。它可以測距,以前基於基站和Wifi的定位都是基於訊號強度的。但是5G支援了測距以後,它就可以提供一個很好的精度,所以可能會出現一種方式,基於5G的定位可以達到類似GPS的效果。
第二是融合定位,隨著各種新的資料來源不斷出現,用新的演算法去發揮不同資料來源的特點,從而達到整體效果的提升。駕車部分,視覺定位和差分GPS技術的逐漸普及。室內部分,有超寬頻的定位,除此之外還有藍芽和Wifi的精準定位。在最新的技術標準裡,也都支援了測距和測角的技術,也就是未來新的藍芽或者Wifi的APP,可能就能提供一部分的定位能力。
所以,未來10年內,我們可能會看到這幾種方式相互融合,精度會得到質的改變。以上就是我介紹的內容,謝謝大家!
關注高德技術,找到更多出行技術領域專業內容
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69941357/viewspace-2661177/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 機器學習在滴滴網路定位中的探索和實踐機器學習
- 高德車載導航自研圖片格式的探索和實踐
- Flutter整合高德定位和地圖功能Flutter地圖
- 衛星影像識別技術在高德資料建設中的探索與實踐
- js高德API定位JSAPI
- UI自動化技術在高德的實踐UI
- 深度學習在高德駕車導航歷史速度預測中的探索與實踐深度學習
- 高德技術團隊:深度學習在導航速度預測中的探索與實踐深度學習
- 持續交付體系在高德的實踐歷程
- vivo 故障定位平臺的探索與實踐
- WEB 三維引擎在高精地圖資料生產的探索和實踐Web地圖
- 高德服務單元化方案和架構實踐架構
- 高德演算法工程一體化實踐和思考演算法
- 導航定位向高精定位的演進與實踐
- 虎牙直播在微服務改造方面的實踐和總結微服務
- 機器學習在高德地圖軌跡分類的探索和應用機器學習地圖
- MindSpore模型精度調優實戰:如何更快定位精度問題模型
- Presto在滴滴的探索與實踐REST
- 高德Serverless平臺建設及實踐Server
- 高德 Serverless 平臺建設及實踐Server
- Babel 在提升前端效率的實踐Babel前端
- 開源實踐 | 攜程在OceanBase的探索與實踐
- 開源實踐 | 攜程在 OceanBase 的探索與實踐
- 機器學習在高德起點抓路中的應用實踐機器學習
- Iceberg在袋鼠雲的探索及實踐
- 美團BERT的探索和實踐
- Python 高階程式設計:深入探索高階程式碼實踐Python程式設計
- vivo 在離線混部探索與實踐
- Apache Paimon 在同程旅行的探索實踐ApacheAI
- MindSpore模型精度調優實戰:常用的定位精度除錯調優思路模型除錯
- 京東短網址高可用提升最佳實踐
- 高德渲染閘道器Go語言重構實踐Go
- 0.3秒定位解剖位置、定位精度提升超2.3%!達摩院骨科AI成果已被MICCAI 2020收錄AI
- 騰訊質量效能提升最佳實踐:智慧自動化測試探索和建設
- vivo雲原生容器探索和落地實踐
- Shopee在React Native 架構方面的探索React Native架構
- Selenium:xPath 定位實踐
- T4 級老專家:AIOps 在騰訊的探索和實踐AI