衛星影像識別技術在高德資料建設中的探索與實踐

導讀
對於地圖服務而言，地圖資料的準確率和覆蓋率是服務質量的關鍵因素，而地圖資料的更新，依賴於多種資訊源，如軌跡熱力，實採影象，衛星影像等。近年來，由於遙感衛星數量的增多及高解析度光譜相機的出現，以及衛星影像圖自身覆蓋廣、視角好、資訊豐富的特點，衛星影像作為地圖資料更新的資訊源起到了越來越重要的作用。

對於衛星影像的使用方式，高德經歷了由前端使用者展示，到人工資料作業參考，再到主動發現更新地圖資料的進化過程，這同時也是我們不斷挖掘影像資料價值的過程。本文會介紹高德視覺團隊將衛星影像從被動參考升級為主動發現的過程中的探索和實踐。

衛星影像關鍵元素

按照幾何結構劃分，影像元素可分為三大類：道路元素(road)，地物元素(region)，建築物元素(building)：

道路元素：包含普通道路，精細道路（主/輔路/非機動車道，提前右轉路），連線點（貫穿路、出入口、掉頭口、路口等）。

地物元素：包含建築區域、拆遷區域、水域、農田、山區、林地、大棚等。

建築物元素：建築物樓塊。

衛星影像在資料更新上的優勢

路網是地圖資料的基礎，所有的道路屬性、動態事件、POI引導都需要基於準確的路網資料資訊。而衛星影像由於具有上帝視角，對區域內路網的連線關係、複雜的路口關係、平立交關係的判斷具有全域性而豐富的資訊支撐。同時，由於衛星影像覆蓋廣、成本低的特點，對於熱力稀疏或者採集車難以覆蓋的區域，可以進行很好的路網資料補充。

路網三大資訊源：熱力、衛星影像、實採

作為使用者導航的終點，POI（“Point of interest”的縮寫，在地圖資料中，一個POI可以是一棟房子、一個商鋪、一個公交站等）座標位置的準確性十分重要。通過高德POI中Top1000w的統計，70%的POI需要與樓塊進行繫結，POI到達點與沿街樓塊具有強依賴關係。

POI與樓塊強相關性

衛星影像識別技術探索實踐

衛星影像精細語義分割(Semantic)

在語義分割上，為了提升演算法精度，我們將主要方向聚焦在上下文資訊的結合，如使用了U-Net結構、ASPP、Non-local等對資訊的聚合具有作用的結構。同時引入了Attention加強了網路對影象顯著區域，即當前分割任務所關注的類別進行了注意力聚焦，使得效果達到進一步提升。

• U-Net結構

由於影像影象語義較為簡單、結構較為固定，高階語義資訊和低階特徵都顯得很重要，因此我們選用了U-Net作為網路的基礎結構。Encoder-Decoder分別下采樣4次+上取樣4次，將Encoder得到的高階語義特徵圖恢復到原圖片的解析度。

相比於FCN和Deeplab等，U-Net共進行了4次上取樣，並在同一個Stage使用了Skip Connection，而不是直接在高階語義特徵上進行監督和Loss反傳，這樣就保證了最後恢復出來的特徵圖融合了更多Low-Level的Feature，也使得不同Scale的Feature得到了融合，從而可以進行多尺度預測和DeepSupervision。4次上取樣也使得分割圖恢復邊緣等資訊更加精細。

• ASPP

使用不同擴張率的擴張卷積，並進行特徵結合，得到多尺度特徵，同時得到全域性資訊和區域性資訊。

• Attention

關注影象顯著區域，將U-Net的淺層和對應的深層進行資訊結合後，得到Attention的引數，再作用於當前深層，得到最終Attention的結果輸出。

• Non-local

特定層的卷積核在原圖上的感受野(local)是有限的，Non-local通過將空間中不同畫素間的關係編碼到當前層的輸出，從而將全域性資訊加入到輸出結果中，就能很好地解決local操作無法看清全域性的情況，為後面的層帶去更豐富的資訊。

U-Net結構（左上） Attention(左下) Non-local(右上) ASPP(右下)

影像樓塊例項分割(Instance)

例項分割有兩種主流方法，第一種是基於目標檢測，在得到目標檢測框之後再在框內做語義分割前景和背景，由於這種方法需要藉助目標檢測中的區域提議，因此該方法稱為Proposal-Based方法。

另一種方法是，在語義分割圖的基礎上，將畫素聚集到不同的例項上，這種被稱為Proposal-Free方法。我們對兩種主流方法進行了對比實驗，由於樓塊具有多樣性、“矮胖結構”的特點，Proposal-Based方法效果要優於Proposal-Free方法。

對於樓塊資料而言，重要的表達內容是樓塊的底座位置及其形狀。然而由於影像拍攝視角問題，部分高樓在視覺上呈現斜射的效果，部分基座邊緣被遮擋，為識別造成了極大的難度。

經過資料分析與推算，我們發現絕大多數的樓塊底座形狀是和樓頂形狀一致的，因此我們採用了樓頂分割+樓頂到基座偏移量的多工學習方案，將分割出的樓頂形狀加上一個樓頂到基座的偏移向量，對基座的形狀和位置進行了一個比較理想的還原。

多元素識別效果展示

針對衛星影像不同元素的影象特徵與拓撲結構關係，我們設計了多個識別模型，包含普通道路識別、精細路網識別、地物分類識別、樓塊識別等，作用於高德多種類別的資料更新。

普通道路識別（左上） 精細路識別(右上) 地物分類(左下) 樓塊識別(右下)

未來展望&挑戰

• 路網資料的準確/快速更新

使用者在使用導航過程中可能會遇到一些場景：比如為什麼這裡有條新路卻給導航了一條繞遠的路？為什麼導航了一條已經不能走的路？為什麼本來這裡可以掉頭卻還要往前多走幾公里才能掉頭？這些由路網資料錯誤導致的導航偏差，是我們未來需要解決的核心問題，也是業界的難題。未來我們期望通過視覺演算法層面的優化，通過多采集源的融合預測，通過提前發現建設中道路等一系列手段，來快速感知到現實世界中發生的路網變化。

• 數字城市中的樓塊與AOI建設

對於數字城市來說，樓塊和AOI（興趣區，Area Of interest）是重要的元素之一：如使用者想要前往某個店鋪，實際導航的到達點是店鋪所在的樓塊；使用者想要前往某個小區的某個樓，實際導航的到達點是小區的入口，因此樓塊與AOI的準確與完備直接影響到使用者導航最後幾百米的使用感受。同時結合最近的疫情防控，數字城市中的樓塊和AOI資訊可以對寫字樓、小區等區域的疫情防控提供有力的資料支援。未來我們期望通過結合衛星影像的發現能力，進一步完善數字城市的資料建設，連線真實世界，讓出行更美好。

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/69941357/viewspace-2682062/，如需轉載，請註明出處，否則將追究法律責任。