LoD-Loc：利用城市白模進行無人機六自由度定位！

新闻助手發表於2024-10-17

論文資訊

論⽂全稱：LoD-Loc: Aerial Visual Localization using LoD 3D Map with Neural Wireframe Alignment

錄⽤會議：NeurIPS 2024

論⽂地址：https://arxiv.org/abs/2410.12269

程式碼地址：https://github.com/VictorZoo/LoD-Loc

TL;DR: 基於三維城市⽩模地圖（LoD 3D Map）的⼀種使⽤神經線框對⻬進⾏空中視覺定位的新⽅法

論⽂概要：LoD-Loc 基於城市⽩模模型Level of Detail 3D Map （LoD 3D Map）提出⼀種城市⽆⼈機空中定位新正規化。區別於基於SfM / SLAM / Mesh等複雜三維地圖的傳統定位⽅法，LoD 三維地圖具有儲存容量低，能提供隱私保護等優點。然⽽，由於 LoD 地圖缺乏紋理，使⽤之前傳統定位基線進⾏ LoD 地圖空中定位並不簡單。因此，本⽂提出了⼀種可以處理此類任務的定位新⽅法，即基於從影像中估計線框機率進⾏姿態搜尋與細化定位，也可以理解為透過將 LoD 模型投影得出的線框與神經⽹絡預測的線框對⻬來實現定位⽬標。具體⽽⾔，給定⽆⼈機感測器提供的粗略姿勢，LoD-Loc 分層構建均勻取樣姿勢假設的成本體積來描述姿勢機率分佈並選擇具有最⼤機率的姿勢。該體積內的每個成本測量投影和預測線框之間的線對⻬程度。LoD-Loc 還設計了⼀種 6-DoF 姿勢最佳化演算法，以可微分⾼斯⽜頓法改進先前的結果。由於該研究領域沒有公開資料集，論⽂收集了兩個地圖級別為 LoD3.0 和 LoD2.0 的資料集，包括RGB 查詢影像及其真實姿勢標註。實驗表明，所提出的⽅法可以⼤⼤優於現有的基於 CAD 的定位⽅法，同時與使⽤紋理⽹格和區域性特徵描述符的傳統⽅法相⽐具有競爭⼒。

論⽂貢獻：

1. ⾸次提出利⽤LoD 3D Map進⾏空中六⾃由度定位；

2. 使⽤線框對⻬思路，提出⼀種僅以Pose為監督的端到端可微的定位⽅法；

3. 開源兩組城市⽩模定位資料集：UAVD4L-LoD和Swiss-EPFL

摘要

LoD-Loc：利用城市白模進行無人機六自由度定位！

本⽂提出了⼀種名為 LoD-Loc 的⽤於空中視覺定位新⽅法，輸⼊是城市三維白模地圖和⼀張影像及其先驗資訊，輸出影像對應的相機位姿。本⽂⽅法基於對⻬線框LoD模型投影得到的顯式線框與神經⽹絡預測的神經線框特徵對⻬，將相機定位問題轉換成度量學習。LoD-Loc端到端地學習了從三維線框到位姿的資料先驗，這種能⼒能夠在城市⽩模場景下的定位任務中表現優異。本⽂演算法能夠在給定粗略姿先驗的情況下定位，且效能與使⽤紋理⽹格模型的傳統⽅法相⽐具有競爭⼒。

原有問題

現有的地⾯或空中視覺定位⽅法主要依賴於在查詢影像中的畫素點與預先構建的⾼質量三維地圖中的點進⾏匹配。然⽽，使⽤諸如傾斜攝影等技術構建⾼精度的全球範圍三維地圖，成本極為⾼昂，且難以在⽇常使⽤中進⾏及時的維護和更新。此外，這類三維地圖需要佔⽤⼤量的儲存空間，尤其是在⽆⼈機等終端裝置上的部署⾯臨著顯著的挑戰。更為重要的是，⾼解析度的三維地圖暴露了定位區域的詳細資訊，這帶來了關於國家安全和隱私保護的潛在問題。