RGB-D SLAM系統評估的基準---TUM Benchmark for RGB-D SLAM System Evaluation - TUM資料集

翻譯：A Benchmark for the Evaluation of RGB-D SLAM Systems

原文連結：https://www.researchgate.net/publication/261353760_A_benchmark_for_the_evaluation_of_RGB-D_SLAM_systems

摘要：

本文提出了一種用於RGB-D SLAM系統評估的新的基準。我們用運動捕捉系統的高精度、時間同步的地面真相相相機姿態記錄了來自微軟Kinect的大量影像序列。在視訊幀速率（30赫茲）中，序列包含全感測器解析度（640×480）的顏色和深度影像。從八個高速跟蹤攝像機（100 Hz）的運動捕捉系統獲得地面真實軌跡。資料集由記錄在辦公室環境和工業大廳中的39個序列組成。資料集涵蓋了大量的場景和相機運動。我們提供的序列與緩慢運動除錯以及更長的軌跡有無閉環。大多數序列是從手持Kinect中記錄的，具有不受限制的6自由度運動，但我們還提供了安裝在先鋒3機器人上的Kinect的序列，該Kinect是在雜亂的室內環境中手動導航的。為了促進不同方法的比較，我們提供了用於視覺里程計系統漂移評估和SLAM系統全域性姿態誤差評估的自動評估工具。基準網站[1]包含所有資料、場景的詳細描述、資料格式的規範、示例程式碼和評估工具。

介紹

公共資料集和基準極大地支援了對演算法的科學評價和客觀比較。在計算機視覺領域中成功的基準測試的幾個例子已經表明，公共資料集和清晰的評估度量可以顯著地幫助推動最先進的狀態。在機器人技術中，一個高度相關的問題是所謂的同時定位（SLAM）問題，其目標是從感測器資料中恢復相機軌跡和地圖。SLAM問題已經被詳細研究了感測器，如聲納、鐳射、攝像機和飛行時間感測器。最近，新型低成本的RGB-D感測器，例如Kinect變得可用，並且使用這些感測器的第一SLAM系統已經出現[2]–[4]。其他演算法專注於融合深度圖到相干3D模型〔5〕。然而，所計算的3D模型的精度很大程度上取決於如何精確地確定個體相機姿態。有了這個資料集，我們提供了一個完整的基準，可以用來評估在RGB-D資料上的視覺SLAM和測距系統。為了刺激比較，我們提出兩個評價指標，並提供自動評估工具。

我們的資料集包括39個序列，我們記錄在兩個不同的室內環境。每個序列包含顏色和深度影像，以及來自運動捕捉系統的地面真實軌跡。我們仔細校準和時間同步Kinect感測器到運動捕捉系統。校準後，我們測量運動捕捉系統的精度，以驗證校準。所有資料可在創作共享屬性許可證（CC-3）網上獲得。

http://vision.in.tum.de/data/datasets/rgbd-dataset

該網站包含關於資料格式、校準資料和示例程式碼視訊的附加資訊，以便對資料集進行簡單的視覺檢查。

相關工作

同時定位和對映（或結構efrom-.）問題在機器人[6]-[12]和計算機視覺[9]，[13]-[16]中都有很長的歷史。過去已經探索了不同的感測器模式，包括2D鐳射掃描器[17]、[18]、3D掃描器[19]-[21]、單目相機[9]、[14]-[16]、[22]-[24]、立體聲系統[25]、[26]以及最近RGB-D感測器，例如Microsoft Kinect[2]-[4]。

        鐳射和攝像機的SLAM系統，有幾個著名的資料集，如Freiburg、因特爾、rawseeds和newcollege集[ 27 ]–[29 ]。蓋革等人。〔30〕最近提出了一種基於地面真實姿態的立體影像的視覺測徑基準。然而，沒有提供深度圖，因此需要額外的預處理步驟。波梅洛等。〔31〕在運動捕捉工作室中記錄了來自Kinect的無紋理點雲的資料集。也有相關的鮑等人的工作。[32 ] WHO旨在評估語義對映和定位方法。然而，在他們的資料集從Kinect相機姿態估計的彩色影像，使地面真理是不夠準確的為我們的目的。據我們所知，因此，我們的資料集是適合視覺SLAM的評價第一RGB-D資料集（和視覺里程計）系統，因為它包含的顏色和深度影像和相關的地面真實相機的姿勢。我們的基準的早期版本是最近提出的[ 33 ]。從我們收到的反饋，我們擴充套件了原有的資料集的動態序列，更長的軌跡，並從安裝在移動機器人Kinect記錄序列。

        僅次於資料本身，SLAM解決方案的基準測試需要合適的評估度量。一個常用的評價指標，甚至不需要地面真理是衡量內在的錯誤後，地圖優化，如重投影誤差或者，更普遍的是，2的χ錯誤[ 12 ]，[ 34 ]。然而，明顯低χ2錯誤不保證良好的地圖或軌跡的準確估計，平凡不使用任何感測器的資料導致零誤差。因此，從實踐的角度，我們提倡類似於奧爾森等人。[ 34 ]：通過比較其輸出評估整個系統的端到端效能（地圖或軌跡）與地面的真相。例如，地圖可以通過疊加在樓層平面圖上並搜尋差異來進行評估。雖然，在原則上，差分影像兩者之間的對映可以自動計算[ 35 ]，往往表現為只有肉眼判斷尋找薄結構，扭結或鬼像雙壁。

        地圖比較的選擇是通過比較估計攝像機運動軌跡與真實評價SLAM系統。兩種常用的方法是相對位姿誤差（RPE）和絕對軌跡誤差（ATE）。RPE測量估計運動與真實運動之間的差異。它可以用來評估一個視覺測距系統[ 36 ]或閉合環的SLAM系統[ 37 ]精度的漂移，[ 38 ]如果只有稀疏尤其有用，相對關係可作為地面真理。而不是評估相對構成差異，ATE首先對齊兩軌跡並評價直接絕對構成差異。這種方法很適合視覺SLAM系統[ 34 ] [ 39 ]的評價，但需要絕對的真實姿態是可用的。當我們提供密集和絕對地面真理軌跡，這兩種度量是適用的。對於這兩種措施，我們提供了一個參考實現，計算各自的錯誤估計與地面真實軌跡。

        在本文中，我們提出了一個新的基準評估的視覺SLAM和視覺測距系統上的RGB-D資料。靈感來自於成功的基準，在計算機視覺等明德光流資料[ 40 ]和[ 30 ]在視覺的基準測試套件，我們打出了集分為訓練和測試的一部分。當訓練序列進行離線評估完全可用，測試序列只能評估基準網站[ 1 ]避免過度擬合。

 

 資料集

Kinect感測器由近紅外鐳射、紅外攝像機和彩色攝像機組成，近紅外鐳射將折射圖案投射到場景中。由於投影模式是已知的，有可能使用塊匹配技術來計算視差。注意，影像校正和塊匹配在硬體中實現並且在感測器內部發生。

我們從Kinect獲得了包含RGB-D資料和從運動捕獲系統獲得的地面真實姿態估計的大量資料序列。我們在典型的辦公環境（“fr1”，6×6m2）和大型工業大廳（“fr2”，10×12m2）中記錄了這些軌跡，如圖1所示。在大多數錄音中，我們使用手持式Kinect來瀏覽場景。此外，我們還記錄了安裝在輪式機器人上的Kinect的附加序列。表I總結了19個訓練序列的統計資料，圖2顯示了四的影像。

它們伴隨著相應的攝像機軌跡。平均而言，FR1序列的相機速度高於FR2的相機速度。除了特別指出之外，我們確保每個序列包含幾個迴圈閉合，以允許SLAM系統識別之前訪問過的區域，並使用它來減少相機漂移。我們將記錄的序列分為“校準”、“測試和除錯”、“手持式SLAM”和“機器人SLAM”。

在下文中，我們簡要總結了根據這些類別的記錄序列。

a)校準：為了校準Kinect和運動捕獲系統的內部和外部引數，我們為每個Kinect記錄

●一個序列，帶有由固定Kinect記錄的具有20mm平方尺寸的手持式8×6棋盤的顏色和深度影像，

●用一個固定的Kinect記錄一個手持8×6棋盤的具有20平方毫米大小的紅外影像的一個序列，

●一個序列，帶有由手持Kinect記錄的108mm正方形的8×7固定棋盤的顏色和深度影像。

b)測試和除錯：這些序列旨在促進沿Kinect主軸和圍繞Kinect主軸分別運動的新演算法的開發。在“xyz”序列中，相機大致沿著X-、Y-和Z-軸（左/右、上/下、前/後）移動，幾乎沒有轉動部件（參見圖2a）。類似地，在兩個“rpy”（搖擺-俯仰-偏航）序列中，相機大多僅圍繞主軸旋轉，幾乎沒有平移運動。

C）手持式SLAM：我們用手持式Kinect，即6自由度攝像機運動記錄了11個序列。對於“FR1／360”序列，我們通過在房間的中心搖動Kinect來覆蓋整個辦公室。“FR1/地板”序列包含相機掃過木地板。“fr1/desk”、“fr1/desk2”和“fr1/.”序列分別覆蓋兩張桌子、四張桌子和整個房間（參見圖2b）。在“fr2/360半球”序列中，我們在現場旋轉Kinect，並將其指向工業大廳的牆壁和天花板。在“fr2/360綁架”序列中，我們用手簡單地覆蓋感測器幾秒鐘，以測試SLAM系統從感測器故障中恢復的能力。對於“fr2/desk”序列，我們在運動捕捉區域中間設定了一個辦公環境，該環境由兩個表組成，這些表具有各種附件，如監視器、鍵盤、書籍，參見圖2c。在一個課桌上，不斷地移動幾個物體。

此外，我們記錄了兩個大型旅行通過工業大廳，部分具有較差的照明和很少的視覺特徵。在“FR2/大無迴路”序列中，特別注意在軌跡中不存在視覺重疊。我們的目的是提供一個序列來測量長期漂移（否則迴圈閉合）SLAM系統。相反，“fr2/.with.”序列在序列的開始和結束之間有很大的重疊，因此存在較大的迴圈。應該指出的是，這些遊覽是如此之大，以至於我們不得不離開工業大廳中間的運動捕捉區。因此，地面真實姿態資訊只存在於序列的開始和結束。

D）機器人SLAM：我們還記錄了四個序列，其中Kinect安裝在ActudiMeLoad先鋒3機器人上（見圖1D）。有了這些序列，就有可能證明SLAM系統對輪式機器人的適用性。我們把Kinect水平對準，向前看機器人的驅動方向，這樣地平線大致位於影像的中心。注意，Kinect的運動並不嚴格限於平面，因為偶爾的震動（由於地板上的顛簸和電線的結果）偏轉了Kinect的方向。在記錄過程中，我們手動通過場景手動操縱機器人。

在“FR2/先鋒360”序列中，我們駕駛機器人繞著（主要是）空大廳的中心兜圈子。由於大廳的大尺寸，Kinect不能觀察到部分序列的遠壁的深度。此外，我們在大廳中設定了一個搜尋和救援場景，該場景由幾個辦公容器、箱子和其他功能較差的物件組成，參見圖2d。因此，這些序列具有深度，但是對於依賴於特定關鍵點的方法極具挑戰性。三個序列“fr2/pioneer slam”、“fr2/pioneer slam2”和“fr2/pioneer slam3”在實際軌跡上不同，但是都包含幾個迴圈閉包。

資料採集

所有資料都以全解析度（640×480）和全幀速率（30Hz）記錄在Linux膝上型電腦上，執行Ubuntu 10.10和ROS Diamondback。為了記錄RGB-D資料，我們使用了兩個不同的現成的Microsoft Kinect感測器（一個用於“fr1”序列，另一個用於“fr2”）。為了訪問顏色和深度影像，我們在ROS中使用openni相機包，它內部包裝PrimeSense的OpenNI驅動程式[41]。由於從兩個不同的照相機觀察深度影像和彩色影像，所以所觀察(原始)影像最初不對準。為了達到這個目的，OpenNI驅動程式可以自動地使用Z緩衝器將深度影像註冊到彩色影像。這是通過將深度影像投影到3D並隨後將其投影到彩色攝像機的檢視來實現的。OpenNI驅動程式用於此註冊，工廠校準儲存在內部儲存器上。此外，我們使用Kinect Aux驅動程式記錄Kinect在500赫茲的加速度計資料。

為了獲得Kinect感測器的相機姿態，我們使用了來自運動分析（42）的外部運動捕捉系統。我們的設定包括八個RAPTRO-E相機，相機解析度高達1280×1024畫素，高達300赫茲（見圖3A）。運動捕捉系統通過三角測量跟蹤被動標記的三維位置。為了增強這些標記的對比度，運動捕捉相機配備有紅外LED來照亮場景。我們驗證了Kinect和運動捕獲系統不干擾：運動捕獲LED在Kinect紅外影像中表現為暗燈，對生成的深度圖沒有影響，而Kinect的投影儀完全沒有被運動捕獲相機檢測到。最後，我們還用外部攝像機錄下了所有實驗，從不同的角度捕捉攝像機的運動和場景。所有的序列和電影可在我們的網站[ 1 ]。

檔案格式、工具和示例程式碼

每個序列作為單個壓縮TGZ存檔提供，它由以下檔案和資料夾組成：

“RGB//”：一個包含所有彩色影像的資料夾（PNG格式，3個通道，每個通道8位），

“depth/”：深度影像相同（PNG格式，1通道，每通道16位，按係數縮放的距離為5000），

“RGB .txt”：一個文字檔案，具有連續的所有彩色影像列表（格式：時間戳檔名），

“depth.txt”：與深度影像相同（格式：時間戳檔名），

“IMU.TXT”：包含時間戳加速度計資料的文字檔案（格式：時間戳FX FY FZ），

•“groundtruth..txt”：包含作為時間戳翻譯向量和單位四元數(格式：timestamp tx ty tz qy qz qw)儲存的地面真實軌跡的文字檔案。

此外，所有序列還可以以ROS包格式1和移動機器人程式設計工具包(MRPT)2的羅拉格格式獲得。此外，我們提供了一套有用的工具和示例程式碼在我們的網站上的資料關聯，評估和轉換[ 1 ]。

 校準與同步

我們設定的所有元件，即彩色相機、深度感測器、運動捕捉系統都需要內部和外部校準。此外，由於各個感測器的預處理、緩衝和資料傳輸中的時間延遲，感測器訊息的時間戳需要同步。

A.運動捕捉系統校準

我們使用運動分析軟體（42）提供的皮層軟體對運動捕捉系統進行校準。如圖3b所示，校準過程需要在運動捕捉區域廣泛地揮動帶有三個標記的校準棒。從這些點對應，系統計算運動捕捉相機的姿態。為了驗證此校準程式的結果，我們在兩端裝有長度約2米的金屬桿，並檢查其觀察長度在運動捕捉區域的不同位置是否恆定。這個實驗背後的想法是，如果並且僅當金屬棒的長度在場景的所有部分中是恆定的，那麼整個運動捕捉區域是歐幾里德的。在本實驗中，我們測量了棒子長度在整個運動捕捉區域7×7上的標準偏差1.96mm。由此和進一步的實驗，我們得出運動捕捉系統的位置估計是高度精確的、歐幾里德的並且隨時間是穩定的。

B.Kinect標定

接下來，我們使用OpenCV庫從“rgb”和“ir”校準序列估計彩色和紅外相機的內部相機引數。通過這種標定，我們得到了兩臺相機的焦距（fx/fy）、光學中心（cx/cy）和畸變引數。這些引數在Tab中得到了總結。二。其次，我們通過比較RGB影像中棋盤上四個不同點的深度來驗證Kinect的深度測量。如圖4A所示，兩個Kinects的值不完全匹配。

由校準RGB相機的棋盤探測器計算的實際深度，但尺度略有不同。在Tab中給出了深度影像的估計校正因子。二。我們已經將這個校正因子應用到資料集，因此不需要來自使用者的進一步動作。我們評估了深度值中的殘餘噪聲作為棋盤的距離的函式。實驗的結果如圖4b所示。從圖中可以看出，深度值中的噪聲在1cm左右直到2m距離，在5cm左右在4m距離。Kinect校準和由此產生的精度的詳細分析最近已由SmiSek等人出版[43 ]。

C. Extrinsic校準

為了跟蹤場景中的剛體（如Kinect感測器或棋盤），運動捕獲系統需要至少三個反射標記。在我們的實驗中，我們在每個Kinect感測器上附加了四個反射標記（參見圖1c+1d）和校準棋盤上的五個標記（參見圖5a）。我們將四個標記儘可能精確地放置在棋盤的外角，這樣就可以知道視覺棋盤和運動捕捉標記之間的轉換。給定這些點觀測值和點模型，我們可以計算它相對於運動捕獲系統的座標系的姿態。

我們測量了點觀測值與模型之間的平均誤差，在辦公室為0.60mm（“fr1”），在工業大廳為0.86mm（“fr2”）。考慮到這些噪聲值，我們估計誤差在0.34°和0.49°左右的估計方向上。雖然這個誤差相當低，但讀者應該記住，這意味著，在給定運動捕獲系統的姿態（假設當前為無噪聲的深度影像）的重建3D模型在距攝像機5米的距離內將分別具有30毫米和43毫米的誤差。因此，我們強調運動捕捉系統的姿態估計不能直接用於生成（或評估）場景的高精度3D模型。然而，對於視覺SLAM系統的軌跡精度評價，絕對的亞毫米波和亞度精度足夠高來評價當前（和潛在的未來）的藝術狀態的方法。

作為下一個校準步驟，我們估計之間的位姿變換從運動捕捉系統和光學架的Kinect使用校準棋盤。我們驗證了我們的校準測量的棋盤的四個角點的距離作為觀察到的RGB影像的角點的動作捕捉系統預測。我們測量的平均誤差為3.25毫米的“FR1”Kinect和4.03毫米的“FR2”Kinect。請注意，這些殘留物含有噪聲的運動捕捉系統誘導視覺棋盤檢測引起的噪聲。關於

高精度的運動捕捉系統，我們將這些誤差主要歸因於棋盤檢波器的（零均值）噪聲。

根據我們在校準期間獲得的測量結果，我們得出結論，在地面真值資料中，幀到幀的相對誤差低於在Kinect的光學中心測量的1mm和0.5°。此外，整個運動捕捉區域的絕對誤差小於10mm和0.5°，因此，只要這些系統具有(RPE和ATE)明顯高於這些值的誤差，我們的資料集對於評估視覺里程計和視覺化SLAM系統的效能是有效的。

D.時間同步

我們使用相同的方法確定運動捕獲系統和Kinect的彩色相機之間的時間延遲，即，我們評估不同時間延遲的殘差以確定延遲（參見圖5b）。在這個實驗中，我們發現來自運動捕捉系統的姿態比Kinect的彩色影像早大約20ms。我們已經在資料集中對這個延遲進行了校正，因此使用者不需要進一步的動作。

Kinect遞送的顏色和深度影像之間也存在小的時間延遲。在對我們自己的SLAM和視覺里程計系統進行評估時，我們發現深度影像平均比彩色影像晚20ms左右。然而，我們決定保持未修改的時間戳的顏色和深度影像在資料集。為了簡化使用者對顏色和深度影像的關聯，我們提供了“associate.py”指令碼，該指令碼根據使用者偏好（如時間偏移和最大時差）輸出顏色和深度影像對。

使用者應該記住的影像資料中的另一個挑戰是，Kinect為彩色相機使用滾動快門，當相機快速移動時可能導致影像失真。由於Kinect根據場景照明自動選擇曝光時間，因此這種效果的強度在資料集中的一些序列中可以顯著變化。

評價指標

SLAM系統通常輸出所估計的攝像機軌跡以及所得到的MAP的估計。雖然原則上可以評估所得地圖的質量，但是很難獲得準確的地面真值圖。因此，我們建議從給定的RGBD影像的輸入序列來估計估計軌跡的質量。該方法大大簡化了評價過程。然而，應當指出，好的軌跡並不一定意味著好的地圖，例如，即使地圖上的一個小錯誤也可能阻止機器人在環境（門口的障礙）中工作。對於評估，我們假設我們從估計軌跡P1，給出了一系列姿態。…PN-SE（3）和地面真實軌跡Q1，。…，QN SE（3）。為了簡化記法，我們假設序列是時間同步的，均等地取樣，並且都具有長度n。實際上，這兩個序列通常具有不同的取樣率、長度和潛在的缺失資料，因此額外的資料關聯和插值步驟是r相等的。這兩個序列由表示RGB光學幀的姿態的齊次變換矩陣組成。

Kinect從（任意）參考幀。對於兩個序列，該參考幀不必相同，即，估計序列可以始於原點，而地面真值序列是在校準期間定義的絕對座標幀。雖然原則上，Kinect上的參考幀的選擇也是任意的，但我們決定使用RGB光學幀作為參考，因為我們資料集中的深度影像已經註冊到這個幀中。在本節的其餘部分，我們定義了兩種常用的視覺測距和視覺SLAM評價的評價指標。對於兩個評估度量，我們提供易於使用的評估指令碼，以便在我們的網站上下載，以及該指令碼的線上版本，以簡化和標準化使用者的評估過程。

A 相對位姿誤差（RPE）

相對位姿誤差在一定的時間間隔內測量軌跡的區域性精度。因此，相對位姿誤差對應的軌跡，這是特別有用的視覺里程計系統評價的漂移。在時間步長I中定義相對位姿誤差。

從N個攝像機姿態序列中，我們得到了沿序列的m＝n＝個體相對位姿誤差。根據這些誤差，我們建議計算平移分量的所有時間索引上的均方根誤差（RMSE），如

其中反式（EI）指的是相對位姿誤差Ei的平移分量。應該指出的是，一些研究者更喜歡評估平均誤差，而不是對離群值影響較小的均方根誤差。或者，也可以計算中值而不是均值，這對離群值的影響更小。如果需要，還可以評估旋轉誤差，但是通常我們發現通過平移誤差的比較就足夠了（因為當相機移動時，旋轉誤差表現為平移誤差）。

此外，還需要選擇時間引數。對於匹配連續幀的視覺里程測量系統，=1是一個直觀的選擇；然後RMSE(E1:n)給出漂移perframe。對於使用多於一個先前幀的系統，較大的_值也可以是適當的，例如，=30給出以30Hz記錄的序列的每秒漂移。應當注意，一個常見的（但是很糟糕的）選擇是設定=n，這意味著開始點與結束點直接進行比較。這個度量可能會產生誤導，因為它懲罰了軌跡開始時的旋轉誤差，而不是朝向終點[37]、[45]。對於SLAM系統的評估，因此平均而言是有意義的。

可能的時間間隔，即，計算

注意，該表示式的計算複雜度在軌跡長度上是二次的。因此，我們建議通過從固定的相對姿態樣本中計算它來近似它。我們的自動評估指令碼允許精確的評估以及對給定數量的樣本的近似。在圖6中給出了相對位姿誤差的一個例子。這裡，相對姿態誤差已經被評估為兩個視覺測徑方法〔44〕。從這個圖中可以看出，與GICP相比，RBM方法具有更低的漂移和更少的離群值。

B:絕對軌跡誤差（ATE）

另外，對於視覺SLAM系統，估計軌跡的全域性一致性是一個重要的量。全域性一致性可以通過比較估計和地面真實軌跡之間的絕對距離來評估。由於兩個軌跡都可以在任意座標系中指定，所以它們首先需要對齊。這可以使用HORM〔46〕的方法在閉合形式下實現，它找到剛體變換S對應於最小二乘解，該對映將估計軌跡P1:N對映到地面真軌跡Q1：n。步驟i可以計算為

與相對位姿誤差相似，我們建議在平移分量的所有時間指標上計算均方根誤差，即，

在圖7a中給出了絕對軌跡誤差的視覺化表示。

或者，也可以使用RPE通過平均所有可能的時間間隔來評估軌跡的全域性誤差。注意，RPE考慮平移和旋轉誤差，而ATE只考慮平移誤差。結果，RPE總是比ATE稍大（或者如果沒有旋轉誤差相等）。這在圖7b中也是視覺化的，其中RPE和ATE都是根據RGB-D SLAM系統的各種估計軌跡計算的。因此，RPE度量提供了一種優雅的方式將旋轉和平移誤差合併成一個單一的度量。然而，旋轉誤差通常也以錯誤的翻譯表現出來，因此也間接地被ATE捕獲。從實用的角度來看，ATE具有直觀的視覺化，便於視覺檢查。然而，這兩個指標是緊密相關的：在我們的所有實驗中，我們從未遇到使用RPE和ATE的情況之間的實質性差異。事實上，通常相對順序與實際使用的方法保持獨立。

結論

在本文中，我們提出了一個基準的RGB-D SLAM系統的評價。資料集包含彩色影像、深度圖和相關地面真實攝像機姿態資訊。此外，我們提出了兩個評估指標，可用於評估視覺里程計和視覺化SLAM系統的效能。精確的校準和嚴格的驗證確保了所得到的資料集的高質量。我們通過對自己最近的方法[44]、[47]的評價來驗證資料集和相應的評估度量的有效性。最後，我們提出了一個高質量的資料集，它具有一組合適的評估度量，構成了一個視覺化SLAM系統評估的完整基準。

致謝

作者想感謝Jorg M·Uulle和米迦勒·Runnk的幫助和支援與運動捕捉系統。此外，我們感謝弗蘭克·斯坦布魯克、雷納·庫默爾、聖伊潘·馬格納特、弗朗西斯·科拉斯和弗朗索瓦·波默洛富有成果的討論。我們還感謝Jose Luis Blanco通過將資料集轉換為RAWLOG格式，使得移動機器人程式設計工具包（MRPT）的使用者能夠使用我們的資料集。

 

轉載自https://blog.csdn.net/weixin_36662031/article/details/83088781