任務預測指標整理

GraphL發表於2024-11-17

指標

A Graph-based Representation Framework for Trajectory Recovery via Spatiotemporal Interval-Informed Seq2Seq

預測路段比例 + 座標（歐幾里得距離）+ 座標（道路比例之間的距離）

根據您提供的文件內容，該研究的重點是軌跡恢復（trajectory recovery），而不是直接預測座標或進行道路分類。GRFTrajRec框架旨在透過結合時空和圖結構特徵，解決低取樣率資料集中缺失GPS點的恢復問題。

論文中使用的主要指標

在評估模型效能時，使用了以下指標：

準確率（Accuracy）：評估恢復過程中正確識別道路段的比例。
召回率（Recall）、精確率（Precision）和F1分數（F1 Score）：
- 用於評估恢復的道路段與實際道路段的匹配程度，其中F1分數是精確率和召回率的調和平均值。
平均絕對誤差（MAE）和均方根誤差（RMSE）：
- 歐幾里得誤差：測量預測軌跡點與真實軌跡點在空間位置上的接近程度。
- 基於路網的誤差（RN_MAE和RN_RMSE）：評估恢復點相對於路網拓撲結構的誤差。

從實驗結果來看，該方法在預測精度和空間一致性方面表現優越，顯著超過了其他基線方法。

如果您需要更具體的分析或關於某些指標或方法的詳細資訊，請告訴我！

基於路網的誤差（RN_MAE 和 RN_RMSE）是專門用來評估恢復點在道路網路中的空間位置準確性的指標，尤其是在軌跡恢復任務中，與一般的歐幾里得誤差不同，它更關注恢復點相對於道路網路的拓撲位置偏差。

定義和作用

RN_MAE（基於路網的平均絕對誤差）：
- 測量預測軌跡點與實際軌跡點在路網上的絕對位置誤差。換句話說，預測點在路網上的偏離距離越小，RN_MAE 值越低，說明恢復點與真實點在路網的匹配程度越高。
RN_RMSE（基於路網的均方根誤差）：
- RN_RMSE 則是平方誤差的均值開方，更加敏感於誤差中的大偏差值。它衡量的是預測點在路網上與真實點之間的整體誤差分佈情況。

計算方法

RN_MAE 和 RN_RMSE 的計算過程通常涉及以下步驟：

匹配點到路網：
- 將恢復的軌跡點對映到路網上的實際道路段。
計算路網上的誤差距離：
- 對每個預測點，計算其在路網中到真實點的偏差（沿道路的距離）。
聚合誤差：
- RN_MAE 是所有偏差距離的平均值。
- RN_RMSE 是所有偏差平方的均值再開平方。

使用場景

RN_MAE 和 RN_RMSE 的意義在於：
- 適用於基於道路網路的任務（例如導航、軌跡恢復、路徑規劃）。
- 它們比歐幾里得誤差更能反映預測點在實際道路上的準確性，尤其在複雜的路網結構中，單純的空間距離可能誤導評估。

如果需要更具體的公式或例子，我可以進一步為您解釋！

基於路網的誤差（RN_MAE 和 RN_RMSE）與歐幾里得誤差（MAE 和 RMSE）的核心區別在於距離計算的方式和定義域。以下從概念、計算方法和適用場景等方面進行比較：

1. 概念上的區別

歐幾里得誤差：
- 計算恢復點與真實點在二維空間（平面座標系）上的直線距離。
- 不考慮道路拓撲結構，僅看點到點的最短直線距離。
基於路網的誤差：
- 計算恢復點和真實點沿道路網路（graph）的路徑距離。
- 需要考慮道路的拓撲結構和道路連線關係，測量的是實際交通路徑上的偏差。

2. 計算方法的區別

歐幾里得誤差（MAE 和 RMSE）：
- 公式：
  \[\text{MAE} = \frac{1}{n} \sum_{i=1}^n \sqrt{(x_i^{pred} - x_i^{true})^2 + (y_i^{pred} - y_i^{true})^2} \]
  \[\text{RMSE} = \sqrt{\frac{1}{n} \sum_{i=1}^n \left[ \sqrt{(x_i^{pred} - x_i^{true})^2 + (y_i^{pred} - y_i^{true})^2} \right]^2} \]
- 其中，\(x_i^{pred}\) 和 \(y_i^{pred}\) 是預測點的座標，\(x_i^{true}\) 和 \(y_i^{true}\) 是真實點的座標。
基於路網的誤差（RN_MAE 和 RN_RMSE）：
- 首先將預測點和真實點對映到道路網路上，找到其所屬的道路段。
- 計算預測點到真實點沿道路網路的最短路徑距離。
- 公式類似，但距離 \(d_{network}\) 是基於路網的，而非平面座標的直線距離：
  \[\text{RN\_MAE} = \frac{1}{n} \sum_{i=1}^n d_{network}(p_i^{pred}, p_i^{true}) \]
  \[\text{RN\_RMSE} = \sqrt{\frac{1}{n} \sum_{i=1}^n \left[ d_{network}(p_i^{pred}, p_i^{true}) \right]^2} \]

3. 適用場景的區別

歐幾里得誤差：
- 用於一般的平面點預測任務，如定位精度、普通軌跡點插值、熱點分析等。
- 不適合道路約束的任務（如交通軌跡恢復），因為直線距離可能無效。
基於路網的誤差：
- 用於涉及道路網路的任務，如車輛軌跡恢復、路徑規劃、導航系統等。
- 考慮了實際交通中的限制（如道路形狀、方向性、禁止通行等）。

4. 示例對比

假設真實點 \(A\) 和預測點 \(B\) 位於城市中的兩個不同位置：

歐幾里得誤差：測量 \(A\) 和 \(B\) 的直線距離，可能忽略了實際道路限制。
基於路網的誤差：測量從 \(A\) 到 \(B\) 沿道路的最短行駛距離，反映現實中的導航需求。

例如：

歐幾里得誤差 = \(2\) 公里（直線）
基於路網的誤差 = \(3.5\) 公里（道路網路中繞行距離）

5. 優缺點

特性	歐幾里得誤差	基於路網的誤差
計算複雜度	簡單，基於點到點計算	複雜，需要圖上路徑查詢
精確性	忽略路網特性，可能不準確	更符合實際交通場景
適用性	平面任務，如熱點分析	道路網路相關任務

總結來說，基於路網的誤差更適用於涉及道路拓撲結構的任務，如軌跡恢復，而歐幾里得誤差適用於更廣泛但相對簡單的任務。如果有更具體的使用需求，可以進一步探討！

路網距離就是對映

ITPNET: TOWARDS INSTANTANEOUS TRAJECTORY PREDICTION FOR AUTONOMOUS DRIVING

從你提供的文件內容來看，這個任務是即時軌跡預測（Instantaneous Trajectory Prediction），而不是道路分類。任務的核心是預測未來車輛的軌跡位置，而不是對道路型別進行分類。以下是對文件的分析和解釋：

任務背景：

該任務是在Argoverse和NuScene兩個常用的資料集上進行的，目標是基於觀察到的有限數量的歷史座標（比如僅用2個觀察點）來預測未來一段時間內的軌跡。對於Argoverse資料集，使用的是前2個位置來預測接下來的3秒軌跡，對於NuScenes資料集，使用2個觀察點來預測接下來的6秒軌跡。

模型與方法：

實驗使用了兩個主要的骨幹網路模型：HiVT和LaneGCN，這兩者都是用來提取特徵的深度學習模型。你所提到的 ITPNet 是一種整合方法，透過這些骨幹模型來提升軌跡預測的準確性。

評價指標：

文中提到使用了三種評估指標來衡量模型效能：

minADE@K（最小平均距離誤差，K表示預測軌跡的數量）
minFDE@K（最小最終距離誤差，K表示預測軌跡的數量）
minMR@K（最小平均排名，K表示預測軌跡的數量）

這些指標主要用於衡量模型在預測軌跡時的精度和多樣性。

結論：

任務型別：這是一個軌跡預測任務，旨在根據觀察到的軌跡預測未來車輛的移動路徑。
不是道路分類：你問到是否是做道路分類，答案是否定的。這項任務並不涉及對道路型別的分類，而是預測動態物體（如車輛）在未來時間的空間位置。
使用的指標：如上所述，使用了 minADE、minFDE 和 minMR 等指標來評估預測結果的準確性。

如果你有更多關於資料集、模型細節或評估方法的疑問，歡迎繼續提問！

你提到的結果中，K=6 的表現比 K=1 的結果還要好，通常來說，K=1 是評估最優軌跡的指標，而 K=6 則是評估生成多個軌跡的指標。這個現象確實有些反常，但其實是可以理解的，具體原因可能有以下幾種：

1. 多模態預測與軌跡多樣性

在 K=1 的評估中，模型只生成一個軌跡。這要求模型在預測時非常精確，能夠準確地選擇出一個最優的軌跡。然而，K=6 表示模型會生成多個（通常是6個）可能的軌跡，反映了模型對未來不同可能情形的多模態預測能力。在這種情況下，模型有更多的選擇餘地，可能能夠生成一些相對較為準確的軌跡。

具體來說：

K=1：模型僅輸出一個軌跡，若該軌跡不準確（例如預測錯誤的方向或位置），則誤差較大，可能導致 minADE@K 和 minFDE@K 較高。
K=6：模型生成6條軌跡，其中有一些可能會更接近真實的軌跡，從而降低了總體的誤差。

這也是為什麼在一些多模態預測任務中，K>1 時表現可能會優於 K=1 的原因，因為它為模型提供了更多的預測選項。

2. 評估指標與模型最佳化

這項任務中，評估指標 minADE 和 minFDE 都是基於多個預測軌跡進行計算的。如果模型能生成多個合理的軌跡，而不僅僅是最優軌跡，那麼 K=6 的結果可能會出現更低的錯誤值，因為這些軌跡中可能有更精確的預測路徑。

3. 模型的生成策略

在某些模型中，可能會使用多模態的生成方法，比如 分支策略（branching strategy），它透過探索不同的軌跡假設（比如預測不同的駕駛行為或轉向），從而增加了生成軌跡的多樣性。在這種情況下，雖然 K=1 只能選擇一個最優軌跡，但 K=6 提供了更多的選擇，有時會有更好的表現。

4. 過擬合與噪聲

如果模型在訓練過程中有一定的噪聲或過擬合，K=1 時可能表現出較大的誤差，因為單一的預測結果很容易受到這種干擾。但生成多個軌跡後，模型可能會透過引入更多的軌跡來減小這種過擬合或噪聲的影響，從而導致 K=6 的結果更優。

總結：

K=1 與 K=6 的不同表現反映了任務的多模態性和生成的軌跡多樣性。模型可能能夠生成多個軌跡中較為準確的結果，即使在 K=1 時單一軌跡的誤差較大。
如果在 K=6 時表現更好，可能是因為生成了多個軌跡，其中某些軌跡比較接近真實軌跡，降低了總體誤差。

這種現象在軌跡預測任務中並不罕見，尤其是在多模態預測（如考慮到車輛在不同情況下的運動可能性）場景中。如果你對模型的生成過程或者某些細節還不清楚，繼續深挖或嘗試除錯模型可能會幫助你更好地理解為什麼會出現這種結果。

是的，根據你提供的文件內容，這項任務的主要目標是進行即時軌跡預測（Instantaneous Trajectory Prediction），即根據有限的歷史軌跡來預測未來的位置座標。文中並未提到涉及路網資訊的使用，因此，預測的是座標的歐幾里得距離，而不涉及路網（如道路拓撲結構、交通規則、道路型別等）。