AAAI 2025｜時間序列演進也是種擴散過程？基於移動自迴歸的時序擴散預測模型

机器之心發表於2024-12-23
AI模型
圖片
AIxiv專欄是機器之心釋出學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報導了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯絡報導。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

在人工智慧領域，目前有很多工作採用自迴歸方法來模擬或是替代擴散模型，其中視覺自迴歸建模（Visual AutoRegressive modeling，簡稱 VAR）就是其中的典型代表，該工作利用自迴歸取得了比傳統基於噪聲的擴散模型更好的生成效果，並且獲得了人工智慧頂級會議 NeurIPS 2024 的 best paper。然而在時間序列預測領域，當前主流的擴散方法還是傳統的基於噪聲的方法，未能充分利用自迴歸技術實現時間序列建模。

近期，來自上海交通大學和東方理工的研究團隊推出了自迴歸移動擴散（Auto-Regressive Moving Diffusion，簡稱 ARMD）模型。ARMD 模型受經典的自迴歸移動平均（ARMA）理論啟發，重新定義了時間序列的擴散過程：如圖一所示，與傳統的基於噪聲的擴散方法不同，ARMD 將時間序列的演進看成是一個擴散過程，並採用了基於鏈式擴散的方式。它的前向過程由未來序列擴散到歷史序列，並根據擴散步數透過滑動序列的操作生成中間狀態；反向過程則透過歷史序列‘取樣’生成未來序列，實現了取樣和預測目標的統一。
圖片
圖一：已有的基於噪聲的時序擴散方法和 ARMD 的時序擴散方法對比。

相比於傳統基於擴散的時序模型，ARMD 並沒有將時間序列預測視為從噪聲起步的條件生成任務，而是充分利用時間序列資料的連續演化特性，實現了擴散機制與時間序列連續性之間的對齊，從而提升了模型效能。該項研究以《Auto-Regressive Moving Diffusion Models for Time Series Forecasting》為題，被 AAAI 2025 接收。
圖片

  • 論文標題：Auto-Regressive Moving Diffusion Models for Time Series Forecasting

  • 論文地址：https://arxiv.org/abs/2412.09328

  • 專案地址：https://github.com/daxin007/ARMD


方法介紹

針對時序預測任務，該研究用歷史序列圖片去預測未來序列圖片，其中 L 為歷史序列的長度，T 為未來序列的長度。在該任務中，研究人員將歷史序列的長度設定為與未來序列相同，即 L=T。

在 ARMD 中，時間序列的演進被概念化為一個擴散過程，時間序列的每一步都可以看成是擴散模型的一個狀態，如圖二所示。未來序列圖片（下標表示在序列中的位置，上標表示在擴散模型中的狀態）作為前向擴散（演進）過程的初始狀態，而歷史序列圖片則是最終狀態。不同於傳統方法逐漸新增噪聲生成中間狀態，ARMD 透過對圖片進行滑動操作來生成中間狀態（序列）圖片，使其逐漸接近歷史序列。這一過程不僅保持了時間序列的連續性，還確保每個中間狀態反映了時間序列演進的特定階段。由初始狀態到中間狀態新增的內容可以定義為演進趨勢，類似於傳統擴散模型中的噪聲。

反向去噪（逆演進）過程則利用歷史序列圖片來迭代生成（預測）未來序列圖片。ARMD 採用了一個基於距離的去噪（逆演進）網路，根據中間狀態圖片和時間步 t 得到時間序列的演進趨勢。
圖片
圖二: ARMD 擴散模型示意圖。在前向擴散（演進）過程中，未來序列逐漸被轉化為歷史序列。相反，反向去噪（反演進）過程則利用歷史序列迭代地生成 / 預測未來序列。

在最終的取樣（預測階段），ARMD 從歷史序列圖片開始，迭代生成對未來序列的預測，使取樣過程和最終的時間序列預測目標對齊，從而使 ARMD 成為無條件的時序擴散模型。取樣過程遵循 DDIM（Denoising Diffusion Implicit Models）的方法，用預測的演進趨勢替代傳統擴散模型中預測的噪聲，並透過逐步去噪（反演進）得到對模型的最終預測。

模型結果

經過在七個廣泛使用的時序預測資料集上的大量實驗，ARMD 模型的表現超越了現有的基於擴散的時間序列預測模型，並且和最先進的端到端時間序列預測模型取得了相當的效果。模型的預測結果如表一和表二所示：
圖片
表一：時間序列預測實驗之與基於擴散的時間序列預測基準模型的結果比較。最佳結果以粗體突出顯示。“最佳次數” 列表明模型取得最佳結果的次數。
圖片
表二：時間序列預測實驗之與端對端時間序列預測基準模型的結果比較。最佳結果以粗體突出顯示。“最佳次數” 列表明模型取得最佳結果的次數。

另外，由於擴散過程的最佳化，ARMD 模型在訓練推理時間和預測的穩定性方面相對於之前的時序擴散模型也有明顯的優勢。ARMD 模型的預測效果示例如圖三所示：ARMD 在具有明顯週期性或趨勢特徵的時間序列上展現了卓越的預測效能，能夠有效地捕捉這些時間序列中的相關特徵，且相對於其他擴散模型預測更加穩定。

總結

綜上所述，Auto-Regressive Moving Diffusion (ARMD) 模型透過重新詮釋時間序列的擴散過程，結合時間序列的自迴歸特性，成功彌合了擴散機制與時間序列預測目標之間的差距。不同於傳統方法從白噪聲開始逐步新增噪聲，ARMD 採用鏈式擴散策略，透過滑動操作將未來序列逐漸轉化為歷史序列，更準確地模擬時間序列的演化路徑。該模型還引入了獨特的反向去噪（逆演化）過程，利用歷史序列迭代生成（預測）未來序列，有效捕捉時間序列的特徵。實驗結果和理論分析共同證明了 ARMD 作為一種穩健且有效的時間序列預測方案的巨大潛力。
圖片
圖三: ARMD 和 Diffusion-TS 在給定相同歷史序列的情況下，分別做出的 10 次不同預測的分佈情況。ARMD 實現了更穩定且準確的預測。

相關文章