近日，由阿里雲端計算平臺大資料基礎工程技術團隊主導的四篇時間序列相關論文分別被國際頂會ICLR2024、ICDE2024和WWW2024接收。
論文成果是阿里雲與華東師範大學、浙江大學、南京大學等高校共同研發，涉及時間序列與智慧運維結合的多個應用場景。包括基於Pathways架構的自適應多尺度時間序列預測模型Pathformer；基於擾動技術的時間序列解釋框架ContraLSP；多正常模式感知的頻域異常檢測演算法MACE；輕量資料依賴的異常檢測重訓練方法LARA。此次，時間序列相關模型等多篇論文的入選，表明阿里雲在大資料基礎技術領域的研究得到了國際學術界的認可，不僅展示了阿里雲的技術競爭力，也創造了更多國際合作交流的可能性。
- ICLR（International Conference on Learning Representations）會議是機器學習和深度學習領域的頂級國際會議，與NeurIPS、ICML並稱為機器學習三大頂級會議，在谷歌的全領域學術指標排行榜中位列前十，以展示人工智慧、統計學和資料科學領域的深度學習各個方面的前沿研究以及機器視覺、計算生物學、語音識別、文字理解、遊戲和機器人等重要應用領域而聞名全球。
- ICDE（IEEE International Conference on Data Engineering） 是資料庫研究領域歷史悠久的國際會議，與SIGMOD、VLDB並稱為資料庫三大頂級會議，會議聚焦於設計，構建，管理和評估高階資料密集型系統和應用等前沿研究問題。
- WWW（The Web Conference）是為交叉，新興，綜合領域的頂級會議，CCF-A類，會議關注全球資訊網的未來發展，匯聚全世界相關的科研工作者、從業者和領域專家，共同討論網際網路的發展、相關技術的標準化以及這些技術對社會和文化的影響。
Pathformer：基於Pathways架構的自適應多尺度時間序列預測模型
現實場景中的時間序列在不同的時間尺度展現出不同的變化，如雲端計算場景中的CPU，GPU，記憶體等資源需求呈現出日、月、季節等獨特尺度的時間模式。這為時間序列預測帶來一定的困難。一個好的時間序列預測模型需要考慮完備的時序多尺度建模能力以及進一步自適應選擇多尺度的能力。
基於Transformer模型的多尺度建模，主要有兩個挑戰。
1. 不完備的多尺度建模。只是針對時間解析度不能有效地捕捉不同範圍的時間依賴關係，相反，考慮時間距離雖然能提取不同範圍的時間依賴，但全域性和區域性間隔受到資料劃分的影響，單一的時間解析度並不完備。
2. 固定地多尺度建模過程。對所有時序採用固定的多尺度建模阻礙了每個時序的重要特徵捕捉，然而為每個資料集或每個時序手動調整最佳尺度非常耗時且難以處理。
針對這些問題，我們提出了一個基於Pathways架構的自適應多尺度Transformer模型 Pathformer，它整合了時間解析度和時間距離提出了一個多尺度Transfomer模組，使用雙重注意力機制建模區域性和全域性的時間依賴關係，使模型具備完備的多尺度建模能力。其次，我們提出自適應pathways，啟用Transformer的多尺度間建模能力。它基於輸入時序逐層地路由和聚合多尺度特徵形成了自適應pathways的多尺度建模，可以提升模型的預測效果和泛化性。
ContraLSP：基於對比稀疏擾動技術的時間序列解釋框架
在智慧運維等領域，為機器學習模型所做的預測提供可靠的解釋具有極高的重要性。現有的解釋方法涉及使用顯著性方法，這些方法的解釋區分取決於它們與任意模型的互動方式。一些工作建立了顯著圖，例如，結合梯度或構造注意力機制，以更好地處理時間序列特徵，而它們難以發現時間序列模式。其他替代方法，包括Shapley值或LIME，透過加權線性迴歸在區域性近似模型預測，為我們提供解釋。這些方法主要提供例項級別的顯著圖，但特徵間的互相關常常導致顯著的泛化誤差。在時間序列中最常見的基於擾動的方法通常透過基線、生成模型或使資料無資訊的特徵來修改資料，但這些擾動的非顯著區域並不總是無意義的並且存在不在資料分佈內的樣本，導致解釋模型存在偏差。
基於此，本文提出了ContraLSP框架，該框架如圖所示。這是一個區域性稀疏解釋模型，它透過引入反事實樣本來構建無資訊擾動同時保持樣本分佈。此外，我們融入了特定於樣本的稀疏門控機制來生成更傾向於二值化且平滑的掩碼，這有助於簡潔地整合時間趨勢並精選顯著特徵。在保證標籤的一致性條件下，其整體最佳化目標為：
論文在白盒時序預測，黑盒時序分類等模擬資料，和真實時序資料集分類任務中進行了實驗，ContraLSP在解釋效能上超越了SOTA模型，顯著提升了時間序列資料解釋的質量。
MACE：多正常模式感知的頻域異常檢測演算法
異常檢測是智慧運維領域的重要研究方向。近來，基於重構類方法的異常檢測模型獨佔鰲頭，在無監督異常檢測中達到了很高的準確度，湧現了大量優秀的神經網路模型，例如：基於RNN類的神經網路OmniAnomaly, MSCRED; 基於transformer類的神經網路AnomalyTransformer, DCdetector等，但這類方法一個模型只能較好地捕捉一種或少數幾種正常模式。因此，湧現出了一批以元學習為輔助，快速適應不同正常模式的異常檢測模型，例如PUAD, TranAD等。但這些方法依然要求對不同的正常模式定製不同的模型，當存在十萬級不同正常模式的服務時，很難維護這麼多神經網路模型。
與其他神經網路直接從資料樣本中判斷當前樣本是否為異常不同，MACE從資料樣本與該資料樣本對應的正常模式的關係中提取異常。在MACE中，我們首先提出使用頻域表徵機制提取出正常模式的頻域子空間，並使用頻域表徵技術把當前資料樣本對映到該頻域子空間中。若該資料樣本離這個正常模式的頻域子空間越遠則在對映後，對映點與原始樣本距離越遠，重構誤差越大。若該資料樣本離這個頻域子空間的頻域子空間越近，則在對映後，對映點與原始樣本距離越近，重構誤差越小。因此，我們可以根據當前資料樣本與其對應的正常模式頻域子空間的關係，令對於當前正常模式而言的正常資料重構誤差遠小於異常資料的重構誤差，以此檢測異常。更進一步，我們提出上下文感知的傅立葉變換和反變換機制，有效利用頻域的稀疏性提升計算效率，在頻域上不存在時序依賴，可以對該模型進行細粒度的高併發實現，進一步減少異常檢測的時間開銷。另外，我們提出Peak Convolution與Valley Convolution機制對短期異常進行增強使其更容易被檢測到。
LARA：輕量資料依賴的異常檢測重訓練方法
在雲服務的監控場景中，經常出現正常模式隨時間不斷變化，且在變化初期觀測資料數量不足以支撐模型訓練的問題。目前，可以解決正常模式更替變化的方法主要有遷移學習、元學習、基於訊號處理的方法。但同時他們也存在一些弊端，並不完全適配當前問題。例如遷移學習未考慮本問題中多個歷史正常模式之間存在的時序關係。元學習同樣未考慮歷史正常模式之間的時序關係，同時，需要儲存大量的歷史資料。基於訊號處理的方法，這類方法推理階段時間開銷太大，無法在流量峰值處進行實時異常檢測。
因此，我們提出方法LARA解決上述問題。為了解決重訓練新觀測資料不足的問題，我們提出反芻模組，該模組使用老模型恢復歷史分佈中與新觀測資料相似的資料，並使用歷史資料與新觀測資料一起估計每一個新觀測資料的隱藏狀態z。為了解決重訓練計算開銷大的問題，我們使用對映函式M_z和M_x分別把老模型輸出的隱藏狀態和重構資料對映為當前分佈的隱藏狀態估計值與新觀測資料，並數學證明了對映函式令對映誤差最小的最優形式為線性，極大降低了重訓練開銷。更進一步，我們根據M_z 與M_x的形式，提出一種相應的損失函式設計正規化，可以保證重訓練問題是一個凸問題，具有唯一全域性最優解，從而保證較快的收斂速率，降低重訓練計算開銷，避免陷入過擬合。
論文連結
1.論文標題：Pathformer: Multi-Scale Transformers With Adaptive Pathways For Time Series Forecasting
- 論文作者：陳鵬， 張穎瑩， 程雲爻， 樹揚， 王益杭， 文青松， 楊彬， 郭晨娟
- 論文連結：https://openreview.net/pdf?id=lJkOCMP2aW
- 程式碼連結：https://github.com/alibaba/sreworks-ext/tree/main/aiops/Pathformer_ICLR2024
2.論文標題：Explaining Time Series via Contrastive and Locally Sparse Perturbations
- 論文作者：劉子川，張穎瑩，王天純，王澤凡，駱東昇，杜夢楠，吳敏，王毅，陳春林，範倫挺，文青松
- 論文連結：https://openreview.net/pdf?id=qDdSRaOiyb
- 程式碼連結：
https://github.com/alibaba/sreworks-ext/tree/main/aiops/ContraLSP
3.論文標題：Learning Multi-Pattern Normalities in the Frequency Domain for Efficient Time Series Anomaly Detection
- 論文作者：陳飛佚，張穎瑩，秦臻，範倫挺，姜仁河，梁宇軒，文青松，鄧水光
- 論文連結：https://arxiv.org/abs/2311.16191
4.論文標題：LARA: ALight and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection
- 論文作者：陳飛佚，秦臻，周孟初，張穎瑩，鄧水光，範倫挺，龐觀
- 論文連結：https://arxiv.org/abs/2310.05668
原文連結
本文為阿里雲原創內容，未經允許不得轉載。