開篇
近日，由阿里雲端計算平臺大資料基礎工程技術團隊主導，與南京大學、賓夕法尼亞州立大學、清華大學等高校合作，解釋時間序列預測模型的論文《Explaining Time Series via Contrastive and Locally Sparse Perturbations》被機器學習領域頂會ICLR 2024接收。該論文提出了一種創新的基於擾動技術的時間序列解釋框架ContraLSP，該框架主要包含一個學習反事實擾動的目標函式和一個平滑條件下稀疏門結構的壓縮器。論文在白盒時序預測，黑盒時序分類等模擬資料，和一個真實時序資料集分類任務中進行了實驗，ContraLSP在解釋效能上超越了SOTA模型，顯著提升了時間序列資料解釋的質量。
背景
在金融、遊戲和醫療保健等領域，為機器學習模型所做的預測提供可靠的解釋具有極高的重要性，因為透明度和可解釋性通常是道德和法律的先決條件。如圖1所示，學者們經常處理複雜的視覺、文字、圖結構資料透過選擇最顯著的因子，但是對解釋時間序列模型的方法的研究仍然是一個未充分探索的前沿。此外，將最初為不同資料型別設計的直譯器進行適配帶來了挑戰，因為它們的歸納偏差可能難以適應時間序列資料本質上的複雜性和較低的可解釋性。
挑戰
現有的解釋方法涉及使用顯著性方法，這些方法的解釋區分取決於它們與任意模型的互動方式。一些工作建立了顯著圖，例如，結合梯度或構造注意力機制，以更好地處理時間序列特徵，而它們難以發現時間序列模式。其他替代方法，包括Shapley值或LIME，透過加權線性迴歸在區域性近似模型預測，為我們提供解釋。這些方法主要提供例項級別的顯著圖，但特徵間的互相關常常導致顯著的泛化誤差。在時間序列中最常見的基於擾動的方法通常透過基線、生成模型或使資料無資訊的特徵來修改資料，但這些擾動的非顯著區域並不總是無意義的並且存在不在資料分佈內的樣本，導致解釋模型存在偏差，如圖二所示。我們的工作透過樣本間反事實擾動，專注於理解模型在不同群組間的整體和具體行為。
圖二：在闡述不同風格的擾動時，圖示中的紅線代表屬於兩個類別中類別1的一個樣本，而深色背景表示顯著特徵，其他部分則為非顯著特徵。其他擾動可能不是無資訊的或不在資料分佈內，而我們的擾動是反事實的，即朝向負樣本的分佈。
破局
對於一個具體的擾動：
，我們需要與其原始例項x對於的標籤y一致，透過掩碼m來計算顯著的區域。其最佳化目標可表示為如下式子，其中第一項保證擾動和原始例項輸入到黑盒時序模型f中得到的預測一致性，第二項保證解釋區域m最小化，第三項保證解釋區域的平滑性。
基於此，本文提出了ContraLSP框架，該框架如圖三所示。這是一個區域性稀疏解釋模型，它透過引入反事實樣本來構建無資訊擾動同時保持樣本分佈。此外，我們融入了特定於樣本的稀疏門控機制來生成更傾向於二值化且平滑的掩碼，這有助於簡潔地整合時間趨勢並精選顯著特徵。在保證標籤的一致性條件下，其整體最佳化目標修改為：
（1）透過對比學習提取反事實擾動：我們的ContraLSP透過對比學習來學習反事實樣本，以增強無資訊擾動，同時保持樣本分佈。這允許在異質樣本中將擾動的特徵趨向於負樣本的分佈，從而增加了擾動的影響。具體來說，我們首先透過距離相似性尋找時序樣本中的正負樣本對
。將當前例項透過一個神經網路生成出反事實示例，使得它更加靠近負樣本
並更加遠離正樣本
，如圖四所示。其最佳化三元組的目標函式為：
（2）具有平滑約束的稀疏門：在學習掩碼時需要保證顯著特徵的稀疏和平滑。如圖五所示，當擾動例項是不平滑的時間序列，輸入到的黑盒模型中可能會造成分類錯誤，影響解釋的效能。
因此，我們採用學習時間趨勢描述平滑的擾動，並且用該平滑約束下的l0正則去限制掩碼。具體來說，我們令掩碼m生成透過門控的形式：
，其中平滑因子為
，透過時間趨勢學習溫度，使其控制sigmoid-weighted單元。一個不同溫度下平滑掩碼的示例如圖六所示。最後最佳化掩碼的損失函式為：
應用
現已將ContraLSP整合到飛天大資料AI管控平臺ABM的時序指標下鑽和異常檢測演算法服務中，後續將進一步研究如何將ContraLSP技術與現有平臺結合進行時間序列上的根因分析。
- 論文標題：Explaining Time Series via Contrastive and Locally Sparse Perturbations
- 論文作者：劉子川，張穎瑩，王天純，王澤凡，駱東昇，杜夢楠，吳敏，王毅，陳春林，範倫挺，文青松
- 論文連結：https://openreview.net/pdf?id=qDdSRaOiyb
- slide連結：https://github.com/zichuan-liu/ContraLSP/blob/main/intro_contralsp_slides.pdf
原文連結
本文為阿里雲原創內容，未經允許不得轉載。