京東雲開發者｜提高IT運維效率，深度解讀京東雲AIOps落地實踐

基於深度學習對運維時序指標進行異常檢測，快速發現線上業務問題

時間序列的異常檢測是實際應用中的一個關鍵問題，尤其是在 IT 行業。我們沒有采用傳統的基於閾值的方法來實現異常檢測，而是透過深度學習提出了一種無閾值方法：基於 LSTM 網路的基線（一個 LSTM 框架輔助幾個最佳化步驟）和無監督檢測（神經網路和多種機器學習演算法的組合）協同綜合分析時間序列。當時間序列顯示出清晰的週期性形態的情況下基線表現良好，而無監督檢測在效率要求高且週期性不太清晰的情況下表現出色。透過兩個並行模組的互補設計，可以在不依賴閾值設定和調整的情況下實現無閾值異常檢測。京東雲內部實踐證明，我們所提出的無閾值方法獲得了準確的預測和可靠的檢測。

在過去的幾年中，aiops業界提出了各種解決異常檢測問題的方法。機器學習 (ML) 和深度學習 (DL) 頗受歡迎。在傳統的 ML 中，通常採用 K-means、基於密度的空間聚類和隔離森林 (IForest)等聚類方法。除了 ML，由於其強大的逼近能力，使用深度神經網路 (DNN) 進行時間序列預測和異常檢測被越來越多的演算法同學使用。多層感知器 (MLP) 是一種基本的 DNN 架構，用於評估時間序列上異常檢測的效能。此外，迴圈神經網路 (RNN) 及其變體，如長短期記憶 (LSTM) 網路和門控迴圈單元 (GRU) 是解決與時間序列相關的問題的常用方法。

對於大多數上述用於解決異常檢測的方法，一般是時間序列是否超出預定義的上限和下限。然而，固定閾值無法表徵具有內在動態趨勢變化的時間序列，從而導致異常分析不準確。此外，由於單個閾值無法涵蓋所有異常情況，因此該方法也容易遺漏異常。此外，設定上限和下限的過程是一項複雜且重要的任務，總是需要為各種情況定義新的閾值，耗時長且遷移性差。

為了解決上述問題，我們介紹一種新方法，即透過 DL 進行無閾值異常檢測。

我們的方法不需要預定義上限和下限，而是透過抽取一些易於調整的引數，在小範圍內自動搜尋適配不同場景的監控資料，進而實現無閾值異常檢測：基於 LSTM 網路的基線模組（LnB）和無監督檢測模組（UnD）。具體來說，LnB 生成基線，該基線能夠以自適應和自動的方式表徵時間序列的動態特徵。 LnB 的框架是用 LSTM 網路構建的，長短週期識別方法是此框架的貢獻之一，它引入了一種糾正機制，可以實現更準確的擬合，生成的基線描述了檢測到的時間序列的主要特徵，提供了替代傳統閾值的限制。 UnD是一種DL和多種ML演算法的合併模型，基於投票機制從各個角度檢測到的時間序列是否正常。兩個模組中的任何一個檢測到異常表明發生了異常。兩個模組的融合使我們所提出的方法能夠以互補和全面的方式有效地分析具有不確定性或各種週期性的時間序列。

時間序列X=(x1, x2, ..., xt),我們的目標是確定下一步 xt+1 的值是否異常。歷史值有助於模型學習指標當前和未來的狀態，但與預測值距離越近的點對模型預測的影響越大。因此，我們選擇使用時間序列 Xt-T:t 的序列，而不是取時間序列的單個步長或整個歷史序列來進行異常檢測。 T 是選擇作為模型訓練輸入的序列長度。下圖1為無閾值異常檢測的總體框架包括兩個階段，即訓練過程和線上檢測。

LnB 和 UnD兩個模組都可以單獨完成異常檢測。但是兩個模組有不同的擅長方面，每個模組的結構差異為檢測到的時間序列提供了不同維度的檢測結果。其中，LnB將更長時期的歷史資料輸入到模組中，它可以很好地說明特定時間序列的長期行為，但是 LnB 對那些週期性不明確的指標的異常檢測能力較弱。相反，UnD 從一個 DL 模型和多個 ML 模型中獲得投票結果，對具有不確定性或各種週期性的時間序列具有更強的魯棒性。此外，UnD 在輸入的檢測指標的歷史資料不足的情況下提供了更合理的檢測。

圖 1 中的實線箭頭表示前向流，而虛線箭頭表示反向傳播訓練。在得到每個模組的檢測結果後，根據為每個模組設定的損失函式分別對LnB和UnD進行反向傳播訓練，LnB和UnD都進行更新，即模型訓練。在模型訓練之後，LnB 學習生成一個自適應基線，同時，LnB為UnD賦予 基於無監督學習預測未來異常狀態的能力。

線上檢測不需要訓練步驟，所以按入參格式輸入時間序列，可直接得到檢測結果。這訓練和線上檢測兩個模組的詳細介紹如下：

其中 f 表示模型學習所採用的網路，Ti 表示第 i 天的資料。 在訓練階段，a 和 b 會及時隨著傳入的指標資料自動更新，形成可適應的基線。在測試狀態下，y ' final 是我們的最終預測。長短週期識別的重點是引入校正項，為歷史上最有價值的“記憶”賦予更多的權重。

如上所述，有兩種方法用於識別長短週期，即峰值檢測和 SBD距離計算。每天的峰值數量、每天的峰值最大值以及每天第一和第二個最大值的殘差是用於識別長短週期，除了這種峰值檢查，SBD 是識別長短週期的替代方法。假設我們有兩個輸入序列 X 和 Y（在我們的例子中，14 天的資料被平均分成兩部分）。兩個序列的SBD結果可以根據以下等式計算，

其中 SBD 的範圍從 0 到 2，在我們的案例中 s=0。 SBD 越小，說明兩個序列屬於同一週期的相似度越高。

最佳開始時間透過尋找不同時間粒度（如10s 和 1min）下的最佳開始時間來關注擬合精度。待檢測的時間序列總是遵循一定的週期性，但根據我們的實驗驗證，在不同位置選擇的開始時間可能會導致擬合精度不同。我們選取均方根誤差 (RMSE) 用作最佳化搜尋過程的目標函式：

其中 y' 代表預測結果，而 y 代表基本事實。 k 表示檢測到的序列中的第 k 個起始位置。採用L-BFGS透過最小化目標函式實現自動搜尋。

基線生成 LnB 的核心過程是基線生成。與RNN相比，LSTM包含了三個門，即遺忘門、輸入門和輸出門，這種門設計在識別歷史中的重要資訊方面表現出更好的效能，減輕了對遠端歷史的依賴和梯度消失。輸入資料經 LSTM，輸出理論上暗示了正常資料的期望。因此，我們將損失函式訓練為：

透過減少實際值和預測值之間的誤差，網路可以學習預測時間序列的正常行為。

我們選擇 95% 置信區間，計算基線的上限和下限：

LnB 的最後一步是自適應調整，這是實現“自適應”的關鍵步驟。透過 LSTM 獲得的上限和下限是初始基線。然後透過極值點平滑和插值修改初始基線。即初始基線中的所有峰點和谷點都形成了初始上限和下限。然後採用拉格朗日插值進行細粒度資料填充以形成平滑的基線。

DL (GRU) 和 ML（IForest、基於角度的異常值檢測-ABOD 和基於叢集的區域性異常值因子-CBLOF）從多個級別檢測異常，不需要標籤資訊或閾值定義。作為迴歸任務，GRU 學習給定時間序列的正態分佈並輸出對未來的預測。與 LSTM 從長期歷史中捕捉內在特徵的能力相比，GRU 在資料量不足且需要效率的情況下理論上表現良好。與 LnB 不同，UnD 將較短的序列作為輸入。因此，UnD 中的 GRU 單元是 LnB 的補充。另一方面，IForest、ABOD 和 CBLOF 是用於異常檢測的三種基於 ML 的聚類演算法。 UnD的最終檢測是GRU、IForest、ABOD和CBLOF透過投票方案的合併結果。

對於 GRU，我們採用與 LnB 相同的損失函式。區別在於輸入長度（在下一節中解釋）。訓練有素的 GRU 會給出預測的準確值 y'。在這裡，定義異常權重 (AW) 以確定預測是否異常。

AW 是異常識別的關鍵決定因素，並且根據經驗知識自動學習以滿足在我們的案例中檢測到的異常百分比應在 1%-3% 以內的條件。當涉及到不同的領域或資料集時，也可以根據經驗知識確定 AW。 IForest、ABOD和CBLOF是常用的異常值檢測方法，它們的輸出結果可以看作是一個描述異常機率的分數。然後將所有 GRU、IForest、ABOD 和 CBLOF 的檢測結果編碼並拼接成一個 one-hot 矩陣，其中 0 表示正常，1 表示異常，如圖 3 所示的示例。接下來，我們得到每個時間步對應的“1”的總數。透過與投票數 n （在我們的例子中 n = 2）的比較，如果“1”的總數不小於 n ，則合併結果被檢測為異常，反之亦然。 n 是一個引數，需要透過幾個簡單的試驗來確定，例如逐漸增加值或縮小範圍。

透過投票方案的合併結果可以從不同方面揭示內在特徵，因為 GRU 的迴歸結果包含顯示增加或減少趨勢的精確值，而 ML 結果呈現 0 或 1 僅表示異常與否，但具有更準確的決策，因為這些模型可以利用從附加維度或測量中捕獲的資訊（例如，基於角度視角的 ABOD 和基於機率視角的 CBLOF）。因此，多個高階演算法的合併結果可以充分利用給定的資料進行全面的預測。

我們的模型主要有三個步驟，詳細介紹如下：

第一步：資料預處理

LnB和UnD對資料拆分和連線有不同的要求，兩個模組的輸入資料是不同的。例如，當前時間為 t，時間序列的週期性為 T（如 7 天）。我們的目標是檢測 t+1 時刻的值是否異常。在這種情況下，LnB 的輸入是過去 2*T 週期（即 14 天）收集的歷史資料。選擇 2*T 週期的原因是 14 天之前的歷史資料重要性較低，如果只收集一個週期的資料，可能會受到異常事件的影響。相反，UnD採用最相關的資訊而不是使用長曆史，並且選擇三個滑動視窗覆蓋的序列作為輸入資料。三個視窗的長度分別為 30 分鐘、60 分鐘和 60 分鐘。

從圖4可以看出，UnD輸入中有3個段串聯，即[Xt-30min:t, Xt1day-30min:t 1day+30min, Xt7days-30min: t7 天+30 分鐘]。這種連線提供了一種新的輸入結構設計，為特徵學習和未來預測提供了最相關的資訊。總之，LnB 將過去 14 天的序列作為輸入，而 UnD 將過去 30 分鐘、1 天前的 60 分鐘和 7 天前的 60 分鐘作為輸入。

資料填充採用 K-NN 作為資料填充方法，以確保所有輸入樣本的長度相同且可讀。資料過濾為保證輸入資料的有效性，對輸入資料進行平滑過濾，以消除因噪聲引起的毛刺。資料轉換對訓練結果和快速收斂非常重要。在輸入訓練過程之前，原始資料還需要一個轉換過程，包括歸一化和對數轉換，如（7）所示。

歸一化避免了不同維度的副作用，有利於模型快速收斂。此外，它還確保輸出不會超過輸入的最小值和最大值，因為在輸出上實施了指數變換。同時，對數變換可以在不改變資料特徵和資料相關性的情況下，減輕方差，平滑變化。

第二步：模型訓練

如圖 1 中的流程圖所示，LnB 和 UnD 都是根據訓練資料分別訓練的。但是，如上所述，兩個模組的輸入是不同的。 LnB 將較長的歷史資料作為輸入，並嘗試捕獲檢測到的時間序列的豐富資訊，而 UnD 將最相關但較短的序列部署為訓練資料。 UnD 中的GRU和 LnB透過減少第二部分中介紹的損失函式來學習檢測到的序列的正常行為。同時，IForest、ABOD 和 CBLOF 學習了無監督聚類模型。上述單元的所有輸出都是一步超前的異常檢測。

第三步：線上異常檢測

在執行時，傳入的資料首先進入預處理模組，然後同時進入LnB和UnD。輸入資料的格式應與訓練階段一致。如果兩個模組的任一結果異常，則提示待檢測資料異常。LnB和UnD的融合機制對時間序列進行了全面的檢測，降低了潛在異常遺漏的機率。另一方面，LnB 中較長的歷史輸入和 UnD 中的多模型投票方案有效地避免了將正常的誤認為是異常的。

經過京東內部多場景多組資料驗證，模型線上上執行的效果評估如下表所示：

此外，可以靈活選擇“and”或“or”來整合LnB和UnD的結果。沒有統一的規則，要看實際場景的需求。在我們的落地實踐場景中，這兩個資料集都需要保證召回率，因此我們採取“或”操作，這意味著無論哪個檢測到異常都會報警。如果需要較低的警告級別，我們可以選擇“和”作為積分運算。選擇三個流行的基線 IForest、ABOD 和 CBLOF 進行比較。此外。我們還比較了我們的方法和單獨使用 LnB 或 UnD 的方法的結果，如上表所示。從定量比較中，很明顯，所提出的方法，即 LnB+UnD 在兩者中都獲得了最高的 F1 分數資料集。 LnB+UnD 的組合比單獨採用 LnB 或 UnD 效果更好。而且我們的模型優於其他三個基線，這也證明了我們並行機制的有效性和必要性。

我們提出的一種用於時間序列分析的無閾值異常檢測方法，即 LSTM 構建的 LnB和DL、ML 模型融合機制構建的 UnD，以互補和智慧的方式實現異常檢測。在具有不同長短週期和變化趨勢的真實實踐場景的兩個資料集上進行了實驗，比較結果證明了我們方法的有效性和準確性。

• Threshold-free Anomaly Detection for Streaming Time Series through Deep Learning. ICMLA.

• ieeexplore檢索：https://ieeexplore.ieee.org/abstract/document/9680175

作者：張靜