EGADS框架處理流程分析

bjehp發表於2021-01-16
框架

最近在搞異常檢測相關的工作，因此調研了業界常用的異常檢測系統。通過查閱相關資料，發現業界對雅虎開源的EGADS系統評價比較高，其git專案已有980個star。這周閱讀了專案的原始碼，梳理了系統框架的基本處理流程，整理成這篇文章。現分享給大家，希望對想了解EGADS系統工作原理的同學有所幫助。

1. 簡介

EGADS (Extensible Generic Anomaly Detection System 可擴充套件通用的異常檢測系統) 是雅虎開源的java庫，用於自動檢測大規模時序資料中的異常。它包含了許多異常檢測技術，適用於很多使用情況，只需要一個包，唯一依賴是java。EDADS的工作原理是，首先建立一個時間序列模型來計算時間t的預期值，然後通過對比時間t的預期值和實際值，計算出若干誤差E。EDADS自動確定E的閾值，並輸出最有可能的異常點。EGADS庫可以在各種各樣的情形中使用，以檢測具有各種季節性、趨勢和噪聲成分的時間序列中的異常點和變化點。

EGADS能夠準確、可擴充套件地檢測時間序列的異常。EGADS將預測和異常檢測分離成兩個獨立的元件，允許使用者將自己的模型新增到任何元件中。

2. 整體架構

EGADS框架由兩個重要部分組成：時間序列建模模組（TMM）和異常檢測模組（ADM）。給定一個時間序列，TMM元件對時間序列建模生成預期值，該值隨後被ADM消費並計算出異常評分。EGADS是作為一個框架構建的，可以很容易地整合到現有的監測基礎實施中。Yahoo內部的Yahoo監控服務（YMS）每秒處理數百萬的資料點。因此，有一個 可擴充套件的、準確的和自動化的異常檢測 對於YMS至關重要。基於此，EGADS可以編譯成一個輕量級jar包，並且很容易大規模部署。TMM和ADM可以在main/java/com/yahoo/egads/models找到。

EGADS系統將輸入資料轉化為時間序列，然後選擇一個時間序列模型應用於時間序列，構成時間序列建模模組（TSMM），再把異常檢測模型應用於時間序列建模模組輸出的預測值，構成異常檢測模組（ADM），最終把檢測出的異常點寫入DB。整體架構如下圖所示。

egads系統整合

3. 框架處理流程

EGADS的github上給出了一個簡單使用案例：

java -Dlog4j.configurationFile=src/test/resources/log4j2.xml -cp target/egads-*-jar-with-dependencies.jar com.yahoo.egads.Egads src/test/resources/sample_config.ini src/test/resources/sample_input.csv

以github上的示例為例，通過閱讀EGADS原始碼，筆者將框架處理流程劃分為四部分：

  1. 初始化配置檔案和輸入檔案

主函式載入配置檔案 sample_config.ini 和資料輸入檔案sample_input.csv ，並例項化輸入檔案的處理物件FileInputProcessor 。 這裡要說明一點，如果資料是以其他形式輸入的，如通過控制檯輸入，則需要示例化控制檯輸入的處理物件StdinProcessor.

  1. 把輸入檔案轉化為TimeSeries列表

FileInputProcessor 負責把輸入檔案轉化為List<TimeSeries>，其中一個TimeSeries物件儲存了一列時間戳及對應的一列值，若輸入檔案若包含了一列時間戳和n 列值，那麼就會產生n個TimeSeries組成的列表。

同時TimeSeries也封裝了時序資料的後設資料資訊，如檔名，列名稱等。然後根據配置中的引數，判斷是否需要對輸入資料進行簡單的缺失值處理和聚合處理。

  1. 載入時序模型和異常檢測模型

使用ProcessableObjectFactory工廠類構建時間序列模型。時序模型通過類載入器載入並例項化，示例中例項化的類為OlympicModel, 然後把時間序列TimeSeries和時序模型List<TimeSeriesModel>封裝成ModelAdapter，作為時序模型的模組。

使用ProcessableObjectFactory工廠類構建異常檢測模型。異常檢測模型通過類載入器載入並例項化，示例中例項化的類為ExtremeLowDensityModel, 然後把時間序列TimeSeries和異常檢測模型List<AnomalyDetectionModel>封裝成AnomalyDetector，作為異常檢測模型的模組。

最後把時序模型的模組ModelAdapter和異常檢測模型的模組AnomalyDetector封裝成異常檢測處理模組DetectAnomalyProcessable.

  1. 使用時序模型預測，並使用異常檢測模型檢測出異常點

先使用時間序列訓練模型，根據訓練好的模型得到預期值，這裡使用的模型為OlympicModel。接著使用異常檢測模型計算若干項誤差指標對應的閾值，其中誤差指標包括：MAE, sMAPE, MAPE, MASE，再根據各個誤差指標的閾值檢測出異常點，這裡使用的模型為ExtremeLowDensityModel。

下圖是EGADS框架詳細的處理流程圖。

egads_architecture_sequence

4. 參考資料

  1. https://github.com/yahoo/egads
  2. Yahoo 大規模時列資料異常檢測技術及其高效能可伸縮架構 https://www.infoq.cn/article/automated-time-series-anomaly-detection

相關文章