Twitter開源流量異常偵測工具:AnomalyDetection

贊 回覆發表於2015-01-11

Twitter本週宣佈開源流量異常偵測工具AnomalyDetection,該工具可以發現那些能夠影響網站服務質量的異常活動,例如流量擁堵或垃圾資訊機器人。

AnomalyDetection是一個R語言程式包,Twitter通常會在重大新聞和體育賽事期間用AnomalyDetection掃描入站流量,發現那些使用殭屍賬號傳送大量垃圾(營銷)資訊的機器人。

流量異常偵測figure_localglobal_anomalies

AnomalyDetection異常掃描

據Twitter透露,AnomalyDetection與Twitter去年10月開源的BreakoutDetection存在互補關係。

流量異常偵測對於號稱“地球脈搏”的Twitter來說非常具有挑戰性,因為對流量進行長週期跨度(例如一年)的掃描分析時,一些異常活動往往會掩蓋掉。此外,流量異常的原因也各有不同,有的是健康的,例如重大新聞事件導致的流量異常,而有的是不好的,例如QPS(每秒查詢量)中point-in-time實時性下降可能意味著硬體或資料採集方面出了問題。

Twitter流量異常偵測-長期figure_longterm

長週期流量異常偵測

AnomalyDetection通過GNU公眾授權許可協議開源,目前可以在GitHub上下載到原始碼。

相關文章