準實時異常檢測系統

以Web伺服器為例，它的主要任務就是檢閱到來的事件並反饋同意或拒絕。

針對每一個進入的事件，可以進行三個層次的檢測：

• 事件級檢測

  只用該事件本身就能完成檢測，比如格式判斷或基本規則驗證（a屬性必須大於10小於30，b屬性不能為空等等）。

• 全域性上下文檢測

  在全域性資訊中的上下文中，比如存在一個全域性的黑名單，判斷該使用者是否在黑名單中。或者某屬性大於或小雨全域性的平均值等。

• 畫像內容檢測

  針對該行動者本身的跨多條記錄分析，比如該使用者前100次交易都發生在杭州，而本次交易發生在北京且距上次交易只有10分鐘，那就有理由發出異常訊號。

所以這個系統至少要儲存三方面的資訊，

• 整個檢測的過程
• 進行判斷的規則
• 所需的全域性資料

除此之外，根據需要決定是否把使用者畫像在本地做快取。

Kafka主要用來把檢測的事件、檢測的結果、拒絕或通過的原因等資料傳送到下游，供實時計算和離線計算進行處理。

使用Kafka處理後的資料針對當前的策略進行新一輪的防禦性檢測。

系統應該關注一些巨集觀指標，比如總量，平均值，某個群體的行為等等。這些指標發生了變化往往表示某些規則已經失效。

舉例如下：

• 某條規則之前的攔截率是20%，突然降低到了5%；
• 某天規則上線後，大量的正常使用者均被攔截掉了；
• 某個人在電子產品上的花費突然增長了100倍，但同時其他人也有很多類似的行為，這可能具有某種說得通的解釋（比如iphone上市）；
• 某人連續幾次行為，單次都正常，但不應該有這麼多次，比如一天內連續買了100次同一產品；
• 識別某種組合多條正常行為的組合，這種組合是異常的，比如使用者買菜刀是正常的，買車票是正常的，買繩子也是正常的，去加油站加油也是正常的，但短時間內同時做這些事情就不是正常的。通過全域性分析能夠發現這種行為的模式。

業務人員根據實時計算產生的近實時結果能夠及時發現規則有沒有問題，進而對規則作出調整。

通過指令碼、SQL或機器學習演算法來進行探索性分析，發現新的模型，比如通過聚類演算法把使用者進行聚類、對行為打標後進行模型的訓練等等。

HBase儲存著實時計算&離線計算產生的使用者畫像，供檢測系統使用。之所以選擇HBase主要是為了滿足實時查詢的需求。