端智慧系列文章|端側如何實現實時CEP引擎

• 服務端要對客戶端埋點進行資料清洗，考慮到閒魚的DAU已經突破2000w，這個量是非常龐大的，非常消耗服務端資源；

• Blink的策略是實時執行的，同樣因為資源問題，現在只能同時上線十幾個策略。

• 狀態(State)：狀態是根據flink指令碼里面的程式碼來決定的，最終會有一個 $end$的Final狀態

• 轉換(StateTransition)：State的轉換條件，包括 take/proceed/ignore

• take: 滿足條件，獲取當前元素，進入下一狀態

• proceed：不論是否滿足條件，不獲取當前元素，直接進入下狀態（如optional）並進行判斷是否滿足條件。

• ignore：不滿足條件，忽略，進入下一狀態。

以start事件開始，後續跟隨一個middle的事件，後面緊跟著一個end事件作為結尾

Pattern.begin("start").where(SimpleCondition())\.followed_by('middle').where(SimpleCondition())\.next_('end').where(SimpleCondition())

classPattern:# 靜態方法，用來生成起始的pattern@staticmethoddef begin(self, name):pass# 標記緊接著的事件def followed_by(self, name):pass# 標記不需要緊跟的事件def not_followed_by(self, name):pass# 標記緊跟的事件def next_(self, name):pass# 標記事件迴圈次數def times(self, times):pass# 標記當前事件觸發的條件def where(self, condition):pass# 標記當前事件的and條件def and_(self, condition):pass# 標記當前事件的or條件def or_(self, condition):pass# 用於聚合def group_by(self, fields):pass# 用於聚合，渠道特定欄位的值def fields(self, key_by_state_name, field):pass# 用於聚合，統計事件具體的數量def count(self, field, condition):pass

classState(object):

def __init__(self, name, state_type):
        self.__name = name                # 節點的名稱，同Pattern的名稱
        self.__state_type = state_type    # 節點的型別：Start/Normal/Stop/Final
        self.__state_transitions = []    # 到其他節點的邊

1. 建立一個 $end$的結束節點（ Final）

2. 再從後往前建立每個state節點，作為中間節點（ Normal/Stop）

3. 最後建立一個開始節點（ Start）

classStateTransition:

def __init__(self, source_state, action, target_state, condition):
        self.__source_state = source_state    # 開始的State節點
        self.__action = action                # 具體action型別：take/ignore/proceed
        self.__target_state = target_state    # 結束的State節點
        self.__condition = condition        # 節點之間的判斷條件

classConsumingStrategy:    STRICT = 0# 嚴格匹配下個    SKIP_TILL_NEXT = 1# 跳過下一個    SKIP_TILL_ANY = 2# 跳過任意一個    NOT_FOLLOW = 3# 非跟隨模式    NOT_NEXT = 4# 非緊鄰模式

• STRICT: 如果命中了事件了，會進到下個狀態

• SKIP_TILL_NEXT: 如果命中了會進入下一個狀態，否則會再當前節點迴圈，進入ignore的邊

• SKIP_TILL_ANY: 不管是否命中條件，都會一直在當前狀態迴圈

• NOT_FOLLOW: 如果遇到了一個匹配的，就會進入Stop狀態

• NOT_NEXT: 如果命中一條，則進入Stop狀態

Pattern.begin('e1').where(SimpleCondition()).times(3);

_pattern = Pattern.begin("start").where(self.start_filter)\.followed_by('middle').where(SimpleCondition())\.next_('end').where(self.end_filter)\.group_by('group_by').fields('start', 'userId')

# 建立聚合節點
def __create_aggregation_state(self, sink_state):
# 渠道聚合節點的condition
    _aggregation_condition = self.__current_pattern.get_aggregation_condition()

# 建立AggregationState
    not_next = AggregationState(
        self.__current_pattern.get_name(),
StateType.Normal,
        _aggregation_condition.get_key_by_state_name(),
        _aggregation_condition.get_field())
    self.__states.append(not_next)

# 獲取take的條件
    take_condition = self.__get_take_condition(self.__current_pattern)
    not_next.add_take(sink_state, take_condition)

# 將遊標指向上一個節點
    self.__following_pattern = self.__current_pattern
    self.__current_pattern = self.__current_pattern.get_previous()

return not_nex

Show me the code

講了太多原理的東西，接下來看下程式碼裡面如何工作的，先來看下如何來編寫一個CEP策略。

需要匹配使用者檢視3次寶貝詳情頁

# 1. 建立用來匹配的Pattern
_pattern = Pattern.begin('e1').where(KVCondition('scene', 'Page_xyItemDetail')).times(3)

# 2. 將需要匹配的事件流_batch_data和待匹配的Pattern
# CEP內部會先將pattern轉化成NFA，然後再用NFA去匹配事件流
_cep = CEP.pattern(_batch_data['eventSeq'], _pattern)

# 用來選擇的邏輯
def select_function(data):
pass

# 3. 匹配完成，透過cep的select介面查詢匹配到的結果
self.result = _cep.select(select_function)

如下程式碼用來將 Pattern連結串列轉化成 NFA圖：

# 最後一個Pattern節點不允許是NotFollowedByif self.__current_pattern.get_quantifier().get_consuming_strategy() == ConsumingStrategy.NOT_FOLLOW:raiseException('NotFollowedBy is not supported as a last part of a Pattern!')# 校驗Pattern的名稱，必須唯一self.__check_pattern_name_uniqueness()# 校驗Pattern的策略self.__check_pattern_skip_strategy()# 首先建立Final節點sink_state = self.__create_ending_state()# 判定是否有聚合節點if self.__current_pattern.get_aggregation_condition() isnotNone:# 首先建立聚合節點    sink_state = self.__create_aggregation_state(sink_state)# 然後建立聚合幾點的起始節點    sink_state = self.__create_aggregation_start_state(sink_state)# 建立狀態機中的中間節點，此函式會迴圈知道Start節點的Patternsink_state = self.__create_middle_states(sink_state)# 最後建立Start節點self.__create_start_state(sink_state)# 根據state列表和window來建立NFAreturn NFA(self.__states, self.__window_time, False)

• 執行時間

• 記憶體使用

1. 端計算是用Python實現，無法做到像Flink的狀態機常駐記憶體，每次都要重新建立匹配，帶來了額外的消耗

2. 在事件流的清洗上面，現在是透過回朔拿到之前的事件流，存在大量的重複計算，後續可以借鑑Flink的Window機制來進行最佳化。

3. 目前編譯器暫時還不支援Group Pattern，後續還要對其進行擴充套件。

4. Python指令碼現在還是需要手動編寫，後續還可以考慮透過DSL來自動生成。

1. 對於Flink的理解

2. CEP in Flink(1) - CEP規則解析

4. 《Efficient Pattern Matching over Event Streams》