分享一篇關於Python實現環形佇列高效定時器

delete1111111111111發表於2020-12-17

定時器Python實現程式碼

import time
import redis
import multiprocessing


class Base:

    """
    redis配置
    """
    redis_conf = {}

    """
    環形佇列使用redis進行儲存
    """
    _ri = None

    """
    定時器輪盤大小
    """
    slot_num = 15

    """
    儲存環形佇列使用的redis快取key
    """
    cache_key = 'wheel:slot_'

    def __init__(self, **kwargs):
        for k in kwargs:
            if hasattr(self, k):
                setattr(self, k, kwargs[k])

        self._ri = redis.Redis(**self.redis_conf)


class Timer(Base):
    """
    當前slot的下標
    """
    _current = 0

    """
    事件處理
    """
    event_handler = None

    def worker(self):
        """
        # TODO 測試每個卡槽有1W事件ID的處理效率
        獨立程式，分發事件id給事件處理器
        :return:
        """
        key = self.cache_key + str(self._current)

        # 獲取當前卡槽中需要觸發的事件ID
        event_ids = self._ri.zrangebyscore(key, 0, 0)

        # 刪除當前卡槽中需要觸發的事件ID
        self._ri.zremrangebyscore(key, 0, 0)

        # 把當前卡槽剩下的事件ID全部遍歷出來，減少一次剩餘迴圈次數
        surplus_event_ids = self._ri.zrange(key, 0, -1)

        for mid in surplus_event_ids:
            self._ri.zincrby(key, mid, -1)

        # 把事件ID轉交給handler處理
        for mid in event_ids:
            self.event_handler(eid=mid)

        exit(0)

    def run(self):
        """
        啟動程式
        :return:
        """
        while True:
            p = multiprocessing.Process(target=self.worker)
            p.start()

            time.sleep(1)

            self._current = int(time.time()) % self.slot_num


class TimerEvent(Base):

    def add(self, event_id, emit_time):
        """
        新增事件ID到定時器
        :param event_id: 事件ID
        :param emit_time: 觸發時間
        :return:
        """
        current_time = int(time.time())
        diff = emit_time - current_time

        if diff > 0:
            # 計算迴圈次數
            cycle = int(diff / self.slot_num)
            # 計算要存入的slot的索引
            index = (diff % self.slot_num + current_time % self.slot_num) % self.slot_num

            res = self._ri.zadd(self.cache_key + str(index), str(event_id), cycle)
            return True if res else False

        return False

    # TODO 批量新增同一時間,不同事件ID

    # TODO 批量新增不同時間,不同事件ID

通過環形佇列實現高效任務觸發的設計說明

redis集合【slot】

以redis多個有規律的鍵名的有序集合組成環形陣列

key_1
key_2
....
key_n

有序集合

命令

ZADD key score member

有序集合中包含兩部分， 一個是score, 一個是member

score作為剩餘迴圈次數  
meber作為事件ID

python多程式

計算當前時間應該處理的卡槽
當前slot索引 = （當前時間 % 卡槽總數 + 當前時間戳 % 卡槽總數） % 卡槽總數

"%"為取餘數操作

建立獨立子程式處理
當前子程式需要快速讀取的剩餘迴圈次數為0事件ID

刪除當前slot已取出的事件ID

開始把事件ID依次轉交給事件handler處理

應用說明

啟動定時器

import Timer
import time


def event_handler(eid):
    print(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())), eid)


t = Timer(redis_conf={
    'host': '127.0.0.1',
    'port': 6379,
    'password': '123456',
    'db': 0
}, event_handler=event_handler)

times = int(time.time())

print('Current Time is ' + time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(times)))

t.run()

新增需要延時觸發事件ID

import TimerEvent
import time


te = TimerEvent(redis_conf={
    'host': '127.0.0.1',
    'port': 6379,
    'password': '123456',
    'db': 0
})

times = int(time.time())

print(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(times)))

after_seconds_alert = 20

for x in range(100):
    te.add(x, times + after_seconds_alert + x)

print('Firs Emit will happened at ' + time.strftime(
    'Start:%Y-%m-%d %H:%M:%S',
    time.localtime(times + after_seconds_alert))
)

參考文章

基於Python實現環形佇列高效定時器
2020-12-16
Python佇列定時器
使用陣列實現環形佇列Scala版本
2020-10-01
陣列佇列
陣列模擬佇列以及佇列的複用（環形佇列）
2020-09-10
陣列佇列
C語言之環形佇列
2023-05-14
C語言佇列
整數序列環形佇列
2016-03-31
佇列
Python佇列的三種佇列實現方法
2020-04-19
Python佇列
資料結構與演算法——佇列（環形佇列）
2021-08-26
資料結構演算法佇列
C#通過rabbitmq實現定時任務(延時佇列)
2021-04-26
C#MQ佇列
關於定時器
2017-10-02
定時器
使用 RabbitMQ 實現延時佇列
2020-07-17
MQ佇列
佇列優先順序佇列 python 程式碼實現
2018-12-12
佇列Python
Python實現堆疊與佇列
2018-03-19
Python佇列
使用db-scheduler實現高效能持久佇列
2022-01-23
佇列
js定時任務佇列
2018-05-24
JS佇列
陣列模擬佇列進階版本——環形佇列（真正意義上的排隊）
2022-04-23
陣列佇列
Node.js結合RabbitMQ延遲佇列實現定時任務
2021-09-09
Node.jsMQ佇列
Python實現執行緒安全佇列
2019-02-28
Python執行緒佇列
通過佇列實現棧OR通過棧實現佇列
2018-08-19
佇列
關於linux下定時器，多定時器
2017-04-18
Linux定時器
關於 Laravel 佇列報錯
2018-06-08
Laravel佇列
javascript實現佇列
2015-05-20
JavaScript佇列
Swoole來實現實時非同步任務佇列
2016-03-24
非同步佇列
佇列的一種實現：迴圈佇列
2020-06-01
佇列
Python 通過List 實現佇列的操作
2020-09-29
Python佇列
Python實現堆疊和佇列詳解
2017-12-22
Python佇列
基於 Redis 的方式實現非同步佇列
2022-01-13
Redis非同步佇列
Java:基於LinkedList實現棧和佇列
2017-11-17
Java佇列
9. 題目：對佇列實現棧&用棧實現佇列
2018-11-23
佇列
直播app原始碼，定時開關，實現計時器功能
2022-06-08
APP原始碼
關於PHP佇列的問題
2020-04-04
PHP佇列
第七週專案一建立順序環形佇列
2017-12-27
佇列
Python實現環形連結串列詳解
2022-06-15
Python
RabbitMQ使用 prefetch_count優化佇列的消費，使用死信佇列和延遲佇列實現訊息的定時重試，golang版本
2022-01-07
MQ優化佇列Golang
佇列(Queue)-c實現
2020-04-07
佇列
用 Rust 實現佇列
2019-12-10
Rust佇列
用佇列實現棧
2024-03-10
佇列
用棧實現佇列
2024-03-10
佇列
高效能佇列——Disruptor
2021-08-25
佇列

分享一篇關於Python實現環形佇列高效定時器

定時器Python實現程式碼

通過環形佇列實現高效任務觸發的設計說明

應用說明

相關文章