celery筆記七之週期/定時任務及crontab定義

Hunter發表於2023-05-14
筆記
本文首發於公眾號：Hunter後端
原文連結：celery筆記七之週期/定時任務及crontab定義

periodic task，即為週期，或者定時任務，比如說每天晚上零點零分需要執行一遍某個函式，或者每隔半小時執行一遍該函式，都是這種任務的範疇。

在第一篇筆記的時候我們就介紹過 celery 的元件構成，其中有一個元件叫做 beat，就是我們定時任務的排程器。

所有的定時任務都由 beat 發出，這種情況下，你必須確保在同一個時間點只有一個 beat 任務排程器在執行，假設有兩個 beat 同時在執行，那麼在檢測定時任務的時候，系統的任務就可能會被重複發起、呼叫、執行。

  1. beat_schedule 定義
  2. beat 啟動
  3. crontab介紹

1、beat_schedule 定義

我們來定義兩個定時任務，一個是 blog.tasks.add，定義為每隔 30s 執行一次，現在晚上11點45分，我們定義每天11點50分執行一次。

在進行這些操作前，我們還需要對時區有一些設定，因為我們設定的晚上11點是北京時間，而 Django 和 celery 預設是格林威治時間。

時區設定

我們使用 Django 系統，一些配置在 settigns.py 中定義，詳情可以見前幾篇筆記的 celery 與 Django 系統使用。

關於時區，Django 系統和 celery 的時區我們都設定成北京時間：

# settings.py

# django 時區設定
TIME_ZONE = "Asia/Shanghai"
USE_TZ = False

# celery 時區設定 
CELERY_TIMEZONE = "Asia/Shanghai"
CELERY_ENABLE_UTC = False
DJANGO_CELERY_BEAT_TZ_AWARE = False

定時任務定義

接下來，我們定義定時任務：

from celery.schedules import crontab

app.conf.beat_schedule = {
    'add-every-30-seconds': {
        'task': 'blog.tasks.add',
        'schedule': 30,
        'args': (16, 16),
    },
    'schedule_test_add': {
        'task': 'blog.tasks.minus',
        'schedule': crontab(minute="50", hour="23"),
    },
}

定時任務的定義是我們透過 app.conf.beat_schedule 來操作，一個任務我們定義一個 name 作為 key

在每個 task 下，分別有以下選項：

task：指向我們定義的任務，比如我們這個是指向 blog application 下 tasks.add 任務

schedule：定時任務的策略，如果直接定義一個整數，比如定義的 add-every-30-seconds task 的這個引數定義為 30，就會每隔30s 執行一次

而如果使用 crontab() 函式，則可以更自由的定義到每個月，每週，每天，每時每秒，在示例中我們定義 minute="50", hour="23" 表示每天 23點50分執行一次

更詳細的策略我們下面再詳細介紹。

args：定時任務的引數，比如 add() 函式，我們每隔 30s 執行一次，給定的兩個引數是 (16, 16)，對應 add(x, y) 輸入的兩個值

2、beat 啟動

beat 的啟動方式和 worker 啟動方式一致，將 worker 改成 beat 即可：

celery -A hunter beat -l INFO

也可以指定日誌的輸出檔案：

celery -A hunter beat -l INFO --logfile=/Users/hunter/python/celery_log/beat.log

當我們啟動 beat 的時候，會發現啟動的資料夾下會有一個名為 celerybeat-schedule.db 的檔案，這個是 beat 儲存在本地的上一次任務執行的時間的資料，我們也可以指定該檔案的輸出地址：

celery -A hunter beat -l INFO -s /Users/hunter/python/celery_log/celerybeat-schedule

如果我們需要執行定時任務，我們需要額外啟動兩個服務，一個是 beat，一個是 worker

一般來說我們會先啟動 worker，再啟動 beat，這樣 beat 有一些立即發出的任務就可以直接被 worker 接收然後執行。

3、crontab介紹

我們使用 crontab() 函式制定定時任務的時間策略，比如每天執行一次，或者指定周幾執行都可以實現。

如果你之前接觸過 Linux 伺服器上的 crontab 服務，那麼就不用擔心理解它的使用方式，如果沒有，我們可以看看下面官方文件對著的介紹。

在 celery 裡，crontab 函式透過 from celery.schedules import crontab 引入，在 beat_schedule 的定義裡作為 schedule 的值，這個前面給過一個示例。

crontab 接受五個引數：

  • minute 表示分鐘，接收整數或者整數列表，範圍在0-59，或者字串表示配置的時間模式
  • hour 表示小時，接收整數或者整數列表，範圍在0-23，或者接收字串表示配置的時間模式
  • day_of_week 表示周幾，接收整數或者整數列表，範圍在0-6，其中週日是0，週六是6，或者接收字串表示配置的時間模式
  • day_of_month 表示一個月的第幾天，接收整數或者整數列表，範圍在1-31，或者接收字串表示配置的時間模式
  • month_of_year 表示一年的第幾個月，接收整數或者整數列表，範圍在1-12，或者接收字串表示配置的時間模式

minute 和 hour

minute 和 hour 直接指向一天的某個時間點，所以，這兩個引數相當於是必填，除非是某些特殊的情況，比如預設的每分鐘執行一次：

crontab()

上面的命令，什麼引數也不傳，表示的是每隔一分鐘執行一次

如果我們想指定特定的時間點，比如每天晚上11點23分執行一次：

crontab(minute=23, hour=23)

如果我們想指定某一些分鐘，比如分別在 23點11分，23點25分，23點44分鐘分別執行一次，可以如下操作：

crontab(minute="11,25,44", hour=23)

如果是上面這種沒有特殊關係的時間點，我們可以這樣透過逗號分隔連線起來，如果是有特殊關係的，比如說，每隔一分鐘，或者每隔三分鐘，我們可以透過 */n 的方式來連線。

23點之內，每隔三分鐘執行一次函式可以如下操作：

crontab(minute="*/3", hour=23)

這裡的每隔 n 分鐘，其實是 n 的倍數，比如說 */3 就是在 0,3,6,9,12... 等這些分鐘數上執行。

還有一種是範圍內的操作方式，比如說，23點的 10-20分鐘內每分鐘執行一次：

crontab(minute="10-20", hour=23)

那麼上面的方式合併起來可不可以，比如說在23點的第5分鐘，11分鐘，51分鐘，31-40分鐘，並且每隔兩分鐘執行一次

也可以實現，把上面的方式都新增在一起，就是一個或的操作：

crontab(minute="5,11,51,10-20,*/2", hour=23)

對於分鐘的這些操作，對於小時數是同樣生效的，不過範圍在 0-23 之間，比如說指定0點，5點，8點，16點的零分執行一次，那就是：

crontab(minute=0, hour="0,5,8,16")

如果是每個小時執行一次呢，就是：

crontab(minute=0, hour="*/1")

# 當 n = 1 的時候 1可以省略，即為
crontab(minute=0, hour="*")

hour 的範圍引數和指定的小時點，像 minute 引數一樣，也是可以或操作功能那樣生效的。

day_of_week

day_of_week 參數列示周幾，當我們使用這個引數的時候，minute 和 hour 引數是同樣生效的，這裡我們只演示 day_of_week 引數的作用，小時和分鐘我們都定為 0點0分。

當我們不指定這個引數的時候，即為每天，只有指定了這個引數的時候，定義的周幾才會生效，比如我們定義在週一，週三，週五三天的零點執行一次：

crontab(minute=0, hour=0, day_of_week="1,3,5")

這裡，週日是0，週一是1，週二是2，依次類推。

day_of_week 的引數還可以使用英文的簡寫，這裡不做介紹，因為我個人認為還是直接使用數字方便一點。

另一個需要注意的是，day_of_week 也可以使用 */n 的形式，但是周幾總共只有7個，所以我這裡推薦直接用數字寫出來。

day_of_month

表示一個月的第幾天，範圍是1-31。

其使用方法和 minute、hour 使用的方式是一致的，使用範圍和 */n 的形式都可以實現。

比如我們想實現在1號，5號，7號，8號，以及每個偶數日的零點零分執行一次，可以這樣操作：

crontab(minute=0, hour=0, day_of_month="1,5,7,8,*/2")

month_of_year

表示一年的某幾個月，範圍是1-12。

和前面的使用方式一致，如果需要使用，只有12個數字，還是推薦直接定義。

如果想獲取更多後端相關文章，可掃碼關注閱讀：
image.png

相關文章