celery筆記八之資料庫操作定時任務

Hunter發表於2023-05-14
筆記資料庫
本文首發於公眾號：Hunter後端
原文連結：celery筆記八之資料庫操作定時任務

前面我們介紹定時任務是在 celery.py 中的 app.conf.beat_schedule 定義，這一篇筆記我們介紹一下如何在 Django 系統中的表裡來操作這些任務。

  1. 依賴及migrate操作
  2. beat 的啟動
  3. 表介紹
  4. 手動操作定時任務

1、依賴安裝及migrate操作

我們先透過 app.conf.beat_schedule 定義定時任務：

app.conf.beat_schedule = {
    'add-every-60-seconds': {
        'task': 'blog.tasks.add',
        'schedule': 60,
        'args': (16, 16),
    },
    'schedule_minus': {
        'task': 'blog.tasks.minus',
        'schedule': crontab(minute=5, hour=2),
        'args': (12, 24),
    },
}

如果我們就這樣啟動 Django 系統，worker 和 beat 服務，系統的定時任務就只有一個，寫死在系統裡。

當然，我們也可以使用一些 celery 的函式來手動向系統裡新增定時任務，但是我們有一個更好的方法來管理操作這些定時任務，那就是將這些定時任務寫入到資料庫中，來進行增刪改查操作，定製開發。

將定時任務寫入資料庫，我們需要進行以下幾步操作：

  • 安裝依賴
  • INSTALLED_APP新增模組
  • 執行migrate

安裝依賴

透過 pip 安裝一個 django-celery-beat 依賴：

pip3 install django-celery-beat

INSTALLED_APP新增模組

安裝後，要正常使用還需要將其新增到 settings.py 的 INSTALLED_APPS 中：

# settings.py

INSTALLED_APPS = [
    ...,
    'django_celery_beat',
]

執行migrate

接下來我們執行 migrate 操作將需要建立的表寫入資料庫：

python3 manage.py migrate

可以看到如下輸出：

Running migrations:
  Applying django_celery_beat.0001_initial... OK
  Applying django_celery_beat.0002_auto_20161118_0346... OK
  Applying django_celery_beat.0003_auto_20161209_0049... OK
  Applying django_celery_beat.0004_auto_20170221_0000... OK
  Applying django_celery_beat.0005_add_solarschedule_events_choices... OK
  Applying django_celery_beat.0006_auto_20180322_0932... OK
  Applying django_celery_beat.0007_auto_20180521_0826... OK
  Applying django_celery_beat.0008_auto_20180914_1922... OK
  Applying django_celery_beat.0006_auto_20180210_1226... OK
  Applying django_celery_beat.0006_periodictask_priority... OK
  Applying django_celery_beat.0009_periodictask_headers... OK
  Applying django_celery_beat.0010_auto_20190429_0326... OK
  Applying django_celery_beat.0011_auto_20190508_0153... OK
  Applying django_celery_beat.0012_periodictask_expire_seconds... OK
  Applying django_celery_beat.0013_auto_20200609_0727... OK
  Applying django_celery_beat.0014_remove_clockedschedule_enabled... OK
  Applying django_celery_beat.0015_edit_solarschedule_events_choices... OK

然後可以看到在 Django 系統對應的資料庫裡新增了幾張表，表的介紹及使用我們在後面再介紹。

2、beat 的啟動

在啟動 beat 前，我們需要對時區進行設定，前面我們介紹過在 Django 和 celery 中都需要設定成北京時間：

TIME_ZONE = "Asia/Shanghai"
USE_TZ = False

# celery 時區設定 
CELERY_TIMEZONE = "Asia/Shanghai"
CELERY_ENABLE_UTC = False
DJANGO_CELERY_BEAT_TZ_AWARE = False

啟動 beat 我們需要新增引數將資料指定儲存在資料庫中，可以在啟動 beat 的時候新增引數：

celery -A hunter beat -l INFO --scheduler django_celery_beat.schedulers:DatabaseScheduler

也可以透過 app.conf.beat_scheduler 指定值：

app.conf.beat_scheduler = 'django_celery_beat.schedulers:DatabaseScheduler'

然後直接啟動 beat：

celery -A hunter beat -l INFO

3、表介紹

在執行完 migrate 之後系統會多出幾張表，都是定時任務相關的表：

  • django_celery_beat_clockedschedule
  • django_celery_beat_crontabschedule
  • django_celery_beat_intervalschedule
  • django_celery_beat_solarschedule
  • django_celery_beat_periodictask
  • django_celery_beat_periodictasks

其中 django_celery_beat_clockedschedule 和 django_celery_beat_solarschedule 暫時不介紹

django_celery_beat_crontabschedule

是我們的週期任務表，比如我們上面定義的：

    'schedule_minus': {
        'task': 'blog.tasks.minus',
        'schedule': crontab(minute=5, hour=2),
        'args': (12, 24),
    },

執行 celery 的 beat 後，會在該表新增一條資料，表的欄位就是我們設定的 crontab() 裡的值，包括 minute，hour，day_of_week，day_off_month，month_of_year 和 timezone。

除了 timezone 欄位，前面的欄位如何定義和使用上一篇筆記中已經詳細介紹過，timezone 欄位則是我們在 settings.py 裡定義的時區資訊。

django_celery_beat_intervalschedule

這張表的資料是我們定義的間隔時間任務的表，比如每隔多少秒，多少分鐘執行一次。

該表只有 id， every 和 period 欄位，every 表示的是時間的間隔，填寫的數字，period 則是單位，可選項有：

  • microseconds：毫秒
  • seconds：秒
  • minutes：分鐘
  • hours：小時
  • days：天

我們在定義間隔任務的時候，除了直接使用數字表示秒之外，還可以使用 datetime.timedelta() 來定義其他時間，比如：

from datetime import timedelta
app.conf.beat_schedule = {
    'add-every-60-seconds': {
        'task': 'blog.tasks.add',
        'schedule': timedelta(minutes=5),
        'args': (16, 16),
    },
}

但是當我們啟動 beat 的時候，系統在寫入資料庫的時候還是會自動為我們將其轉化為秒數，比如 minutes=5，會給我們加入的資料是：

every=300, period='seconds'

django_celery_beat_periodictask

這張表其實是對前面幾張表的任務的一個彙總，

  • crontab_id，interval_id 等外來鍵欄位來判斷是屬於哪張表的定時/週期任務
  • last_run_at 上次執行時間
  • total_run_count 總執行次數
  • name 表示任務名稱
  • task 欄位表示任務來源等

還有引數，佇列等資訊。

每一條在 django_celery_beat_crontabschedule 和 django_celery_beat_intervalschedule 表中的資料都必須在該表中有一個彙總的資訊記錄才可以正常執行。

也就是說在前面的兩張表中可以新增各種任務執行的策略，然後在 django_celery_beat_periodictask 中有一個資料指向該策略，就可以使用該策略進行週期任務的執行。

其中，name 欄位上是有唯一鍵的，但是 task 可以重複寫入，這也就意味著我們可以針對同一個 task 制定不同的定時策略。

django_celery_beat_periodictasks

這個表就一條資料，儲存的是系統上一次執行任務的時間。

4、手動操作定時任務

接下來我們自己定義兩個週期任務，一個是 blog.tasks.add 函式，每隔20s執行一次，另一個是 blog.tasks.minus 函式，每天晚上 23點15分執行一次。

我們首先還是執行 beat 和 worke，然後在 python3 manage.py shell 中執行下面的程式碼：

import json
from django_celery_beat.models import IntervalSchedule, CrontabSchedule, PeriodicTask

twenty_second_interval, _ = IntervalSchedule.objects.get_or_create(every=20, period=IntervalSchedule.SECONDS)
eleven_clock_crontab, _ = CrontabSchedule.objects.get_or_create(minute=18, hour=23)

PeriodicTask.objects.get_or_create(
    interval_id=twenty_second_interval.id,
    name="twenty_second_interval",
    task="blog.tasks.add",
    args=json.dumps([1, 2]),
)

PeriodicTask.objects.get_or_create(
    crontab_id=eleven_clock_crontab.id,
    name="eleven_clock_crontab",
    task="blog.tasks.minus",
    args=json.dumps([8, 2]),
)

然後可以看到執行 beat 的 shell 中或者日誌檔案有輸出下面的資訊：

DatabaseScheduler: Schedule changed.

其實就是系統監測了 PeriodicTask 表，發現它的資料有變化就會重新更改一次，當 beat 服務啟動，系統會去 PeriodicTask 表裡獲取資料。

如果這些任務的資料有更改，系統就會檢測到然後發出 Schedule changed 的資訊。

我這邊測試了 name、enabled、one_off、args 等欄位，發現修改後系統都會捕獲到任務的變化。

其中，one_off 欄位的含義是該任務僅執行一次。

如果想獲取更多後端相關文章，可掃碼關注閱讀：
image.png

相關文章