Node.js結合RabbitMQ延遲佇列實現定時任務

lotus_ruan發表於2021-09-09
Node.jsMQ佇列

實際業務中對於定時任務的需求是不可避免的，例如，訂單超時自動取消、每天定時拉取資料等，在Node.js中系統層面提供了setTimeout、setInterval兩個API或通過node-schedule這種第三方庫來實現。

通過這種方式實現對於簡單的定時任務是ok的，過於複雜的、可用性要求較高的系統就會存在以下缺點。

  • 存在的一些問題

    1. 消耗系統記憶體，如果定時任務很多，長時間得不到釋放，將會一直佔用系統程式耗費記憶體。
    2. 單執行緒如何保障出現系統崩潰後之前的定時任務不受影響？多程式叢集模式下一致性的保證？
    3. setTimeout、setInterval會存在時間誤差，對於時間精度要求較高的是不行的。

  • RabbitMQ TTL+DLX 實現定時任務

RabbitMQ本身是不支援的，可以通過它提供的兩個特性Time-To-Live and Expiration、Dead Letter Exchanges來實現，通過以下泳道圖可以看到一個訊息從釋出到消費的整個過程。

圖片描述

死信佇列

死信佇列全稱 Dead-Letter-Exchange 簡稱 DLX 是 RabbitMQ 中交換器的一種型別，訊息在一段時間之後沒有被消費就會變成死信被重新 publish 到另一個 DLX 交換器佇列中，因此稱為死信佇列。

  • 死信佇列產生幾種情況

    • 訊息被拒絕
    • 訊息TTL過期
    • 佇列達到最大長度

  • 設定DLX的兩個引數：

    • deadLetterExchange: 設定DLX，當正常佇列的訊息成為死信後會被路由到DLX中
    • deadLetterRoutingKey: 設定DLX指定的路由鍵

注意：Dead-Letter-Exchange也是一種普通的Exchange

訊息TTL

訊息的TTL指的是訊息的存活時間，RabbitMQ支援訊息、佇列兩種方式設定TTL，分別如下：

  • 訊息設定TTL：對訊息的設定是在傳送時進行TTL設定，通過x-message-ttl 或expiration 欄位設定，單位為毫秒，代表訊息的過期時間，每條訊息的TTL可不同。

  • 佇列設定TTL：對佇列的設定是在訊息入佇列時計算，通過 x-expires 設定，佇列中的所有訊息都有相同的過期時間，當超過了佇列的超時設定，訊息會自動的清除。

注意：如果以上兩種方式都做了設定，訊息的TTL則以兩者之中最小的那個為準。

Nodejs操作RabbitMQ實現延遲佇列

推薦採用 amqplib庫，一個Node.js實現的RabbitMQ客戶端。

  • 初始化RabbitMQ

rabbitmq.js

// npm install amqplib
const amqp = require('amqplib');

let connection = null;

module.exports = {
    connection,

    init: () => amqp.connect('amqp://localhost:5672').then(conn => {
        connection = conn;

        console.log('rabbitmq connect success');

        return connection;
    })
}
複製程式碼
  • 生產者
/**
 * 路由一個死信佇列
 * @param { Object } connnection 
 */
async function producerDLX(connnection) {
    const testExchange = 'testEx';
    const testQueue = 'testQu';
    const testExchangeDLX = 'testExDLX';
    const testRoutingKeyDLX = 'testRoutingKeyDLX';
    
    const ch = await connnection.createChannel();
    await ch.assertExchange(testExchange, 'direct', { durable: true });
    const queueResult = await ch.assertQueue(testQueue, {
        exclusive: false,
        deadLetterExchange: testExchangeDLX,
        deadLetterRoutingKey: testRoutingKeyDLX,
    });
    await ch.bindQueue(queueResult.queue, testExchange);
    const msg = 'hello world!';
    console.log('producer msg：', msg);
    await ch.sendToQueue(queueResult.queue, new Buffer(msg), {
        expiration: '10000'
    });
    
    ch.close();
}
複製程式碼
  • 消費者

consumer.js

const rabbitmq = require('./rabbitmq.js');

/**
 * 消費一個死信佇列
 * @param { Object } connnection 
 */
async function consumerDLX(connnection) {
    const testExchangeDLX = 'testExDLX';
    const testRoutingKeyDLX = 'testRoutingKeyDLX';
    const testQueueDLX = 'testQueueDLX';

    const ch = await connnection.createChannel();
    await ch.assertExchange(testExchangeDLX, 'direct', { durable: true });
    const queueResult = await ch.assertQueue(testQueueDLX, {
        exclusive: false,
    });
    await ch.bindQueue(queueResult.queue, testExchangeDLX, testRoutingKeyDLX);
    await ch.consume(queueResult.queue, msg => {
        console.log('consumer msg：', msg.content.toString());
    }, { noAck: true });
}

// 消費訊息
rabbitmq.init().then(connection => consumerDLX(connection));

複製程式碼
  • 執行檢視

分別執行消費者和生產者，可以看到 producer 在44秒釋出了訊息，consumer 是在54秒接收到的訊息，實現了定時10秒種執行

$ node consumer # 執行消費者
[2019-05-07T08:45:23.099] [INFO] default - rabbitmq connect success
[2019-05-07T08:45:54.562] [INFO] default - consumer msg： hello world!
複製程式碼
$ node producer # 執行生產者
[2019-05-07T08:45:43.973] [INFO] default - rabbitmq connect success
[2019-05-07T08:45:44.000] [INFO] default - producer msg： hello world!
複製程式碼
  • 管理控制檯檢視

testQu 佇列為我們定義的正常佇列訊息過期，會變成死信，會被路由到 testQueueDLX 佇列，形成一個死信佇列。

圖片描述

作者：五月君
連結：www.imooc.com/article/286…
來源：慕課網
Github: Node.js技術棧
公眾號：Nodejs技術棧

相關文章