基於 Redis 的方式實現非同步佇列

大雄45發表於2022-01-13
導讀 本文主要講解基於 Redis 的方式實現非同步佇列,基於 Redis 的 list 實現佇列的方式也有多種,本文透過例項程式碼給大家介紹的非常詳細,感興趣的朋友跟隨小編一起看看吧

日常需求開發過程中,不免會遇到需要透過程式碼進行非同步處理的情況,比如批次傳送郵件,批次傳送簡訊,資料匯入,為了減少使用者的等待,不希望一直菊花轉啊轉,因此需要進行非同步處理,做法就是講要處理的資料新增到佇列當中,然後按照排隊的先後順序進行非同步處理。

這個佇列,可以是專業的訊息佇列,如 RocketMQ/RabbitMQ 等,一般專案中,如果只是為了進行非同步,未免有點殺雞用牛刀的意味。也可以使用基於 JVM 記憶體實現佇列,但是如果專案進行了重啟,就會造成佇列資料丟失。大部分的專案都會用到 Redis 中介軟體作為快取使用,此時使用 Redis 的 list 結構來實現佇列則是非常合適的選擇。

因此,本文主要講解基於 Redis 的方式實現非同步佇列。

基於 Redis 的 list 實現佇列的方式也有多種,先說第一種不推薦的方式,即使用LPUSH生產訊息,然後 while(true) 中透過RPOP消費訊息,這種方式的確可以實現,但是不斷程式碼不斷的輪詢,勢必會消耗一些系統的資源。

第二種方式也是不推薦的方式,也是透過 LPUSH生產訊息,然後透過 BRPOP 進行阻塞地等待並消費訊息,這種方式較第一種方式減少了無用的輪詢,降低系統資源的消耗,但是可能會存在佇列訊息丟失的情況,如果取出了訊息然後處理失敗,這個被取出的訊息就將丟失。

第二種方式就是下文要介紹的方式,首先也是透過 LPUSH 生產訊息,然後透過 BRPOPLPUSH阻塞地等待 list 新訊息到來,有了新訊息才開始消費,同時將訊息備份到另外一個 list 當中,這種方式具備了第二種方式的優點,即減少了無用的輪詢,同時也對訊息進行了備份不會丟失資料,如果處理成功,可以透過 LREM 對備份的 list 中當前的這條訊息進行刪除處理。這種方式實現方式可以參考 模式: 安全的佇列 .

Redis 基礎
# 將一個或多個值 value 插入到列表 key 的表頭
LPUSH key value [value …]
 
# 阻塞式等待,將列表 source 中的最後一個元素 (尾元素) 彈出,並返回給客戶端。將 source 彈出的元素插入到列表 destination ,作為 destination 列表的的頭元素。超時引數 timeout 接受一個以秒為單位的數字作為值。超時引數設為 0 表示阻塞時間可以無限期延長 (block indefinitely) 。
BRPOPLPUSH source destination timeout
 
# 根據引數 count 的值,移除列表中與引數 value 相等的元素。
LREM key count value
程式碼實現佇列訊息生產者

筆者使用的是 Spring 相關 API 實現對 Redis 指令的呼叫。首先實現訊息的生產程式碼,封裝到一個工具類方法當中。這裡很簡單,就是呼叫了 lpush 方法,將序列化的 key 和 value 新增到列表當中去。

@Resource
private RedisConnectionFactory connectionFactory;
 
public void lPush(@Nonnull String key, @Nonnull String value) {
  RedisConnection connection = RedisConnectionUtils.getConnection(connectionFactory);
  try {
    byte[] byteKey = RedisSerializer.string().serialize(getKey(key));
    byte[] byteValue = RedisSerializer.string().serialize(value);
    assert byteKey != null;
    connection.lPush(byteKey, byteValue);
  } finally {
    RedisConnectionUtils.releaseConnection(connection, connectionFactory);
  }
}
程式碼實現佇列訊息消費者

因為實現佇列消費訊息的程式碼比較多,不可能每個需要阻塞消費的地方,對需要寫這一坨程式碼,因此使用 Java8 的函式式介面實現方法的傳遞,同時阻塞式獲取訊息程式碼使用新執行緒去執行。

有人看到以下程式碼要吐槽了,不是說不用 while(true) 嗎,怎麼你這裡面還是有,這裡稍微解釋一下,因為 SpringBoot 一般會指定 timeout 的全域性超時時間,即使 BRPOPLPUSH 設定了 0,即無限期,當超出了 timeout 設定的值時,就會丟擲 QueryTimeoutException 異常導致執行緒退出,因此新增了 try/catch 對異常進行捕獲並忽略,同時使用 while(true) 保證執行緒可以繼續執行。
程式碼中記錄了當前訊息處理結果,如果處理結果為成功,需要對備份佇列的當前訊息進行刪除。

public void bRPopLPush(@Nonnull String key, Consumerconsumer) {
  CompletableFuture.runAsync(() -> {
    RedisConnection connection = RedisConnectionUtils.getConnection(connectionFactory);
    try {
      byte[] srcKey = RedisSerializer.string().serialize(getKey(key));
      byte[] dstKey = RedisSerializer.string().serialize(getBackupKey(key));
      assert srcKey != null;
      assert dstKey != null;
      while (true) {
        byte[] byteValue = new byte[0];
        boolean success = false;
        try {
          byteValue = connection.bRPopLPush(0, srcKey, dstKey);
          if (byteValue != null && byteValue.length != 0) {
            consumer.accept(new String(byteValue));
            success = true;
          }
        } catch (Exception ignored) {
          // 防止獲取 key 達到超時時間丟擲 QueryTimeoutException 異常退出
        } finally {
          if (success) {
            // 處理成功才刪除備份佇列的 key
            connection.lRem(dstKey, 1, byteValue);
          }
        }
      }
    } finally {
      RedisConnectionUtils.releaseConnection(connection, connectionFactory);
    }
  });
}
測試程式碼
@Test
public void testLPush() throws InterruptedException {
  String queueA = "queueA";
  int i = 0;
  while (true) {
    String msg = "Hello-" + i++;
    redisBlockQueue.lPush(queueA, msg);
    System.out.println("lPush: " + msg);
    Thread.sleep(3000);
  }
}
 
@Test
public void testBRPopLPush() {
  String queueA = "queueA";
  redisBlockQueue.bRPopLPush(queueA, (val) -> {
    // 在這裡處理具體的業務邏輯
    System.out.println("val: " + val);
  });
 
  // 防止 Junit 程式退出
  LockSupport.park();
}
專案使用方式

為了方便使用,我將其抽取為了一個工具類,使用時透過 Spring 注入使用即可,佇列消費可以使用如下方式在專案啟動的時候就進行阻塞監聽佇列,等待消費

@Resource
private RedisBlockQueue redisBlockQueue;
 
@PostConstruct
public void init() {
   redisBlockQueue.bRPopLPush(xx, (value) -> {
     //...
   });
}

原文來自:

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69955379/viewspace-2852035/,如需轉載,請註明出處,否則將追究法律責任。

相關文章