《RabbitMQ》如何保證訊息的可靠性

Java旅途發表於2020-08-05
MQ

一條消費成功被消費經歷了生產者->MQ->消費者，因此在這三個步驟中都有可能造成訊息丟失。

一 訊息生產者沒有把訊息成功傳送到MQ

1.1 事務機制

AMQP協議提供了事務機制，在投遞訊息時開啟事務支援，如果訊息投遞失敗，則回滾事務。

自定義事務管理器

@Configuration
public class RabbitTranscation {
    
    @Bean
    public RabbitTransactionManager rabbitTransactionManager(ConnectionFactory connectionFactory){
        return new RabbitTransactionManager(connectionFactory);
    }

    @Bean
    public RabbitTemplate rabbitTemplate(ConnectionFactory connectionFactory){
        return new RabbitTemplate(connectionFactory);
    }
}

修改yml

spring:
  rabbitmq:
    # 訊息在未被佇列收到的情況下返回
    publisher-returns: true

開啟事務支援

rabbitTemplate.setChannelTransacted(true);

訊息未接收時呼叫ReturnCallback

rabbitTemplate.setMandatory(true);

生產者投遞訊息

@Service
public class ProviderTranscation implements RabbitTemplate.ReturnCallback {

    @Autowired
    RabbitTemplate rabbitTemplate;

    @PostConstruct
    public void init(){
        // 設定channel開啟事務
        rabbitTemplate.setChannelTransacted(true);
        rabbitTemplate.setReturnCallback(this);
    }
    
    @Override
    public void returnedMessage(Message message, int replyCode, String replyText, String exchange, String routingKey) {
        System.out.println("這條訊息傳送失敗了"+message+",請處理");
    }
    
    @Transactional(rollbackFor = Exception.class,transactionManager = "rabbitTransactionManager")
    public void publishMessage(String message) throws Exception {
        rabbitTemplate.setMandatory(true);
        rabbitTemplate.convertAndSend("javatrip",message);
    }
}

但是，很少有人這麼幹，因為這是同步操作，一條訊息傳送之後會使傳送端阻塞，以等待RabbitMQ-Server的回應，之後才能繼續傳送下一條訊息，生產者生產訊息的吞吐量和效能都會大大降低。

1.2 傳送方確認機制

傳送訊息時將通道設定為confirm模式，訊息進入該通道後，都會被指派給一個唯一ID，一旦訊息被投遞到所匹配的佇列後，RabbitMQ就會傳送給生產者一個確認。

開啟訊息確認機制

spring:
  rabbitmq:
    # 訊息在未被佇列收到的情況下返回
    publisher-returns: true
    # 開啟訊息確認機制
    publisher-confirm-type: correlated

訊息未接收時呼叫ReturnCallback

rabbitTemplate.setMandatory(true);

生產者投遞訊息

@Service
public class ConfirmProvider implements RabbitTemplate.ConfirmCallback,RabbitTemplate.ReturnCallback {

    @Autowired
    RabbitTemplate rabbitTemplate;

    @PostConstruct
    public void init() {
        rabbitTemplate.setReturnCallback(this);
        rabbitTemplate.setConfirmCallback(this);
    }

    @Override
    public void confirm(CorrelationData correlationData, boolean ack, String cause) {
        if(ack){
            System.out.println("確認了這條訊息："+correlationData);
        }else{
            System.out.println("確認失敗了："+correlationData+"；出現異常："+cause);
        }
    }

    @Override
    public void returnedMessage(Message message, int replyCode, String replyText, String exchange, String routingKey) {
        System.out.println("這條訊息傳送失敗了"+message+",請處理");
    }

    public void publisMessage(String message){
        rabbitTemplate.setMandatory(true);
        rabbitTemplate.convertAndSend("javatrip",message);
    }
}

如果訊息確認失敗後，我們可以進行訊息補償，也就是訊息的重試機制。當未收到確認資訊時進行訊息的重新投遞。設定如下配置即可完成。

spring:
  rabbitmq:
    # 支援訊息傳送失敗後重返佇列
    publisher-returns: true
    # 開啟訊息確認機制
    publisher-confirm-type: correlated
    listener:
      simple:
        retry:
          # 開啟重試
          enabled: true
          # 最大重試次數
          max-attempts: 5
          # 重試時間間隔
          initial-interval: 3000

二 訊息傳送到MQ後，MQ當機導致記憶體中的訊息丟失

訊息在MQ中有可能發生丟失，這時候我們就需要將佇列和訊息都進行持久化。

@Queue註解為我們提供了佇列相關的一些屬性，具體如下：

  1. name: 佇列的名稱；
  2. durable: 是否持久化；
  3. exclusive: 是否獨享、排外的；
  4. autoDelete: 是否自動刪除；

  5. arguments：佇列的其他屬性引數，有如下可選項，可參看圖2的arguments：

    • x-message-ttl：訊息的過期時間，單位：毫秒；
    • x-expires：佇列過期時間，佇列在多長時間未被訪問將被刪除，單位：毫秒；
    • x-max-length：佇列最大長度，超過該最大值，則將從佇列頭部開始刪除訊息；
    • x-max-length-bytes：佇列訊息內容佔用最大空間，受限於記憶體大小，超過該閾值則從佇列頭部開始刪除訊息；
    • x-overflow：設定佇列溢位行為。這決定了當達到佇列的最大長度時訊息會發生什麼。有效值是drop-head、reject-publish或reject-publish-dlx。仲裁佇列型別僅支援drop-head；
    • x-dead-letter-exchange：死信交換器名稱，過期或被刪除（因佇列長度超長或因空間超出閾值）的訊息可指定傳送到該交換器中；
    • x-dead-letter-routing-key：死信訊息路由鍵，在訊息傳送到死信交換器時會使用該路由鍵，如果不設定，則使用訊息的原來的路由鍵值
    • x-single-active-consumer：表示佇列是否是單一活動消費者，true時，註冊的消費組內只有一個消費者消費訊息，其他被忽略，false時訊息迴圈分發給所有消費者(預設false)
    • x-max-priority：佇列要支援的最大優先順序數;如果未設定，佇列將不支援訊息優先順序；
    • x-queue-mode（Lazy mode）：將佇列設定為延遲模式，在磁碟上保留儘可能多的訊息，以減少RAM的使用;如果未設定，佇列將保留記憶體快取以儘可能快地傳遞訊息；
    • x-queue-master-locator：在叢集模式下設定映象佇列的主節點資訊。

持久化佇列

建立佇列的時候將持久化屬性durable設定為true，同時要將autoDelete設定為false

@Queue(value = "javatrip",durable = "false",autoDelete = "false")

持久化訊息

傳送訊息的時候將訊息的deliveryMode設定為2，在Spring Boot中訊息預設就是持久化的。

三 消費者消費訊息的時候，未消費完畢就出現了異常

消費者剛消費了訊息，還沒有處理業務，結果發生異常。這時候就需要關閉自動確認，改為手動確認訊息。

修改yml為手動簽收模式

spring:
  rabbitmq:
    listener:
      simple:
        # 手動簽收模式
        acknowledge-mode: manual
        # 每次簽收一條訊息
        prefetch: 1

消費者手動簽收

@Component
@RabbitListener(queuesToDeclare = @Queue(value = "javatrip", durable = "true"))
public class Consumer {

    @RabbitHandler
    public void receive(String message, @Headers Map<String,Object> headers, Channel channel) throws Exception{

        System.out.println(message);
        // 唯一的訊息ID
        Long deliverTag = (Long) headers.get(AmqpHeaders.DELIVERY_TAG);
        // 確認該條訊息
        if(...){
            channel.basicAck(deliverTag,false);
        }else{
            // 消費失敗，訊息重返佇列
            channel.basicNack(deliverTag,false,true);
        }
      
    }
}

四 總結

訊息丟失的原因？

生產者、MQ、消費者都有可能造成訊息丟失

如何保證訊息的可靠性？

  • 傳送方採取傳送者確認模式
  • MQ進行佇列及訊息的持久化
  • 消費者消費成功後手動確認訊息

相關文章