作者：紹舒

## 引言

Apache RocketMQ 誕生至今，歷經十餘年大規模業務穩定性打磨，服務了阿里集團內部業務以及阿里雲數以萬計的企業客戶。作為金融級可靠的業務訊息方案，RocketMQ 從建立之初就一直專注於業務整合領域的非同步通訊能力構建。本篇將繼續業務訊息整合的場景，從功能原理、應用案例、最佳實踐以及實戰等角度介紹 RocketMQ 的順序訊息功能。

## 簡介

順序訊息是訊息佇列 RocketMQ 版提供的一種對訊息傳送和消費順序有嚴格要求的訊息。對於一個指定的 Topic，同一 MessageGroup 的訊息按照嚴格的先進先出（FIFO）原則進行釋出和消費，即先發布的訊息先消費，後釋出的訊息後消費，服務端嚴格按照傳送順序進行儲存、消費。同一 MessageGroup 的訊息保證順序，不同 MessageGroup 之間的訊息順序不做要求，因此需做到兩點，傳送的順序性和消費的順序性。

![1.jpeg](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c5d1749ec8c241a4b1e17740bf73e6ab~tplv-k3u1fbpfcp-zoom-1.image "1.jpeg")

## 功能原理

在這裡首先丟擲一個問題，在日常的接觸中，許多 RocketMQ 使用者會認為，既然順序訊息能在普通訊息的基礎上實現順序，看起來就是普通訊息的加強版，那麼為什麼不全部都使用順序訊息呢？接下來就會圍繞這個問題，對比普通訊息和順序訊息進行闡述。

### 順序傳送

在分散式環境下，保證訊息的全域性順序性是十分困難的，例如兩個 RocketMQ Producer A 與 Producer B，它們在沒有溝通的情況下各自向 RocketMQ 服務端傳送訊息 a 和訊息 b，由於分散式系統的限制，我們無法保證 a 和 b 的順序。因此業界訊息系統通常保證的是分割槽的順序性，即保證帶有同一屬性的訊息的順序，我們將該屬性稱之為 MessageGroup。如圖所示，ProducerA 傳送了 MessageGroup 屬性為 A 的兩條訊息 A1，A2 和 MessageGroup 屬性為 B 的 B1，B2，而 ProducerB 傳送了 MessageGroup 屬性為 C 的兩條屬性 C1，C2。

![2.jpeg](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/547d6a8acf744e4d8d999e0e9882380a~tplv-k3u1fbpfcp-zoom-1.image "2.jpeg")

同時，對於同一 MessageGroup，為了保證其傳送順序的先後性，比較簡單的做法是構造一個單執行緒的場景，即不同的 MessageGroup 由不同的 Producer 負責，並且對於每一個 Producer 而言，順序訊息是同步傳送的。同步傳送的好處是顯而易見的，在客戶端得到上一條訊息的傳送結果後再傳送下一條，即能準確保證傳送順序，若使用非同步傳送或多執行緒則很難保證這一點。

![3.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0f4f500c0a8346d595a328e9ad2a9bc7~tplv-k3u1fbpfcp-zoom-1.image "3.png")

因此可以看到，雖然在底層原理上，順序訊息傳送和普通訊息傳送並無二異，但是為了保證順序訊息的傳送順序性，同步傳送的方式相比較普通訊息，實際上降低了訊息的最大吞吐。

### 順序消費

與順序訊息不同的是，普通訊息的消費實際上沒有任何限制，消費者拉取的訊息是被非同步、併發消費的，而順序訊息，需要保證對於同一個 MessageGroup，同一時刻只有一個客戶端在消費訊息，並且在該條訊息被確認消費完成之前（或者進入死信佇列），消費者無法消費同一 MessageGroup 的下一條訊息，否則消費的順序性將得不到保證。因此這裡存在著一個消費瓶頸，該瓶頸取決於使用者自身的業務處理邏輯。極端情況下當某一 MessageGroup 的訊息過多時，就可能導致消費堆積。當然也需要明確的是，這裡的語境都指的是同一 MessageGroup，不同 MessageGroup 的訊息之間並不存在順序性的關聯，是可以進行併發消費的。因此全文中提到的順序實際上是一種偏序。

![4.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/723bf08288444c2a9cd49fa7bab547a1~tplv-k3u1fbpfcp-zoom-1.image "4.png")

### 小結

無論對於傳送還是消費，我們透過 MessageGroup 的方式將訊息分組，即併發的基本單元是 MessageGroup，不同的 MessageGroup 可以併發的傳送和消費，從而一定程度具備了可擴充性，支援多佇列儲存、水平拆分、併發消費，且不受影響。回顧普通訊息，站在順序訊息的視角，可以認為普通訊息的併發基本單元是單條訊息，即每條訊息均擁有不同的 MessageGroup。

我們回到開頭那個問題：

> 既然順序訊息能在普通訊息的基礎上實現順序，看起來就是普通訊息的加強版，那麼為什麼不全部都使用順序訊息呢？

現在大家對於這個問題可能有一個基本的印象了，訊息的順序性當然很好，但是為了實現順序性也是有代價的。

下述是一個表格，簡要對比了順序訊息和普通訊息。

![5.jpeg](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a006eabc205c4ecfa93cdb8f9fe7c5df~tplv-k3u1fbpfcp-zoom-1.image "5.jpeg")

## 最佳實踐

### 合理設定 MessageGroup

MessageGroup 會有很多錯誤的選擇，以某電商平臺為例，某電商平臺將商家 ID 作為 MessageGroup，因為部分規模較大的商家會產出較多訂單，由於下游消費能力的限制，因此這部分商家所對應的訂單就發生了嚴重的堆積。正確的做法應當是將訂單號作為 MessageGroup，而且站在背後的業務邏輯上來說，同一訂單才有順序性的要求。即選擇 MessageGroup 的最佳實踐是：MessageGroup 生命週期最好較為短暫，且不同 MessageGroup 的數量應當儘量相同且均勻。

### 同步傳送和傳送重試

如之前章節所述，需使用同步傳送和傳送重試來保證傳送的順序性。

### 消費冪等

訊息傳輸鏈路在異常場景下會有少量重複，業務消費是需要做消費冪等，避免重複處理帶來的風險。

## 應用案例

-   使用者註冊需要傳送驗證碼，以使用者 ID 作為 MessageGroup，那麼同一個使用者傳送的訊息都會按照發布的先後順序來消費。

-   電商的訂單建立，以訂單 ID 作為 MessageGroup，那麼同一個訂單相關的建立訂單訊息、訂單支付訊息、訂單退款訊息、訂單物流訊息都會按照發布的先後順序來消費。

![6.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/d0cf576cfc9f4e50aa1ae31f62b82216~tplv-k3u1fbpfcp-zoom-1.image "6.png")

## 實戰

### 傳送

可以看到，該傳送案例設定了 MessageGroup 並且使用了同步傳送，傳送的程式碼如下：

```
public class ProducerFifoMessageExample {
    private static final Logger LOGGER = LoggerFactory.getLogger(ProducerFifoMessageExample.class);

private ProducerFifoMessageExample() {
    }

public static void main(String[] args) throws ClientException, IOException {
        final ClientServiceProvider provider = ClientServiceProvider.loadService();

// Credential provider is optional for client configuration.
        String accessKey = "yourAccessKey";
        String secretKey = "yourSecretKey";
        SessionCredentialsProvider sessionCredentialsProvider =
            new StaticSessionCredentialsProvider(accessKey, secretKey);

String endpoints = "foobar.com:8080";
        ClientConfiguration clientConfiguration = ClientConfiguration.newBuilder()
            .setEndpoints(endpoints)
            .setCredentialProvider(sessionCredentialsProvider)
            .build();
        String topic = "yourFifoTopic";
        final Producer producer = provider.newProducerBuilder()
            .setClientConfiguration(clientConfiguration)
            // Set the topic name(s), which is optional. It makes producer could prefetch the topic route before 
            // message publishing.
            .setTopics(topic)
            // May throw {@link ClientException} if the producer is not initialized.
            .build();
        // Define your message body.
        byte[] body = "This is a FIFO message for Apache RocketMQ".getBytes(StandardCharsets.UTF_8);
        String tag = "yourMessageTagA";
        final Message message = provider.newMessageBuilder()
            // Set topic for the current message.
            .setTopic(topic)
            // Message secondary classifier of message besides topic.
            .setTag(tag)
            // Key(s) of the message, another way to mark message besides message id.
            .setKeys("yourMessageKey-1ff69ada8e0e")
            // Message group decides the message delivery order.
            .setMessageGroup("youMessageGroup0")
            .setBody(body)
            .build();
        try {
            final SendReceipt sendReceipt = producer.send(message);
            LOGGER.info("Send message successfully, messageId={}", sendReceipt.getMessageId());
        } catch (Throwable t) {
            LOGGER.error("Failed to send message", t);
        }
        // Close the producer when you don't need it anymore.
        producer.close();
    }
}
```

### 消費

消費的程式碼如下：

```
public class SimpleConsumerExample {
    private static final Logger LOGGER = LoggerFactory.getLogger(SimpleConsumerExample.class);

private SimpleConsumerExample() {
    }

public static void main(String[] args) throws ClientException, IOException {
        final ClientServiceProvider provider = ClientServiceProvider.loadService();

// Credential provider is optional for client configuration.
        String accessKey = "yourAccessKey";
        String secretKey = "yourSecretKey";
        SessionCredentialsProvider sessionCredentialsProvider =
            new StaticSessionCredentialsProvider(accessKey, secretKey);

String endpoints = "foobar.com:8080";
        ClientConfiguration clientConfiguration = ClientConfiguration.newBuilder()
            .setEndpoints(endpoints)
            .setCredentialProvider(sessionCredentialsProvider)
            .build();
        String consumerGroup = "yourConsumerGroup";
        Duration awaitDuration = Duration.ofSeconds(30);
        String tag = "yourMessageTagA";
        String topic = "yourTopic";
        FilterExpression filterExpression = new FilterExpression(tag, FilterExpressionType.TAG);
        SimpleConsumer consumer = provider.newSimpleConsumerBuilder()
            .setClientConfiguration(clientConfiguration)
            // Set the consumer group name.
            .setConsumerGroup(consumerGroup)
            // set await duration for long-polling.
            .setAwaitDuration(awaitDuration)
            // Set the subscription for the consumer.
            .setSubscriptionExpressions(Collections.singletonMap(topic, filterExpression))
            .build();
        // Max message num for each long polling.
        int maxMessageNum = 16;
        // Set message invisible duration after it is received.
        Duration invisibleDuration = Duration.ofSeconds(5);
        final List<messageview> messages = consumer.receive(maxMessageNum, invisibleDuration);
        for (MessageView message : messages) {
            try {
                consumer.ack(message);
            } catch (Throwable t) {
                LOGGER.error("Failed to acknowledge message, messageId={}", message.getMessageId(), t);
            }
        }
        // Close the simple consumer when you don't need it anymore.
        consumer.close();
    }
}
```

今天透過對 RocketMQ 順序訊息的介紹，希望能夠幫大家對順序訊息的原理和應用有更深入的瞭解，同時也期望 RocketMQ 的順序訊息能夠幫助您更有效的解決業務問題。如果您對 RocktMQ 的業務訊息感興趣，也歡迎您掃描下方二維碼加入釘釘群一起溝通交流～

![7.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/811847396afe4270b80d26e1f66f3f11~tplv-k3u1fbpfcp-zoom-1.image "7.png")

點選[此處](https://www.aliyun.com/product/rocketmq)，進入官網瞭解更多詳情～</messageview>

解析 RocketMQ 業務訊息--“順序訊息”

相關文章