關於MQ的幾件小事(五)如何保證訊息按順序執行

一條路上的鹹魚發表於2019-05-22

1.為什麼要保證順序

訊息佇列中的若干訊息如果是對同一個資料進行操作,這些操作具有前後的關係,必須要按前後的順序執行,否則就會造成資料異常。舉例: 比如通過mysql binlog進行兩個資料庫的資料同步,由於對資料庫的資料操作是具有順序性的,如果操作順序搞反,就會造成不可估量的錯誤。比如資料庫對一條資料依次進行了 插入->更新->刪除操作,這個順序必須是這樣,如果在同步過程中,訊息的順序變成了 刪除->插入->更新,那麼原本應該被刪除的資料,就沒有被刪除,造成資料的不一致問題。

2.出現順序錯亂的場景

(1)rabbitmq
①一個queue,有多個consumer去消費,這樣就會造成順序的錯誤,consumer從MQ裡面讀取資料是有序的,但是每個consumer的執行時間是不固定的,無法保證先讀到訊息的consumer一定先完成操作,這樣就會出現訊息並沒有按照順序執行,造成資料順序錯誤。

rabbitmq訊息順序錯亂第一種情況示意圖.png

②一個queue對應一個consumer,但是consumer裡面進行了多執行緒消費,這樣也會造成訊息消費順序錯誤。

abbitmq訊息順序錯亂第二種情況示意圖.png

(2)kafka
①kafka一個topic,一個partition,一個consumer,但是consumer內部進行多執行緒消費,這樣資料也會出現順序錯亂問題。

kafka訊息順序錯亂第一種情況示意圖.png

②具有順序的資料寫入到了不同的partition裡面,不同的消費者去消費,但是每個consumer的執行時間是不固定的,無法保證先讀到訊息的consumer一定先完成操作,這樣就會出現訊息並沒有按照順序執行,造成資料順序錯誤。

kafka訊息順序錯亂第二種情況示意圖..png

3.保證訊息的消費順序

(1)rabbitmq
①拆分多個queue,每個queue一個consumer,就是多一些queue而已,確實是麻煩點;這樣也會造成吞吐量下降,可以在消費者內部採用多執行緒的方式取消費。

一個queue對應一個consumer

②或者就一個queue但是對應一個consumer,然後這個consumer內部用記憶體佇列做排隊,然後分發給底層不同的worker來處理

一個queue對應一個consumer,採用多執行緒.png

(2)kafka
①確保同一個訊息傳送到同一個partition,一個topic,一個partition,一個consumer,內部單執行緒消費。

單執行緒保證順序.png

②寫N個記憶體queue,然後N個執行緒分別消費一個記憶體queue即可

多執行緒保證順序.png

上一篇《如何防止資料佇列資料丟失
下一篇《訊息積壓在訊息佇列裡怎麼辦

相關文章