1.為什麼要保證順序
訊息佇列中的若干訊息如果是對同一個資料進行操作,這些操作具有前後的關係,必須要按前後的順序執行,否則就會造成資料異常。舉例: 比如通過mysql binlog進行兩個資料庫的資料同步,由於對資料庫的資料操作是具有順序性的,如果操作順序搞反,就會造成不可估量的錯誤。比如資料庫對一條資料依次進行了 插入->更新->刪除操作,這個順序必須是這樣,如果在同步過程中,訊息的順序變成了 刪除->插入->更新,那麼原本應該被刪除的資料,就沒有被刪除,造成資料的不一致問題。
2.出現順序錯亂的場景
(1)rabbitmq
①一個queue,有多個consumer去消費,這樣就會造成順序的錯誤,consumer從MQ裡面讀取資料是有序的,但是每個consumer的執行時間是不固定的,無法保證先讀到訊息的consumer一定先完成操作,這樣就會出現訊息並沒有按照順序執行,造成資料順序錯誤。
②一個queue對應一個consumer,但是consumer裡面進行了多執行緒消費,這樣也會造成訊息消費順序錯誤。
(2)kafka
①kafka一個topic,一個partition,一個consumer,但是consumer內部進行多執行緒消費,這樣資料也會出現順序錯亂問題。
②具有順序的資料寫入到了不同的partition裡面,不同的消費者去消費,但是每個consumer的執行時間是不固定的,無法保證先讀到訊息的consumer一定先完成操作,這樣就會出現訊息並沒有按照順序執行,造成資料順序錯誤。
3.保證訊息的消費順序
(1)rabbitmq
①拆分多個queue,每個queue一個consumer,就是多一些queue而已,確實是麻煩點;這樣也會造成吞吐量下降,可以在消費者內部採用多執行緒的方式取消費。
②或者就一個queue但是對應一個consumer,然後這個consumer內部用記憶體佇列做排隊,然後分發給底層不同的worker來處理
(2)kafka
①確保同一個訊息傳送到同一個partition,一個topic,一個partition,一個consumer,內部單執行緒消費。
②寫N個記憶體queue,然後N個執行緒分別消費一個記憶體queue即可
上一篇《如何防止資料佇列資料丟失》
下一篇《訊息積壓在訊息佇列裡怎麼辦》