關於MQ的幾件小事(七)如果讓你設計一個MQ,你怎麼設計

一條路上的鹹魚發表於2019-05-22

其實回答這類問題,說白了,起碼不求你看過那技術的原始碼,起碼你大概知道那個技術的基本原理,核心組成部分,基本架構構成,然後參照一些開源的技術把一個系統設計出來的思路說一下就好

比如說這個訊息佇列系統,我們來從以下幾個角度來考慮一下

(1)首先這個mq得支援可伸縮性吧,就是需要的時候快速擴容,就可以增加吞吐量和容量,那怎麼搞?設計個分散式的系統唄,參照一下kafka的設計理念,broker -> topic -> partition,每個partition放一個機器,就存一部分資料。如果現在資源不夠了,簡單啊,給topic增加partition,然後做資料遷移,增加機器,不就可以存放更多資料,提供更高的吞吐量了?

(2)其次你得考慮一下這個mq的資料要不要落地磁碟吧?那肯定要了,落磁碟,才能保證別程式掛了資料就丟了。那落磁碟的時候怎麼落啊?順序寫,這樣就沒有磁碟隨機讀寫的定址開銷,磁碟順序讀寫的效能是很高的,這就是kafka的思路。

(3)其次你考慮一下你的mq的可用性啊?這個事兒,具體參考我們之前可用性那個環節講解的kafka的高可用保障機制。多副本 -> leader & follower -> broker掛了重新選舉leader即可對外服務。

(4)能不能支援資料0丟失啊?可以的,參考我們之前說的那個kafka資料零丟失方案

其實一個mq肯定是很複雜的,其實這是個開放題,就是看看你有沒有從架構角度整體構思和設計的思維以及能力。

如果你還不清楚,請參考前面幾篇
訊息佇列的用途、優缺點、技術選型
如何保證訊息佇列的高可用
如何保證訊息不重複消費
如何防止資料佇列資料丟失
如何保證訊息按順序執行
訊息積壓在訊息佇列裡怎麼辦

相關文章