訊息佇列中介軟體的選型與比較

心若向陽花自開發表於2023-03-08

　　訊息佇列是一種重要的分散式系統元件，可用於非同步通訊、削峰填谷、解耦系統、資料快取等多個方面。在選擇訊息佇列時，需要考慮諸多因素，包括效能、可靠性、可用性、擴充套件性、可維護性、社群支援等等。

一、MQ介紹

1. Kafka

　　Kafka 是一種高吞吐量、分散式的訊息佇列系統。它以日誌為基礎，支援高吞吐量、低延遲的資料傳輸，並且具有可靠性、可擴充套件性、高可用性等特點。Kafka 適用於大資料量、高併發、高可靠性的應用場景，例如日誌收集、資料流處理、訊息通訊等。Kafka 生態系統豐富，有大量的開源工具和技術與之配合，包括聯結器、流處理、查詢、監控、安全等方面。

2. RabbitMQ

　　RabbitMQ 是一種開源的 AMQP（Advanced Message Queuing Protocol）訊息代理軟體，採用 Erlang 語言開發。它具有高可靠性、可擴充套件性、靈活性和開放性等特點，支援多種訊息協議和傳輸方式，例如 AMQP、STOMP、MQTT 等。RabbitMQ 支援廣泛的訊息模式，包括點對點、釋出/訂閱、RPC、訊息路由等。RabbitMQ 可以應用於非同步處理、任務分發、事件驅動、系統解耦等方面。

3. RocketMQ

　　RocketMQ 是阿里巴巴開源的分散式訊息佇列系統，主要針對大規模分散式系統場景設計，具有高可用性、高效能、可擴充套件性等特點。RocketMQ 支援多種訊息協議和傳輸方式，例如 JMS、MQTT、HTTP 等，還支援訊息順序、事務訊息等特性。RocketMQ 適用於訊息通訊、流量削峰等場景，還可以與阿里巴巴的分散式計算框架（例如 Hadoop、Storm）和訊息中介軟體（例如 Kafka）配合使用。

4. Pulsar

　　Pulsar 是 Apache 基金會孵化的分散式訊息和流處理平臺，可以支援多租戶、多資料中心、多協議等場景。Pulsar 採用分層架構，具有可擴充套件性、可靠性、高效能、高吞吐量等特點。Pulsar 支援多種訊息模式，包括髮布/訂閱、點對點、持久化訂閱等。Pulsar 還具有多種擴充套件功能，例如流處理、聯結器、儲存、安全性等。Pulsar 的設計目標是能夠處理大規模的資料流和事件流，並且支援多種資料來源和資料格式。

二、主要特徵對比

　　主要從效能、訊息可靠性、可擴充套件性、社群支援幾個維度對比

維度	對比	結果
效能	Kafka 是吞吐量最高的訊息佇列之一，適用於高併發、高資料量的場景。RabbitMQ 效能比 Kafka 略低，但是可靠性更高。RocketMQ 在傳輸效率和可靠性方面都表現優異。Pulsar 作為新興的訊息佇列，效能表現也非常不錯。	kafka效能最好
可靠性	Kafka、RabbitMQ 和 RocketMQ 都支援訊息持久化和高可靠性，可以保證訊息不丟失。Pulsar 透過多副本備份、資料完整性校驗等方式來保證資料可靠性。	rabbitmq可靠性較好，且實現方便
可擴充套件性	Kafka、RabbitMQ 和 Pulsar 都具有良好的可擴充套件性，可以透過新增更多的節點來提高容量和效能。RocketMQ 支援水平擴充套件和垂直擴充套件，但是節點的數量有一定限制。	擴充套件性都不錯
社群支援	Kafka、RabbitMQ 和 Pulsar 都有很活躍的社群和大量的使用者，可以提供良好的支援和周邊生態系統。RocketMQ 社群相對較小，但是有很多阿里巴巴的技術團隊參與開發和維護。	除RocketMQ外，其它社群支援都不錯

三、運維複雜程度

　　訊息佇列的選型不僅需要考慮其效能、可靠性和功能等方面，還需要考慮其運維複雜度。下面是對 Kafka、RabbitMQ、RocketMQ 和 Pulsar 的運維複雜度進行的簡要比較：

MQ名稱	運維複雜度
Kafka	Kafka 的運維複雜度相對較高，需要配置和管理多個元件，例如 ZooKeeper、Kafka Broker、Kafka Connect 等，需要進行叢集配置、備份和恢復等操作。另外，Kafka 的儲存和資料處理都比較複雜，需要具備一定的技術水平和經驗才能進行有效的維護和管理。
RabbitMQ	RabbitMQ 的運維複雜度相對較低，大多數配置和管理都可以透過管理介面或命令列工具完成，例如建立佇列、交換機、繫結等操作，不需要太多的專業技能和知識。但是在進行高可用和資料備份方面，仍然需要一定的技術支援。
RocketMQ	RocketMQ 的運維複雜度與 Kafka 相當，需要配置和管理多個元件，例如 Nameserver、Broker、Producer、Consumer 等，需要進行叢集配置、備份和恢復等操作。另外，RocketMQ 的高可用配置和資料恢復也比較複雜，需要一定的技術水平和經驗。
Pulsar	Pulsar 的運維複雜度相對較低，大多數配置和管理都可以透過 Web 介面或命令列工具完成，例如建立主題、名稱空間、叢集等操作，不需要太多的專業技能和知識。另外，Pulsar 支援多種叢集部署方式，包括單機、多機和雲端部署，可以根據需要選擇適合的部署方式。

　　綜上來看，Kafka 和 RocketMQ 的運維複雜度相對較高，需要一定的技術水平和經驗才能進行有效的維護和管理；RabbitMQ 和 Pulsar 的運維複雜度相對較低，可以透過管理介面或命令列工具完成大多數配置和管理操作。但是，在進行高可用、備份和恢復等方面，所有的訊息佇列系統都需要一定的技術支援和經驗。

四、訊息投遞與訊息消費效能對比

MQ名稱	具體效能
Kafka	Kafka 的訊息投遞速度非常快，在測試中可以達到每秒數百萬條訊息的吞吐量。同時，Kafka 的消費速度也非常快，通常可以在毫秒級別內完成訊息消費。	都快
RabbitMQ	RabbitMQ 的訊息投遞速度相對較慢，在測試中通常在每秒幾十萬條訊息左右。同時，RabbitMQ 的消費速度也相對較慢，通常需要幾百毫秒甚至幾秒鐘才能完成訊息消費。	投遞速度滿足大多數場景要求，消費速度相對較慢
RocketMQ	RocketMQ 的訊息投遞速度非常快，在測試中可以達到每秒數百萬條訊息的吞吐量。同時，RocketMQ 的消費速度也非常快，通常可以在毫秒級別內完成訊息消費。	都快
Pulsar	Pulsar 的訊息投遞速度也非常快，在測試中可以達到每秒數百萬條訊息的吞吐量。同時，Pulsar 的消費速度也相對較快，通常可以在毫秒級別內完成訊息消費。	都快

五、訊息追蹤

　　訊息追蹤是指對訊息在系統內的流動和處理過程進行跟蹤和記錄，以便在出現問題時能夠更快地診斷和解決問題。在 Kafka、RabbitMQ、RocketMQ 和 Pulsar 這些訊息佇列系統中，訊息追蹤都是非常重要的。

1. Kafka

　　在 Kafka 中，訊息追蹤可以透過在訊息頭部新增 Trace ID 和 Span ID 來實現。Trace ID 是一個唯一識別符號，可以用來跟蹤整個訊息在 Kafka 系統內的流動。Span ID 是一個與 Trace ID 相關聯的識別符號，可以用來跟蹤訊息在每個 Kafka Broker 內的流動。Kafka 還提供了 Kafka Connect、Kafka Streams 和 Kafka Clients 等工具來幫助使用者實現訊息追蹤。

2. RabbitMQ

　　在 RabbitMQ 中，訊息追蹤可以透過使用 RabbitMQ 的 Trace 外掛來實現。Trace 外掛可以記錄每個訊息的路由和處理資訊，並將其儲存在日誌檔案中。此外，RabbitMQ 還提供了 RabbitMQ Management 外掛和 RabbitMQ Management HTTP API，可以用來監控和管理 RabbitMQ 系統。