Rocketmq 入門介紹

老马啸西风發表於2024-02-29
MQ

從零手寫實現 mq

詳細介紹一下 rocketmq

RocketMQ 是由阿里巴巴開發的分散式訊息佇列系統，它是一個低延遲、高可靠、高吞吐量的訊息中介軟體。

RocketMQ 最初是作為阿里巴巴的內部專案進行開發的，後來成為了 Apache 軟體基金會下的頂級專案，以 Apache 許可證 2.0 釋出，使其成為一個開放、免費的開源專案。

以下是 RocketMQ 的一些主要特性：

  1. 分散式架構：RocketMQ 是基於分散式架構設計的，可以輕鬆地實現水平擴充套件以滿足高吞吐量和大規模部署的需求。它支援多個訊息佇列伺服器（Broker）和多個訊息消費者，以實現負載均衡和高可用性。

  2. 高可靠性：RocketMQ 提供了嚴格的訊息傳遞保證，包括順序訊息、事務訊息、訊息重試等機制，確保訊息不會丟失。它使用主從複製和同步刷盤等技術來保證訊息的可靠性。

  3. 高吞吐量：RocketMQ 在設計上注重了高吞吐量的目標，透過最佳化網路通訊、儲存和訊息處理等方面的效能，實現了非常高的訊息處理速度。

  4. 低延遲：RocketMQ 的設計追求低延遲，能夠快速地將訊息傳遞給消費者，並且支援優先順序訊息以及批次傳送等特性，進一步降低了訊息傳遞的延遲。

  5. 靈活的訊息模型：RocketMQ 支援多種訊息模型，包括點對點（P2P）模型和釋出/訂閱（Pub/Sub）模型，可以滿足不同場景下的需求。

  6. 豐富的功能：RocketMQ 提供了豐富的功能和特性，包括訊息過濾、延遲訊息、定時訊息、事務訊息等，可以滿足各種複雜的業務場景需求。

  7. 可擴充套件性：RocketMQ 提供了豐富的外掛和擴充套件介面，可以方便地進行定製化開發和擴充套件，以滿足特定業務需求。

RocketMQ 是一個功能豐富、穩定可靠、效能優異的分散式訊息佇列系統，廣泛應用於網際網路、物聯網、大資料等領域，為企業提供了可靠的訊息通訊基礎設施。

為什麼要用 rocketmq 呢？和 kafka/rabbitmq/activemq 等對比有哪些優缺點？

使用 RocketMQ 的原因可以有很多，具體取決於你的業務需求、技術棧以及團隊的偏好。

以下是使用 RocketMQ 的一些常見原因以及與其他訊息佇列系統（如 Kafka、RabbitMQ 和 ActiveMQ）進行對比的優缺點：

為什麼要使用 RocketMQ？

  1. 高可靠性和穩定性：RocketMQ 提供了主從複製、同步刷盤等機制，確保訊息不會丟失，能夠滿足對訊息傳遞可靠性要求較高的場景。

  2. 低延遲：RocketMQ 追求低延遲的設計目標，能夠快速地將訊息傳遞給消費者，適用於對延遲要求較高的業務場景。

  3. 高吞吐量：RocketMQ 透過最佳化網路通訊、儲存和訊息處理等方面的效能，實現了非常高的訊息處理速度，適用於需要處理大量訊息的場景。

  4. 豐富的功能：RocketMQ 提供了豐富的功能和特性，如訊息過濾、延遲訊息、定時訊息、事務訊息等，可以滿足各種複雜的業務場景需求。

  5. Apache 開源專案：RocketMQ 是 Apache 軟體基金會下的頂級專案，具有開放、免費、社群活躍等特點，受到了廣泛的關注和支援。

與其他訊息佇列系統的對比優缺點：

  1. 與 Kafka 對比：

    • 優點：Kafka 在大資料領域有很高的知名度和使用率，適用於大規模資料處理和實時分析等場景。
    • 缺點：相比 Kafka，RocketMQ 更加註重訊息傳遞的可靠性和穩定性，對於一些對訊息可靠性要求更高的場景可能更適合使用 RocketMQ。

  2. 與 RabbitMQ 對比：

    • 優點：RabbitMQ 在 AMQP（高階訊息佇列協議）的支援上更加全面，適用於複雜的訊息傳遞場景，如分散式事務、訊息確認等。
    • 缺點：相比 RabbitMQ，RocketMQ 在分散式部署和水平擴充套件方面更加靈活和簡單，適用於高併發、大規模的訊息傳遞場景。

  3. 與 ActiveMQ 對比：

    • 優點：ActiveMQ 是一個成熟的 JMS（Java 訊息服務）實現，提供了豐富的功能和協議支援，適用於 Java 生態系統中的訊息傳遞場景。
    • 缺點：相比 ActiveMQ，RocketMQ 更加輕量級和高效能，適用於對訊息傳遞效能和穩定性要求較高的場景。

rocketmq 是如何保證訊息不丟失的？

RocketMQ 透過多種機制來確保訊息不會丟失，主要包括以下幾點：

  1. 同步刷盤：RocketMQ 在寫入訊息時採用同步刷盤的方式，即訊息寫入磁碟後會立即返回確認，確保訊息已經被持久化到磁碟。這樣即使在發生伺服器當機等異常情況時，已經持久化到磁碟的訊息不會丟失。

  2. 主從複製：RocketMQ 支援主從複製機制，即一個主節點（Master）可以配置多個從節點（Slave）。當主節點當機時，RocketMQ 會自動選舉其中一個從節點作為新的主節點，從而保證訊息佇列的可用性和資料不丟失。

  3. 資料預寫日誌（WAL）：RocketMQ 使用預寫日誌（Write-Ahead Logging）來記錄訊息的變更操作，確保即使在訊息寫入磁碟過程中出現異常，可以透過重放預寫日誌來恢復資料，從而避免訊息丟失。

  4. 訊息複製和同步：RocketMQ 在訊息傳送過程中會將訊息複製到多個 Broker 節點上，以實現訊息的備份和冗餘，從而提高訊息的可靠性和可用性。同時，RocketMQ 會在 Broker 之間進行訊息同步，確保訊息在不同節點之間的一致性。

  5. 訊息確認機制：RocketMQ 提供了訊息傳送確認機制，即生產者傳送訊息後會等待 Broker 的確認響應，確保訊息已經被成功儲存。只有當 Broker 返回確認響應後，生產者才會認為訊息已經安全傳送，從而避免訊息丟失。

綜合利用以上的機制，RocketMQ 能夠有效地保證訊息不會丟失，並且具有較高的可靠性和穩定性，適用於各種對訊息傳遞可靠性要求較高的場景。

rocketmq 又是如何保證低延遲，高吞吐量的呢、

RocketMQ 透過一系列的設計和機制來保證訊息不丟失、低延遲和高吞吐量。

下面我將詳細解釋：

1. 訊息儲存機制：

  • RocketMQ 使用了類似於日誌的儲存方式，將訊息持久化儲存在磁碟上，以保證即使在服務重啟或者當機後，訊息仍然不會丟失。這種儲存方式也能夠保證訊息的順序性。

2. 主從複製機制：

  • RocketMQ 支援主從複製機制，即每個主題的訊息會在多個 Broker 節點上進行同步複製。當主節點當機或者發生故障時，可以快速切換到備用節點，確保訊息的可靠性和高可用性。

3. 同步刷盤機制：

  • RocketMQ 提供了同步刷盤機制，即生產者在傳送訊息後會等待訊息被同步寫入磁碟之後才返回成功響應，確保訊息不會因為寫入記憶體而丟失。

4. 訊息確認機制：

  • RocketMQ 提供了訊息確認機制，生產者傳送訊息後會等待消費者確認訊息已經成功消費，如果消費者沒有確認，則會進行訊息重試，直到訊息被確認消費或者達到最大重試次數。

5. 最佳化網路通訊和儲存效能：

  • RocketMQ 對網路通訊和儲存進行了最佳化，採用了零複製技術和順序寫入磁碟等方法，提高了訊息傳輸和儲存的效率，從而降低了延遲和提升了吞吐量。

6. 分散式架構和負載均衡：

  • RocketMQ 採用了分散式架構，並且支援多個 Broker 節點，可以根據負載情況進行動態調整，確保訊息能夠快速被路由到可用的節點進行處理，提高了系統的吞吐量和效能。

7. 非同步訊息傳送和批次傳送：

  • RocketMQ 支援非同步訊息傳送和批次傳送，生產者可以將多個訊息打包傳送，減少了網路通訊的開銷，提高了訊息的傳輸效率和吞吐量。

8. 優先順序訊息和快速失敗機制：

  • RocketMQ 支援優先順序訊息和快速失敗機制，可以根據訊息的優先順序進行排序和處理，確保重要訊息能夠優先得到處理，並且在消費者處理失敗時能夠快速進行失敗處理，降低了延遲。

RocketMQ 透過多種機制和最佳化手段，包括訊息儲存、複製機制、同步刷盤、訊息確認、網路通訊和儲存效能最佳化等，來保證訊息不丟失、低延遲和高吞吐量，從而滿足不同業務場景下的需求。

rocketmq 如何保證訊息消費的順序性？

RocketMQ 透過一系列的設計和機制來保證訊息消費的順序性，主要包括以下幾個方面：

  1. 佇列和分割槽機制：

    • RocketMQ 中的每個主題（Topic）都可以包含多個佇列（Queue），而每個佇列可以在不同的 Broker 節點上，這樣可以透過調整佇列數量和分配來達到訊息的有序性。在傳送訊息時，生產者可以選擇將訊息傳送到指定的佇列，從而確保一組相關訊息被順序地儲存在同一個佇列中。

  2. 生產者傳送順序訊息：

    • RocketMQ 提供了傳送順序訊息的功能，生產者可以在傳送訊息時指定訊息的順序關鍵字，RocketMQ 根據這個關鍵字將訊息傳送到同一個佇列中，從而確保一組相關訊息被順序地傳送到 Broker。

  3. 消費者按順序消費：

    • RocketMQ 提供了一種叫做順序消費的方式，消費者可以透過設定訊息消費的方式為順序消費，這樣消費者在處理訊息時會按照訊息的順序進行消費，從而確保訊息的順序性。

  4. 訊息佇列鎖機制：

    • RocketMQ 提供了一種叫做順序訊息佇列鎖（Orderly Message Queue Lock）的機制，在順序消費模式下，會使用佇列鎖來確保同一佇列的訊息不會被多個消費者併發消費，從而保證了訊息的順序性。

  5. 消費者分組機制：

    • RocketMQ 的消費者可以透過消費者分組（Consumer Group）來進行負載均衡和水平擴充套件，同一個消費者分組內的消費者會均衡地消費訊息，而不同分組的消費者則可以並行消費訊息，這樣可以確保不同分組內的訊息消費是有序的。

綜上所述，RocketMQ 透過佇列和分割槽機制、順序訊息傳送、順序消費、訊息佇列鎖機制和消費者分組等方式來保證訊息消費的順序性，從而滿足了對訊息順序性要求較高的業務場景。

本文由部落格一文多發平臺 OpenWrite 釋出！

相關文章