![1.jpeg](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/52299bf7073f4e0189b41905066b942b~tplv-k3u1fbpfcp-zoom-1.image "1.jpeg")

*本文作者：李偉 - Apache RocketMQ Committer，RocketMQ Python客戶端專案Owner ，Apache Doris Contributor，騰訊雲訊息佇列資深開發工程師，著有《RocketMQ分散式訊息中介軟體(核心原理與最佳實踐)》。*

## RocketMqueue101

![2.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/3388e8330e3a48389f8c203d7874678d~tplv-k3u1fbpfcp-zoom-1.image "2.png")

RocketMQ擁有諸多出色的特性：

比如多副本機制，RocketMQ支援儲存層的多副本Dledger，它是基於 Raft 協議的一致性儲存庫，保證能夠從儲存層實現多副本；

比如ACL 鑑權機制，用於確定哪些 producer 能生產、哪些消費者組能消費，以及服務端的訊息過濾；

比如事務訊息，它是 RocketMQ 實現的生產者事務，生產者向 broker 傳送一條事務訊息，由生產者執行本地事務。如果執行成功，則向 broker 端傳送 commit 事件，消費者才能消費；如果本地事務處理失敗，則傳送rollback事件，使消費者無法消費該訊息。

比如Request-Reply ，它是類似於同步 RPC 呼叫的過程，使用者相同的邏輯用訊息來實現，能夠實現同步 RPC 呼叫的過程，可以將呼叫API和傳送訊息兩套邏輯進行統一。

廣播訊息指訊息發出後，訂閱它的所有消費者都能消費到所有例項。負載均衡消費指預設策略下，同一個消費者組的消費者都能平均地消費訊息，具體策略可自行調整。RocketMQ支援Pull、Push和Pop三種消費模式，支援java、go、cpp、python、c#等多種語言。

![3.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/e11b9dd4d0d34f61b5ffc4e5018fb5b9~tplv-k3u1fbpfcp-zoom-1.image "3.png")

搭建RocketMQ叢集的流程如下：

第一步：安裝NameServer叢集。NameServer叢集包含一個或多個NameServer節點。啟動服務時，預設監聽 9876 埠。NameServer叢集搭建好之後，啟動一套Broker叢集。

第二步：搭建Broker叢集，使用經典master-slave部署模式， master 提供讀寫，同時會將資料儲存和後設資料同步一份到 slave 。透過 10912 的 HA 埠做資料同步。

第三步：寫生產者程式碼生產。生產者叢集包含多個生產者例項，透過 broker 的 10911 和 10909 埠向 broker 傳送資料。

第四步：消費者透過 10911 或10909埠向 broker 拉取資料。

生產者或消費者例項啟動時，會先配置NameServer地址，由生產者或消費者從NameServer叢集上拉取topic、Queue和Broker等路由資訊，然後根據路由資訊傳送或拉取訊息。

生產者和消費者均與broker之間存在 channel 連線。如果生產者或消費者長時間沒有與 broker 聯絡，則 broker 會將連線剔除。

![4.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/43c85176ac57444b96d07323b6eecff1~tplv-k3u1fbpfcp-zoom-1.image "4.png")

以下為RocketMQ101相關名詞解析：

生產者包含生產者組和生產者例項。生產者組是若干個生產者例項的組合，且RocketMQ希望同一個生產者組內的例項行為一致。消費者組和消費者例項也同理。行為一致指生產者例項都生產同一種型別的訊息，比如都生產訂單訊息，包括建立訂單、訂單發貨、訂單刪除等步驟。行為一致的好處在於訊息的生產和消費比較規整，不會出現混亂。

Topic 是訊息的分類，為字串形式，可以透過 topic 將某叢集內的全部訊息進行分類，所有 topic 的訊息組成全量的訊息。而Tag 又屬於 topic 的子分類。

消費者在訂閱訊息時，必須先指定topic再指定 tag ，這樣的一條記錄被稱為訂閱關係。如果訂閱關係不一致，則會導致訂閱混亂，發生重複消費或不消費、訊息堆積等情況。

Queue類似於分割槽，但它是邏輯上的概念，並不是物理儲存上的概念。Property類似於 header，property 包含除了主要資訊以外的擴充套件資訊，比如訊息屬於哪個業務 ID、傳送者IP 等。向某個 topic 傳送訊息時，能夠指定 property 。

NameServer中包含 broker 與 cluster 的關係、Queue\ topic 與broker 的關係，即路由資訊。

Broker中包含以下四部分：

①　CommitLog——常規的檔案儲存。RocketMQ 傳送的資料會append到 CommitLog。

②　Consumer queue——消費者在消費 topic 時，topic 中包含多個queue，每一個queue都被稱為 consumer queue，每個消費者對於每個 consumer queue 都存在消費進度。

③　index——在 dashboard 上能夠根據 key 來查詢訊息。

④　Dledger commitlog——由Dledger 儲存庫來管理的 CommitLog，能夠實現多副本。

![5.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/49b3b2f67ad8485582f10540904b25f9~tplv-k3u1fbpfcp-zoom-1.image "5.png")

RocketMQ的生產消費模型十分簡單。如上圖，Topic A 有四個queue，其中 queue1、queue2 在 Master Broker 1 上，queue3、queue4在 Master Broker 2 上。ProducerGroup A 下有兩個生產者例項，分別向兩個 broker 的 queue 傳送訊息。Consumer Group A 也有兩個消費者 consume 1和consume 2。

從四個queue裡取訊息時，每個消費者預設的策略是依次向 queue1、queue2、queue3、queue4 迴圈發訊息，以此最大程度地保證訊息分佈均勻。

消費者的消費模式有負載均衡和廣播消費消費兩種。

負載均衡策略下，比如共有4條queue，則consumer instant1和consumer instant2會分別被分配到2個queue，具體分配到哪兩條需由演算法決定。

廣播消費策略下，假設 topic 有 100 條訊息，則 consumer instance 1 和 consumer instance 2每一個消費者例項都會消費到 100 條訊息，即同消費者組的每個消費者示例都會消費到全量的訊息。

## RocketMQ 生態專案

![6.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a93af1cd5a0a46d6b92bb963890e33a0~tplv-k3u1fbpfcp-zoom-1.image "6.png")

RocketMQ生態專案包含以下幾個部分：

客戶端：客戶端主要分為Java客戶端與非Java客戶端，其中RocketMQ Java 客戶端是最原生的客戶端，與RocketMQ的編寫語言一致，功能也最為齊全。

計算：RocketMQ支援輕量級的預計算，比如輕量級的 ETL。RocketMQ-Flink 能夠直接對接 Flink，方便將RocketMQ資料傳輸到 Flink 做計算，利用 Flink 強大的生態同步到下游多種型別的目的地。RocketMQ-Connect與RocketMQ-Streams是輕量級的計算框架，功能更簡單、輕量，部署運維也更容易。

管控：RocketMQ-Dashboard 擁有簡單穩定且功能強大的管控端，能夠支援常用的運維操作比如修改配置、禁用消費者等。

雲原生：RocketMQ-Docker 支援打包 RocketMQ 原始碼成為Docker image 專案，能夠支援各種不同平臺的打包。RocketMQ-Operator支援RocketMQ上K8s，能夠支援比如重啟程式、下發配置、拉起叢集等操作。

監控：RocketMQ-Exporter目前能夠支援80+指標，可直接匯入到Prometheus做告警和監控。開源專案可透過Prometheus的資料配置 Grafana 做大盤，實現監控能力。此外，Prometheus能夠支援Hook回撥，方便公司使用者將RocketMQ指標監控對接到自己的告警平臺。

![7.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/44a5b84eefe34d4a9a7834d54e262f26~tplv-k3u1fbpfcp-zoom-1.image "7.png")

雲原生是技術行業的趨勢，能夠減少成本、方便運維和管理。RocketMQ新版本實現了儲存計算分離，支援更快速、更方便地上 K8s 。EDA 事件驅動和無服務也是大勢所趨，比如騰訊雲的雲函式、阿里雲的 eventbridge 等產品都是 Serverless、EDA場景，能夠直接整合RocketMQ。微服務領域，RocketMQ也提供了諸多原生支援。

電商、金融等傳統領域正在進行數字化轉型，訊息傳遞、指標、日誌傳遞等需求都能夠利用 Rocket MQ 簡單快速地實現。

總而言之，RocketMQ能夠利用自己強大的生態專案，支援企業各種各樣形態的資料傳輸和計算。

## RocketMQ資料流構建

RocketMQ的資料流構建主要包含訊息、CDC資料流、監控資料流以及湖倉資料流。CDC資料主要負責記錄記錄資料變更，監控資料流包括業務監控和常規監控。

![8.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/2940fff444c547f49c553f652fcbb064~tplv-k3u1fbpfcp-zoom-1.image "8.png")

訊息的構建如上圖所示。

以訂單服務為例，訂單服務收到建立訂單的請求，建立成功後會將訂單的基本資訊透過RocketMQ傳送給 B 服務。假設B服務為簡訊服務消費，由B服務向客戶傳送簡訊通知，包含訂單相關的詳細資訊。

RocketMQ傳送訊息至B服務時，透過重試和死信實現最終一致性，以保證訊息能夠成功傳送給消費者。RocketMQ有 16 次重試機會，且為階梯性重試，能夠持續十幾個小時。

![9.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/dcb32de04b9c4c5282b5b1906ab393cf~tplv-k3u1fbpfcp-zoom-1.image "9.png")

RocketMQ 支援透過Canal/Flink CDC、RocketMQ-collect 的方式，將 Binlog 等資料提供給計算平臺，再由RocketMQ Flink、RocketMQ Streams 等進行輕量級的計算。計算完成後，將結果轉發給下游資料庫比如MySQL、ES、Redis等，進行異構或同構的資料同步。

![10.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/14ab105ebd384423a0635f14e5dbb021~tplv-k3u1fbpfcp-zoom-1.image "10.png")

RocketMQ支援從flume讀取日誌檔案傳送至RocketMQ，再透過 RocketMQ Collect 或RocketMQ Flink等將日誌資料進行消費、ETL 轉換或傳送至 ES 。ES 已與ELK 產品打通，可以在 Kabana上檢視日誌。

除了日誌，RocketMQ能夠在業務系統做後端監控埋點，透過 RocketMQ client 將監控埋點資料發到RocketMQ，再透過RocketMQ Flink 或RocketMQ Streams 消費資料併傳送給業務監控平臺或資料湖倉庫等，生成線上報表或實時報表。

前端監控大部分透過 HTTP 請求傳送至RocketMQ，再透過RocketMQ相關的輕量級計算框架，根據不同訴求將資料彙總至不同的後端，比如 ES 或自建平臺。

![11.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/920c0aa7e1924ce7a3972e784e2c8518~tplv-k3u1fbpfcp-zoom-1.image "11.png")

所有資料都能入到湖倉，因為所有資料都會有資料分析、資料探勘或出統計報表的訴求。比如前後端的監控、 TP 資料庫裡的業務資料、日誌檔案的指標資料或日誌檔案都能透過對應的工具發到 RocketMQ，透過RocketMQ 提供的輕量級計算工具進行計算，然後傳送到下游的 Hive、Doris、Clickhouse 或Hudi等資料庫或資料倉儲，產出報表、實時大盤、實時資料表等。

![12.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0775079f37934fa18dcd09ee0cf3ece2~tplv-k3u1fbpfcp-zoom-1.image "12.png")

RocketMQ 能夠採集各種資料，比如metrics、TP資料、log的資料，然後透過RocketMQ 提供的輕量級計算工具進行計算，最終彙總到同構/異構的資料庫、資料倉儲或資料湖等。

資料構建流程中，RocketMQ 作為中間核心的傳輸鏈路，是否能夠藉助本身的特性避免偶然性的因素影響資料的傳輸？

![13.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c75d7bbf754d4c419db0b25b478134fa~tplv-k3u1fbpfcp-zoom-1.image "13.png")

RocketMQ 的架構十分簡單，而簡單也意味著穩定和可靠。因此，使用RocketMQ 做核心資料鏈路時，其穩定性和可靠效能夠避免很多意外，減少不可控因素。

網路抖動往往無法避免，它可能導致資料丟失，而RocketMQ 能夠透過重試機制保證資料的最終一致。比如訊息只發一半時發生了網路抖動，網路恢復如何保證資料最終能夠被消費者完整地消費？

預設的消費機制下，RocketMQ 有16次重試機會，按階梯重試，重試間隔逐漸增加，最大限度地讓消費者能夠消費到資料。如果 16 次重試後依然沒有消費成功，則訊息會進入死信佇列，由人工介入處理。產生死信訊息後，RocketMQ 能夠產生告警，以快速發現並處理問題。

針對資料丟失，RocketMQ 提供了訊息軌跡，幫助快速定位，找到問題所在。消費者訊息是否成功傳送、 broker 是否儲存成功、消費者是否成功消費到等問題，都可以透過訊息軌跡進行確認。

針對頻寬打滿的問題，RocketMQ提供了服務端過濾的功能。假設Topic內是訪問日誌，將 tag 設為域名，消費者組可以只訂閱某個域名下的訪問日誌，RocketMQ能夠在服務端對訊息進行過濾，再傳送給消費者組。Broker 只會將屬於消費者的域名訊息傳送給消費者，不會傳送所有訊息，因此能節約大量頻寬，可高達80%-90%。

## RocketMQ 5.0

![14.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a6f38875f0f1438fb7c69b01367c03ec~tplv-k3u1fbpfcp-zoom-1.image "14.png")

RocketMQ5.0 架構有兩個重大改變，實現了儲存計算分離以及輕量級客戶端。

儲存和計算分離主要為資料層面，將做儲存和計算的 broker 拆分成了儲存的 broker 和計算的 broker，兩類broker各司其職，分別負責儲存和計算。

此前，RocketMQ的客戶端生態較為豐富，但各個客戶端的功能差異較大，難以實現一致。RocketMQ5.0 徹底地解了該問題，實現了輕量級的基於gRPC的多語言客戶端。RocketMQ5.0 將此前客戶端的重邏輯比如 rebalance 等轉移至由Cbroker負責處理，使客戶端邏輯變得非常輕量，客戶端只剩訊息消費或發訊息呼叫介面，各個語言的邏輯容易統一，相容性更好，不會出現實現方式不同導致邏輯不一致。

RocketMQ5.0 除了儲存和計算分離以外，還實現了資料面和控制面的拆分。控制面主要負責接入，此前只能透過NameServer的方式接入，而現在除了NameServer以外還提供了一種新的透過LB Group的方式接入，更簡單易用。LB Group 能夠方便大家用更簡單的方式接入，邏輯叢集的接入可以透過LB group 來實現，比如哪些客戶端應該連到哪些叢集，這也是NameServer難以實現的能力。一組NameServer會管理一個物理叢集，物理叢集可拆分為多個邏輯叢集，每個邏輯叢集能夠分給不同的租戶使用。

![15.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/4e21c03b34eb41e2802a04e2ce60db38~tplv-k3u1fbpfcp-zoom-1.image "15.png")

Rocket MQ 可以看作是一個通道，通道有上游和下游，且不同行業的上下游不一樣，通道中的資料也不一樣。

網際網路已經涉及到每一個領域，但是垂直領域的發展依然非常欠缺。比如配送網際網路涉及到交通運輸等，需要有交通運輸方面的專家與網際網路技術進行深度結合，才能對配送行業引起深遠廣泛的影響。

未來，我們需要技術人員深耕於某一行業，做出真正適用於行業的優秀的網際網路產品。

當前，RocketMQ已經能夠支援事件和流。工業網際網路行業非常重要的一個元素是IoT事件，它可能來自於各種終端裝置，每天都會產生大量的、持續的事件，這些大量的資料都需要佇列進行傳輸，提供給下游做計算。

因此，RocketMQ未來的發展將著力於事件和流。

![16.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/8d24b472825a49b1b324e2da4642a5cb~tplv-k3u1fbpfcp-zoom-1.image "16.png")

RocketMQ已經推出了 RocketMQ Collect、RocketMQ Flink和RocketMQ streams ，在流計算上逐漸發力，形成了一整套完善的生態，能夠幫助使用者快速構建流式應用。而訊息更是 RocketMQ 的擅長之處，能夠幫助使用者在不同場景的訊息下方便、快速地接入使用。RocketMQ 已經開源了MQTT等協議，使接入裝置更快速方便。

隨著RocketMQ 5.0的釋出，RocketMQ 在處理訊息、事件和流上實現了統一，有了越來越強大的優勢，儲存和計算分離的特性也使其能提供更低的成本，使企業上雲更省錢、更省力，也更省人力。

## 加入 Apache RocketMQ 社群

十年鑄劍，Apache RocketMQ 的成長離不開全球接近 500 位開發者的積極參與貢獻，相信在下個版本你就是 Apache RocketMQ 的貢獻者，在社群不僅可以結識社群大牛，提升技術水平，也可以提升個人影響力，促進自身成長。  
  
社群 5.0 版本正在進行著如火如荼的開發，另外還有接近 30 個 SIG（興趣小組）等你加入，歡迎立志打造世界級分散式系統的同學加入社群，新增社群開發者微信：rocketmq666 即可進群，參與貢獻，打造下一代訊息、事件、流融合處理平臺。

![17.jpeg](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/bb7e4a49ec6d4dab9da27fc4fa11daea~tplv-k3u1fbpfcp-zoom-1.image "17.jpeg")

微信掃碼新增小火箭進群

另外還可以加入釘釘群與 RocketMQ 愛好者一起廣泛討論：

![18.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/6d0b5bf092bd4feaad6503c5539b920f~tplv-k3u1fbpfcp-zoom-1.image "18.png")

釘釘掃碼加群

**關注「A** **pache RocketMQ」公眾號，獲取更多技術乾貨**

大資料生態中的 RocketMQ 5.0

相關文章