*作者：周波*

## Why RocketMQ Connect

在業務系統，或者大資料系統中不同資料來源之間的資料同步是十分常見的，傳統的點對點的資料同步工具，在面臨越來越多的資料來源點對點的資料同步會產生 N*N 的問題，開發成本，維護成本都是非常高的，因為上下游是耦合的，一個資料來源的邏輯調整，也可能會影響多個資料管道之間的資料同步。引入訊息中介軟體將上下游解耦這些問題是不是就迎刃而解了？透過訊息中介軟體上下游的資料來源的處理邏輯相對獨立，但是如果我們直接用 RocketMQ 的生產者消費者來構建資料管道還需要考慮以下挑戰。

1. 異構資料來源越來越多，如何實現任意資料來源的資料同步?

2. 高效能，如何高效的在源資料來源到目的資料來源的資料同步？

3. 高可用，故障處理能力，當一個節點掛掉是否這個節點的任務就停止了，任務重新啟動是否還可以斷點續傳。

4. 彈性擴縮容，是否可以根據系統資料的變動動態的增加減少節點？

5. 叢集監控，運維管理，隨著資料管道的增多，如何管理，運維監控這些資料管道也變的越來越複雜。

我們透過 RocketMQ 的生產者消費者開發一個完整的資料管道是比較簡單的，可能幾天就可以完成，但是如果想一起解決上述這些問題可能需要幾個月才能完成，而且一旦我們完成了這樣一個系統，就會發現，它與 RocketMQ Connect 是一個非常類似的系統，而上述這些問題是 RocketMQ Connect 都已經完美解決的問題。下面將系統化的介紹一下 RocketMQ Connect 是如何解決這些問題的。

## RocketMQ Connect 介紹

### 什麼是 RocketMQ Connect

RocketMQ Connect 是 RocketMQ 資料整合重要元件，可將各種系統中的資料透過高效，可靠，流的方式，流入流出到 RocketMQ，它是獨立於 RocketMQ 的一個單獨的分散式，可擴充套件，可容錯系統，它具備低延時，高靠性，高效能，低程式碼，擴充套件性強等特點，可以實現各種異構資料系統的連線，構建資料管道，ETL，CDC，資料湖等能力。

![1.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/367ef8f746df435991546cf6ead9d70f~tplv-k3u1fbpfcp-zoom-1.image "1.png")

RocketMQ Connect 具備以下優勢：

1. 上下游解耦，因為上下游都是透過 RocketMQ 做資料中轉的，所以上下游系統是非同步解耦的，上下游系統變化不會互相影響，只需要關注與 RocketMQ 的資料同步。

2. 低延遲，流式資料傳輸，秒級甚至毫秒級延遲。

3. 可靠性高，叢集部署，支援 failover，資料可回放。

4. 擴充套件性強，透過 Connect API 可以實現與任意系統之間建立連線。

5. 實現簡單，專注資料複製，無需關注分散式，故障轉移、彈性伸縮等能力。

6. 可伸縮，支援動態擴縮容。

7. 配置化，低程式碼，已經支援的資料來源只需簡單配置就可完成不同資料來源之間的，不支援的資料來源，只需要實現 Connect API 專注資料複製即可快速完成新的資料來源的支援。

### Connector 工作原理

RocketMQ Connect 是一個獨立的的分散式，可伸縮，容錯的系統，它主要為 RocketMQ 提供與各種外部系統的資料的流入流出能力。使用者不需要程式設計，只需要簡單的配置即可使用 RocketMQ Connect，例如從 MySQL 同步資料到 RocketMQ，只需要配置同步所需的 MySQL 的賬號密碼，連結地址，和需要同步的資料庫，表名就可以了。

### Connector的使用場景

-   **構建流式資料管道**

![2.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c53461779d7d4df2bb908527331ce55a~tplv-k3u1fbpfcp-zoom-1.image "2.png")

在業務系統中，利用 MySQL 完善的事務支援，處理資料的增刪改，使用 ElasticSearch，Solr 等實現強大的搜尋能力,或者將產生的業務資料同步到資料分析系統，資料湖中（例如 Hudi），對資料進一步處理從而讓資料產生更高的價值。使用 RocketMQ Connect 很容易實現這樣的資料管道的能力，只需要配置 3 個任務，第一個從 MySQL 獲取資料的任務，第二、三個是從 RocketMQ 消費資料到 ElasticSearch、Hudi 的任務，配置這 3 個任務就實現了從 MySQL 到 ElasticSearch，MySQL 到 Hudi 的兩條資料管道，既可以滿足業務中事務的需求，搜尋的需求，又可以構建資料湖。

**1. 系統遷移**

隨著業務的發展，往往會對舊的系統進行系統最佳化，甚至重構，在新的系統中可能選用新的元件，新的技術框架，舊的系統又無法直接停機將資料遷移到新系統。如何動態的將資料從舊儲存系統遷移到新的儲存系統，例如舊的系統使用的是 ActiveMQ，新的系統選用了 RocketMQ，只需要配置一個從 ActiveMQ 到 RocketMQ 的 Connector 任務即可實時的將舊系統的資料遷移到新系統，實現舊系統的 ActiveMQ 上的資料遷移到新系統 RocketMQ 中，同時也不影響業務，使用者無感知。

**2. CDC**

![3.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/30be8f504cb04b9f905603326b297632~tplv-k3u1fbpfcp-zoom-1.image "3.png")

圖片來源：*<https:>*

CDC 作為 ETL 模式之一，可以透過近乎實時的增量捕獲資料庫的 INSERT、UPDATE，DELETE 變化，RocketMQ Connect 流式資料傳輸，具備高可用，低延時等特性，透過 Connector 很容易實現 CDC。

## 資料的序列化與轉換

前面對 RoketMQ Connect 已經有了基本的介紹，知道 RocketMQ Connect 可以實現很多資料來源之間的資料同步，那麼這些資料在 RocketMQ Connect 中是如何流轉和處理的呢？Converter 和 Transform在資料的序列化和轉換有十分重要的作用，下面介紹下 Converter 和 Transform。

Converter 和 Transform 和 Connector 一樣都屬於 RocketMQ Connect 的外掛，可以使用 RocketMQ Connect 內建的實現，也可以自定義實現個性化的處理邏輯，透過 RocketMQ Connect Worker 外掛載入能力可以將自定義實現載入到 Worker 執行時中，透過簡單的配置既可以使用自定義的外掛。

**Converter：** 轉換器，主要負載資料的序列化和反序列化。Converter 可以將資料和資料的 Schema 進行轉換並且完成序列化，還可以與Schema Registry配合，將 Schema 註冊到 Schema Register 中。

**Transform：** 單訊息轉換，對 Connect 資料物件進行轉換，例如過濾掉不需要的資料, 欄位過濾，替換資料 Key，大小寫轉換等，都可以透過 Transform 進行轉換。

![4.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/f0bebf6135ec458b830fb4426989c37c~tplv-k3u1fbpfcp-zoom-1.image "4.png")

Connector 的資料處理的基本流程，Source Connect 從源資料系統獲取資料封裝成 Connect 標準的資料物件，然後經過 Transform 對單條資料進行轉換，轉換後的資料會經過 Converter，Converter 會將資料和 Schema 處理成支援的格式並進行序列化，如果是支援 Schema Registry，Converter 會將資料的 Schema 註冊到 Schema Registry 中，然後序列化資料，最後將序列化後的資料傳送到 RocketMQ 中。Sink Connect 處理流程是從 RocketMQ Topic 拉取資料，經過資料的反序列化，然後對每條訊息進行轉換，如果配置了 Transform，最後 Connector 將資料寫入到目標儲存。

![5.jpeg](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/2dd93bf028a74ace848a30addd75dfb3~tplv-k3u1fbpfcp-zoom-1.image "5.jpeg")

## RESTful 介面

Connector Worker 節點提供了 RESTful 介面方便 Connector 的建立，停止，配置資訊獲取介面，使用這些介面可以很方便的管理 Connector，只需要呼叫對應的介面帶上對應的配置即可，下面介紹一些常用的介面。

•POST /connectors/{connector name}

•GET /connectors/{connector name}/config

•GET /connectors/{connector name}/status

•POST /connectors/{connector name}/stop

透過這些 API 即可向 Connect Worker 建立 Connector，停止 Connector，查詢 Connector 的配置和狀態。

## Metrics

![6.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/e3f1759fd5494d419fc5b2589babac2a~tplv-k3u1fbpfcp-zoom-1.image "6.png")

可觀測性在許多系統中都扮演著非常重要的作用，它可以幫助觀察系統執行情況，系統是否正常執行，系統的高峰期，空閒期是在什麼時候，幫助對系統進行監控問題定位等等。Worker 提供了豐富的 Metrics 資訊，可以透過 Metrics 觀察到所有 Worker 總的 tps，訊息數量，還可以觀察到每個 task 的 tps，成功處理的數量和處理失敗的數量等等，透過這些 Metrics 資訊可以很方便的運維 Connector。

![7.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/5629bc9b04dd4d54a9a82e6e0932fddf~tplv-k3u1fbpfcp-zoom-1.image "7.png")

將 Metrics 資訊展示在 Prometheus 中是很多系統的選擇，Prometheus 也提供了接入方式，透過實現一個 Prometheus Exporter 即可，新增或者修改 Metrics 修改這個 Exporter 即可，這是一種將 Metrics 接入 Prometheus 的方式。透過 RocketMQ Connect 可以提供一種新的接入方式，實現一個通用的 Sink Prometheus Connector，Source Connector 是獲取 Metrics 所需的 Connector，例如 RocketMQ 和 RocketMQ Connect 的 Metrics 資訊都寫在了檔案裡，那麼獲取 Metrics 的 Connector 就是 SFTP Source Connector，這樣就可以將 Metrics 資訊透過 Connector 的方式接入 Prometheus。

## Connector 資料質量

RocketMQ Connect 和 RocketMQ 一樣，實現了 at least once 的語義，即保障至少一次。Source Connector 傳送訊息到 RocketMQ 失敗，producer 會重試，如果重試失敗，可以選擇跳過，還是停止任務，可以透過配置進行選擇。Sink Connector 拉取訊息同樣會重試，並且在重試達到一定次數時會將訊息傳送到死信佇列，進而保障訊息不丟失。

## Connector 部署

在建立 Connector 時，一般是透過配置完成的，Connector 一般包含邏輯的 Connector 聯結器和執行資料複製的 Task 即物理執行緒，如下圖所示，兩個 Connector 聯結器和它們對應的執行 Task 任務。

![8.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/fa07abd009714e3294634b2996dc7ff9~tplv-k3u1fbpfcp-zoom-1.image "8.png")

一個 Connector 也可以同時執行多個任務，提高 Connector 的並行度，例如下圖所示的 Hudi Sink Connector 有 2 個任務，每個任務處理不同的分片資料，從而增加 Connector 的並行度，進而提高處理效能。

![9.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/3176fe0cb6a54e0aae6739068ea415ba~tplv-k3u1fbpfcp-zoom-1.image "9.png")

RocketMQ Connect Worker 支援兩種執行模式，叢集和單機叢集模式，顧名思義，有多個 Worker 節點組成，推薦最少有 2 個 Worker 節點，組成高可用叢集。叢集間的配置資訊，offset 資訊，status 資訊透過指定 RocketMQ Topic 儲存，新增 Worker 節點也會獲取到叢集中的這些配置，offset，status 資訊，並且觸發負載均衡，重新分配叢集中的任務，使叢集達到均衡的狀態，減少 Woker 節點或者 Worker 當機也會觸發負載均衡，從而保障叢集中所有的任務都可以均衡的在叢集中存活的節點中正常執行。

![10.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/5369850d1f504c6591770fd4fbe31329~tplv-k3u1fbpfcp-zoom-1.image "10.png")

單機模式，Connector 任務執行在單機上，Worker 本身沒有高可用，任務 offset 資訊持久化在本地。適合一些對高可沒有什麼要求或者不需要 Worker 保障高可用的場景，例如部署在 K8s 叢集中，由 K8s 叢集保障高可用。

![11.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/55fb3f3b564a429180eeec2451f5dac2~tplv-k3u1fbpfcp-zoom-1.image "11.png")

## Connector 原理

### 概念

-   **Connector**

聯結器，定義資料從哪複製到哪，是從源資料系統讀取資料寫入 RocketMQ，這種是 SourceConnector，或從 RocketMQ 讀資料寫入到目標系統,這種是 SinkConnector。Connector 決定需要建立任務的數量，從Worker 接收配置傳遞給任務。

-   **Task**

是 Connector 任務分片的最小分配單位，是實際將源資料來源資料複製資料到RocketMQ（SourceTask），或者將資料從 RocketMQ 讀取資料寫入到目標系統（SinkTask）真正的執行者，Task 是無狀態的可以動態的啟停任務，多個 Task 是可以並行執行的，Connector 複製資料的並行度主要體現在 Task 數量上。

![12.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/2cc8c5059cf84a1387a691eca887ce3f~tplv-k3u1fbpfcp-zoom-1.image "12.png")

透過 Connect 的 API 也可以看到 Connector 和 Task 各自的職責，Connector 實現時就已經確定資料複製的流向，Connector 接收資料來源相關的配置，taskClass 獲取需要建立的任務型別，透過 taskConfigs 指定最大任務數量，並且為 Task 分配好配置。Task 拿到配置以後從資料來源取資料寫入到目標儲存。透過下面的兩張圖可以清楚的看到，Connector 和 Task 處理基本流程。

![13.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/9aff3d3e875d43489fe0b83c88953abe~tplv-k3u1fbpfcp-zoom-1.image "13.png")

-   **Worker**

Worker 程式是 Connector 和 Task 執行環境，它提供 RESTful 能力，接受 HTTP 請求，將獲取到的配置傳遞給 Connector 和 Task。除此之外它還負責啟動 Connector 和 Task，儲存 Connector 配置資訊，儲存 Task 同步資料的位點資訊，負載均衡能力，Connect 叢集高可用，擴縮容，故障處理主要依賴 Worker 的負責均衡能力實現的。

![15.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/44ecb0386d1b4fa18217130c19b1eb71~tplv-k3u1fbpfcp-zoom-1.image "15.png")

從上面這張圖，看到 Worker 透過提供的 REST API 接收 http 請求，將接收到的配置資訊傳遞給配置管理服務，配置管理服務將配置儲存到本地並同步給其它 Worker 節點，同時觸發負載均衡。

從下面這張圖可以看到 Connect 叢集中多個 Worker 節點負載均衡後在各自節點啟動 Connector 和 Task 的情況。

![16.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/eba5b4212eb34b9cba947373bb000b76~tplv-k3u1fbpfcp-zoom-1.image "16.png")

### Worker叢集的服務發現

****學習和使用 RocketMQ 的時候，我們知道 NameSrv 是 RocketMQ 服務註冊與發現的重要元件，具備簡單輕量易運維等特性。透過前面 Connector 部署方式的介紹，RocketMQ Connect Worker 是可以叢集方式部署的，那麼 Worker 節點之間的服務發現是如何實現的呢？Worker 的服務發現是否依賴外部元件?

在使用一項技術或者中介軟體的時候，儘量少的依賴額外的元件，這對系統的穩定性，可維護性都非常重要，學習成本也會低一些，這也很容易理解，如果多依賴一個元件，就需要多維護一個，學習成本和後期維護成本就會越高。RocketMQ Connect 也是這個原則，儘量少或者不依賴額外的外部元件。透過前面對 RocketMQ Connect 的介紹我們知道 RocketMQ Connect 是 RocketMQ 資料整合，資料流入流出的重要元件，所以 RocketMQ Connect 的執行是依賴一個 RocketMQ 叢集的，能否利用RocketMQ的特性實現 Worker 的服務發現呢？答案是肯定的。透過 RocketMQ 客戶端有消費客戶端變化通知機制，只需要在每個 Worker 啟動一個消費者，設定相同的 ConsumerGroup，註冊監聽 NOTIFY_CONSUMER_IDS_CHANGED 事件即可，增加或減少 Worker 節點就會觸發 NOTIFY_CONSUMER_IDS_CHANGED 事件，監聽到這個事件就可以觸發 Worker 叢集的負責均衡，透過 RocketMQ 客戶端介面既可以獲取所有 Worker 對應的客戶端標識，最後根據線上的客戶端和任務進行負載均衡。

![17.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/3e646dfe26dd4216bcc54ee74f1be066~tplv-k3u1fbpfcp-zoom-1.image "17.png")

### 配置同步

Topic 的訂閱消費分為兩種，叢集消費，廣播消費，不過不同的客戶端使用不同的 ConsumerGroup 也可以達到廣播消費的目的，RocketMQ Connect Worker 之間後設資料的同步就是根據這種原理實現的。所有的 Worker 節點訂閱相同的 Topic（connector-config-topic），每個 Worker 節點使用不同的 consumerGroup，這樣就可以實現廣播的方式消費同一個 Topic，每個 Worker 節點只需要配置發生變化時向 connector-config-topic 傳送配置資訊，即可實現各個 Worker 節點間的配置同步。

![18.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/4f6abf65a1fe4e949f12fdcbd75a4b31~tplv-k3u1fbpfcp-zoom-1.image "18.png")

### 位點同步

位點同步與配置同步類似只是使用的是不同的 Topic 和 consumerGroup服務發現與配置/位點管理：

![19.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/3882288d851d4a12835ada98bdfd906c~tplv-k3u1fbpfcp-zoom-1.image "19.png")

Connector 配置管理和 Task 任務的位點管理是類似的，除了需要將配置和位點資訊持久化到本地，還會將配置和位點資訊同步給叢集的其它 Worker 節點，這個同步方式也是透過所有 Worker 節點訂閱相同的 Topic，使用不同的 consumerGroup 實現的。

### 負載均衡

Connect 的負載均衡和 RocketMQ 消費端負載均衡是類似的。都是在每個節點上執行相同的負載均衡演算法，只不過負載均衡的物件不一樣，RocketMQ 消費端負載均衡是相同 ConsumerGroup 消費端與 MessageQueue 之間負載均衡，Connect 是 Worker 節點與 Connector，Worker 節點與 Task 之間的負載均衡，不過邏輯是類似的，負載均衡演算法獲取到所有 Worker 和所有的 Connector，Task，並對這些資訊排序，根據當前 Worker 節點在排序中所有 Worker 的位置，排序後的 Connector，Task 位置與當前的 Worker 位置取模，就可以為當前 Worker 節點分配好需要執行那些 Connector 和那些 Task，然後 Worker 在本節點啟動這些 Connector 和 Task。

Worker 擴縮容，Worker 當機，新增 Connector 配置都會觸發重新分配，因此 Worker 叢集是彈性的可以故障處理，動態擴縮容的。

![20.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/cbf3f3f6d6a84802b49b65c24dcba210~tplv-k3u1fbpfcp-zoom-1.image "20.png")

### Connector外掛載入

Worker 載入 Connector 外掛 jar 包類似於 Tomcat 載入 War 包。Tomcat 載入 War 包並不會像 jvm 載入類一樣使用雙親委派模型對類進行載入，而是使用自定義的 ClassLoader 載入類，使用不同的 ClassLoader 載入不同的 War 包的不同的類。這樣可以避免不同的 War 包中引用相同的 jar 包因為版本的不同各種包引用問題，Worker 也是一樣，在載入不同的類外掛時為其建立單獨的 ClassLoader，從而避免相同的類，因為不同 War 包引用相同 jar，並且版本不同而導致的各種包引用問題，在類載入方面 Worker 像一個分散式的 Tomcat。

## 動手實現 Connector

瞭解了 RocketMQ Connect 的實現原理，下面看一下如何自己實現一個 Connector。看下面這個場景：

![21.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/10d23283c4534534b2952650fb7ddb9f~tplv-k3u1fbpfcp-zoom-1.image "21.png")

業務資料寫入到 MySQL，然後同步到 Hudi，透過 Hudi 構建資料湖，這個跟我們開頭講到的場景比較相似。透過 Connector 如何實現這個流程?

透過前面的介紹，應該清楚，需要實現兩個 Connector，一個是從 MySQL 到 RocketMQ 的 SourceConnector，第二個是從 RocketMQ 讀資料寫入到 Hudi 的 Sink Connector。

![22.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/d4fb6c0cc2934607b1e07bdaa1c9b2e8~tplv-k3u1fbpfcp-zoom-1.image "22.png")

以 MySqlSourceConnector 為例介紹如何自己寫一個 Connector。

![23.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/38997163af104afa9eba087918bab788~tplv-k3u1fbpfcp-zoom-1.image "23.png")

首先要實現一個 SourceConnector，實現類 MySqlConnectorImpl 繼承 SourceConnector 介面,實現配置初始化，taskClass，taskConfigs 等介面。taskClass 方法指定建立 MySqlTask，taskConfigs 將接收到的 Connector 配置並分好每個 Task 配置，這些配置包含連線 MySql 例項相關的賬號，密碼，address，port 等。Worker 啟動 MySqlTask 並將配置傳給 MySqlTask，MySqlTask 建立到 MySql 例項的連結並獲取 MySql Binlog，解析 Binlog，並將解析的資料封裝成 ConnectRecord 放到 BlockingQueue，poll 介面從 BlockingQueue 中取資料返回。這樣就實現了一個 Connector。

![24.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/808f7e04cc854eddae0516bfb5accd92~tplv-k3u1fbpfcp-zoom-1.image "24.png")

將寫好的 Connector 打包放到 Worker 指定目錄載入到 Worker 程式，透過請求 Worker http 介面建立 MySqlSourceConnector。Worker 啟動 MysqlConnector，透過 MySqlConnector taskClass 獲取 MySqlTask 並啟動 Task，WorkerSourceTask 從 poll 介面獲取資料，然後把獲取到的資料透過 Producer 傳送到 RocketMQ，這樣就完成了 MySql 到 RocketMQ 的資料同步的 Connector。

## Connector 現狀與未來

![25.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/85508ab79ad0484792a831da932b7f7d~tplv-k3u1fbpfcp-zoom-1.image "25.png")

CDC 方面已與 debezium 完成適配，jdbc 標準協議也已支援並且在此基礎上與 openmldb 社群合作開發了與面向機器學習資料庫 openmldb 的 Connector，資料湖方面與 Hudi 也建立了連結，不久的將來還會與 Doris，clickhouse，es 等流行的儲存建立連線，如果有熟悉的的儲存，每個人都可以透過 OpenMessaging Connect API 開發一個 RocketMQ 聯結器。

![26.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a28d52ccf0004729b6cdda4719067cd9~tplv-k3u1fbpfcp-zoom-1.image "26.png")

提到 OpenMessaging Connect API，簡單介紹一下 OpenMessaging，OpenMessaging 是 Linux 基金會下一個開源組織，致力於制定訊息領域的標準，除了 OpenMessaging Connect Api 還有儲存方面的標準 OMOI，壓測方面的標準 OMBI，流計算方面的標準 OMS 等等。

## Connector Tutorial

### QuickStart

*<https:>*

### RocketMQ Connect & OpenMLDB

OpenMLDB 是一個開源機器學習資料庫，提供線上線下一致的生產級特徵平臺。透過與 OpenMLDB 社群合作，RocketMQ 與機器學習資料庫 OpenMLDB 建立連線。

![27.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c721a7301bdc45dfaf59745528997dc3~tplv-k3u1fbpfcp-zoom-1.image "27.png")

### RocketMQ Connect & Debezium

*[https://mp.weixin.qq.com/s/YNjylhmo1IlvAEKwpjjMkg](https://mp.weixin.qq.com/s?__biz=Mzg2NDcxMzgzMA==&mid=2247484899&idx=1&sn=79179deb00ad89a20d823d9f23fcecbb&scene=21#wechat_redirect)*

## 總結

本文介紹了 RocketMQ Connect 的概念，然後講解了 RocketMQ Connect 的實現原理，對服務發現，配置同步，位點同步，負載均衡都有了初步的介紹，接著以 MySqlSourceConnector 為例講解了如何自己實現一個 Connector，最後對 Connect API 和生態做了一些介紹，提供了一些 RocketMQ Connect 相關的上手教程，希望本文對學習 RocketMQ Connect 有幫助，更希望感興趣的同學能參與進來一起貢獻社群，實現一個自己熟悉的儲存系統到 RocketMQ 的 Connector。

*作者介紹：*

*周波，阿里雲智慧高階開發工程師， Apache RocketMQ Committer 。*

## *參考連結：*

*rocketmq-connect*

*<https:>*

*api*

*<https:>*

## *加入 Apache RocketMQ 社群*

十年鑄劍，Apache RocketMQ 的成長離不開全球接近 500 位開發者的積極參與貢獻，相信在下個版本你就是 Apache RocketMQ 的貢獻者，在社群不僅可以結識社群大牛，提升技術水平，也可以提升個人影響力，促進自身成長。

社群 5.0 版本正在進行著如火如荼的開發，另外還有接近 30 個 SIG（興趣小組）等你加入，歡迎立志打造世界級分散式系統的同學加入社群，新增社群開發者微信：rocketmq666 即可進群，參與貢獻，打造下一代訊息、事件、流融合處理平臺。

加入釘釘群與 RocketMQ 愛好者一起廣泛討論：

![28.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/5928a8c14d4347caac65bfc3f353fad2~tplv-k3u1fbpfcp-zoom-1.image "28.png")</https:></https:></https:></https:>

讓資料流動起來，RocketMQ Connect 技術架構解析

相關文章