*作者：昶風*

## 引言

CDC（Change Data Capture）指的是監聽上游資料變更，並將變更資訊同步到下游業務以供進一步處理的一種應用場景。近年來事件驅動架構（EDA）熱度逐步上升，日漸成為專案架構設計者的第一選擇。EDA 天然契合 CDC 的底層基礎架構，其將資料變更作為事件，各個服務透過監聽自己感興趣的事件來完成一些列業務驅動。阿里雲 EventBridge 是阿里雲推出的一款無伺服器事件匯流排服務，能夠幫助使用者輕鬆快捷地搭建基於 EDA 架構的應用。近期，EventBridge 事件流已經支援了基於阿里雲 DTS **[** **1]** 服務的 CDC 能力。本文將從 CDC、CDC 在 EventBridge 上的應用以及若干最佳實踐場景等方面，為大家介紹如何利用 EventBridge 輕鬆構建 CDC 應用。

## CDC 概述

### 基本原理與應用場景

CDC 從源資料庫捕獲增量的資料以及資料模式變更，以高可靠、低延時的資料傳輸將這些變更有序地同步到目標資料庫、資料湖或者其他資料分析服務。目前業界主流的開源 CDC 工具包括 Debezium **[2** **]** 、Canal **[3** **]** 以及 Maxwell **[4** **]** 。

![1.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/2d779a70f72c42ca940ee6a630bdec22~tplv-k3u1fbpfcp-zoom-1.image "1.png")

圖片來源：<https:>

目前業界主要有以下幾類 CDC 的實現：

**1. 基於時間戳或版本號**

基於時間戳的方式要求資料庫表有一個欄位代表更新時間戳，當存在資料插入或更新時，對應時間戳欄位就會隨之更新。CDC 元件週期性檢索更新時間大於上次同步時間的資料記錄，即可捕獲本週期內資料的變更。基於版本號跟蹤和基於時間戳跟蹤原理基本一致，要求開發者變更資料時必須更新資料的版本號。

**2. 基於快照**

基於快照的 CDC 實現在儲存層面使用到了資料來源 3 份副本，分別是原始資料、先前快照和當前快照。透過對比 2 次快照之間的差異來獲取這之間的資料變更內容。

**3. 基於觸發器**

基於觸發器的 CDC 實現方式事實上是在源表上建立觸發器將對資料的變更操作（INSERT、UPDATE、DELETE）記錄儲存下來。例如專門建立一張表記錄使用者的變更操作，隨後建立 INSERT、UPDATE、DELETE 三種型別的觸發器將使用者變更同步到此表。

**4. 基於日誌**

以上三種方式都對源資料庫存在一定侵入性，而基於日誌的方式則是一種非侵入性的 CDC 方式。資料庫利用事務日誌實現災備，例如 MySQL 的 binlog 就記錄了使用者對資料庫的所有變更操作。基於日誌的 CDC 透過持續監聽事務日誌來實時獲取資料庫的變化情況。

CDC 的應用場景廣泛，包括但不限於這些方面：異地機房資料庫同步、異構資料庫資料同步、微服務解耦、快取更新與 CQRS 等。

### 基於阿里雲的 CDC 解決方案：DTS

資料傳輸服務 DTS（Data Transmission Service）是阿里雲提供的實時資料流服務，支援關係型資料庫（RDBMS）、非關係型的資料庫（NoSQL）、資料多維分析（OLAP）等資料來源間的資料互動，集資料同步、遷移、訂閱、整合、加工於一體。其中，DTS 資料訂閱 **[** **5** **]** 功能可以幫助使用者獲取自建 MySQL、RDS MySQL、Oracle 等資料庫的實時增量資料。

![2.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/b23acfd44fb1487dbc50c16664ad6ac2~tplv-k3u1fbpfcp-zoom-1.image "2.png")

## CDC 在EventBrige上的應用

阿里雲 EventBridge 提供了事件匯流排 **[6** **]** 與事件流 **[7** **]** 2 款不同應用場景的事件路由服務。

事件匯流排底層擁有事件的持久化能力，可以按照需要將事件路由到多個事件目標中。

事件流適用於端到端的流式資料處理場景，對源端產生的事件實時抽取、轉換和分析並載入至目標端，無需建立事件匯流排，端到端轉儲效率更高，使用更輕便。

為了更好地支援使用者在 CDC 場景下的需求，EventBridge 在事件流源端支援了阿里雲 DTS 的資料訂閱功能，使用者僅需簡單配置，即可將資料庫變更資訊同步到 EventBridge 事件流。

![3.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ad535b9dbff84ee6a63e497284ce06d1~tplv-k3u1fbpfcp-zoom-1.image "3.png")

EventBridge 定製了基於 DTS sdk 的 DTS Source Connector。當使用者配置事件提供方為 DTS 的事件流時，source connector 會實時地從 DTS 服務端拉取 DTS record 資料。資料拉取到本地後，會進行一定的結構封裝，保留 id、operationType、topicPartition、beforeImage、afterImage 等資料，同時增加 streaming event 所需要的一些系統屬性。

DTS Event 樣例可參考 EventBridge 官方文件

![4.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/f390bba7b6a04ab78143c8d7e39ce624~tplv-k3u1fbpfcp-zoom-1.image "4.png")

EventBridge Streaming 保證了 DTS 事件的順序性，但存在事件重複投遞的可能性，EventId 在保證了和每條 DTS record 的一一對映關係，使用者可依據此欄位來對事件做冪等處理。

### 建立源為 DTS 的 EventBridge 事件流

下面展示如何在 EventBridge 控制檯建立源為 DTS 的事件流

-   **前期準備**

1. 開通 EventBridge 服務；

2. 建立 DTS 資料訂閱任務；

3. 建立用於消費訂閱資料的消費組賬號資訊。

-   **建立事件流**

1. 登陸 EventBridge 控制檯，點選左側導航欄，選擇“事件流”，在事件流列表頁點選“建立事件流”；

2. “基本資訊”中“事件流名稱”與“描述”按照需要填寫即可；

3. 在建立事件流，選擇事件提供方時，下拉框選擇“資料庫 DTS”；

4. 在“資料訂閱任務”一欄中選擇已建立的 DTS 資料訂閱任務。在消費組一欄，選擇要使用哪個消費組消費訂閱資料，同時填寫消費組密碼與初始消費時間。

![5.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/9110ff67266441718f89c1c0391d2feb~tplv-k3u1fbpfcp-zoom-1.image "5.png")

5. 事件流規則與目標按照需要填寫，儲存啟動即可建立以 DTS 資料訂閱為事件源的事件流。

![6.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ff8941887ca54c4e8dd50533fe346ac4~tplv-k3u1fbpfcp-zoom-1.image "6.png")

### 注意事項

使用時有以下幾點需要注意：

1. EventBridge 使用的是 SUBSCRIBE 消費模式 **[8** **]** ，所以請保證當前 DTS 消費組沒有其他客戶端例項在執行。如果設定的消費組在之前有執行，則傳入的位點失效，會基於此消費組上次消費過的位點繼續消費；

2. 建立 DTS 事件源時傳入的位點僅在新消費組第一次執行時起效，後續任務重啟後會基於上次消費位點繼續消費；

3. EventBridge 事件流訂閱 OperationType 為 INSERT、DELETE、UPDATE、DDL 型別的 DTS 資料；

4. 使用 DTS  事件源可能會有訊息重複，即保證訊息不丟，但無法保證僅投遞一次，建議使用者做好冪等處理；

5.使用者如果需要保證順序消費，則需要將異常容忍策略設定為“NONE”，即不容忍異常。在這種情況下，如果事件流目標端消費訊息異常，整個事件流將暫停，直至恢復目標端正常。

## 最佳實踐示例

### 基於EventBridge 實現 CQRS

在 CQRS（Command Query Responsibility Segregation）模型中，命令模型用於執行寫以及更新操作，查詢模型用於支援高效的讀操作。讀操作和寫操作使用的資料模型存在一定區別，需要使用一定方式保證資料的同步，基於 EventBridge 事件流的 CDC 可以滿足這樣的需求。

基於雲上服務，使用者可以使用如下方式輕鬆構建基於 EventBridge 的 CQRS：

1. 命令模型運算元據庫進行變更，查詢模型讀取 elasticsearch 獲取資料；

2. 開啟 DTS 資料訂閱任務，捕獲 DB 變更內容；

3.配置 EventBridge 事件流，事件提供方為 DTS 資料訂閱任務，事件接收方為函式計算 FC；

4. FC 中的服務即為更新 elasticsearch 資料操作。

![7.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ad7424459a4549b8b6703eace9e88148~tplv-k3u1fbpfcp-zoom-1.image "7.png")

### 微服務解耦

CDC 也可以用於微服務解耦。例如下文是一個電商平臺的訂單處理系統，當有新建的未付款訂單產生時，資料庫會有一條 INSERT 操作，而當某筆訂單狀態由“未付款”變為“已付款”時，資料庫會有一條 UPDATE 操作。根據訂單狀態變化的不同，後端會有不同的微服務來對此進行處理。

1. 使用者下單/付款，訂單系統進行業務處理，將資料變更寫入 DB；

2. 新建 DTS 訂閱任務捕獲 DB 資料變更；

3. 搭建 EventBridge 事件流。事件提供方為 DTS 資料訂閱任務，事件接收方為 RocketMQ；

4. 在消費 RocketMQ 資料時，同一個 topic 下啟用 3 個 group 代表不同的業務消費邏輯；

a. GroupA 將捕獲到的 DB 變更使用者快取更新，便於使用者查詢訂單狀態；

b. GroupB 下游關聯財務系統，僅處理新建訂單，即處理 DB 操作型別為 INSERT 的事件，丟棄其餘型別事件；

c. GroupC 僅關心訂單狀態由“未付款”變為“已付款”的事件，當有符合條件事件到達時，呼叫下游物流、倉儲系統，對訂單進行進一步處理。

如果採用介面呼叫方式，那麼使用者在下單之後訂單系統將分別需要呼叫快取更新介面、新建訂單介面以及訂單付款介面，業務耦合性過高。除此之外，這種模式使得資料消費端不用擔心上游訂單處理介面返回內容的語義資訊，在儲存模型不變的情況下，直接從資料層面判斷此次資料變更是否需要處理以及需要怎樣的處理。同時，訊息佇列天然的訊息堆積能力也可以幫助使用者在訂單峰值到來時實現業務削峰填谷。

事實上，目前 EventBridge Streaming 支援的訊息產品還包括 RabbitMQ、Kafka、MNS 等，在實際操作中使用者可以根據自己的需要進行選擇。

![8.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/9b6d1f033e8045f99331ad3f6a978882~tplv-k3u1fbpfcp-zoom-1.image "8.png")

### 資料庫備份&異構資料庫同步

資料庫災備和異構資料庫資料同步也是 CDC 重要的應用場景。使用阿里雲 EventBridge 亦可以快速搭建此類應用。

1. 新建 DTS 資料訂閱任務，捕獲使用者 MySQL 資料庫變更；

2. 搭建 EventBridge 事件流，事件提供方為 DTS 資料訂閱任務；

3. 使用 EventBridge 在目的資料庫執行指定 sql，實現資料庫備份；

4. 資料變更事件投遞到函式計算，使用者業務根據資料變化內容更新對應異構資料庫。

![9.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/51b0e7fd4a88481ca4c8c37ed5279160~tplv-k3u1fbpfcp-zoom-1.image "9.png")

### 自建 SQL 審計

對於使用者有自建 SQL 審計的需求，使用 EventBridge 也可以輕鬆實現。

1. 新建 DTS 資料訂閱任務，捕獲資料庫變更；

2. 搭建 EventBridge 事件流，事件提供方為 DTS，事件接收方為日誌服務 SLS；

3. 使用者需要對 SQL 進行審計時，透過查詢 SLS 進行。

![10.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/502e7b37b8784ed893f288fab50bf24e~tplv-k3u1fbpfcp-zoom-1.image "10.png")

## 總結

本文介紹了 CDC 的一些概念、CDC 在 EventBridge 上的應用以及若干最佳實踐場景。隨著支援產品的不斷增加，EventBridge 所承載的生態版圖也不斷擴大，從訊息生態到資料庫生態，從日誌生態到大資料生態，EventBridge 不斷擴大其適用領域，鞏固雲上事件樞紐的地位，此後也將按照這個方向繼續發展，技術做深，生態做廣。

***參考連結：***

*[1] DTS：*

*<https:>*

*[2] Debezium：*

*<https:></https:>*

*[3] Canal：*

*<https:>*

*[4] Maxwell：*

*<https:>*

*[5] DTS 資料訂閱：*

*<https:>*

*[6] 事件匯流排：*

*<https:>*

*[7] 事件流：*

*<https:>*

*[8] SUBSCRIBE 消費模式：*

*<https:>*

感興趣的小夥伴們可以掃描下方二維碼加入釘釘群討論（群號：44552972）

![11.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/692aed2d89bc4786aa355bb0d8d3f7d3~tplv-k3u1fbpfcp-zoom-1.image "11.png")

點選[此處](https://www.aliyun.com/product/aliware/eventbridge)，進入 EventBridge 官網瞭解更多資訊～</https:></https:></https:></https:></https:></https:></https:></https:>

融合資料庫生態：利用 EventBridge 構建 CDC 應用

相關文章