CDC （Change Data Capture，即變更資料捕獲）能夠幫助您監測並捕獲資料庫的變動。包括資料或資料表的插入、更新和刪除等。CDC 將這些變更按發生的順序完整記錄下來，寫入到訊息中介軟體中，以供其他服務進行訂閱及消費。您可用 CDC 提供的資料做歷史庫、近實時快取、提供給訊息佇列（MQ），使用者消費 MQ 做分析和審計等。

Flink CDC (CDC Connectors for Apache Flink) 是 Apache Flink 的一組 Source 聯結器，它支援從大多資料庫中實時地讀取存量歷史資料和增量變更資料。 Flink CDC 能夠將資料庫的全量和增量資料同步到訊息佇列和資料倉儲中。Flink CDC 也可以用於實時資料整合，您可以使用它將資料庫資料實時匯入資料湖或者資料倉儲。同時，Flink CDC 還支援資料加工，您可以透過它的 SQL Client 對資料庫資料做實時關聯、打寬、聚合，並將結果寫入到各種儲存中。藉助 Flink OceanBase CDC 聯結器，您可以使用 SQL DDL 建立一個 CDC 源來監控單個表的變化。您也可以在沒有部署 Debezium 和 Apache Kafka 的情況下，在一個作業中消費多個資料庫和表的變化。在沒有 Flink OceanBase CDC 聯結器之前，您不能做實時資料的多流 JOIN。

OceanBase 資料庫的 CDC 元件主要有：obcdc（原 liboblog）、oblogmsg、oblogproxy 和oblogclient。各元件功能見下表：

元件名 | 型別 | 依賴元件 | 作用
----  | ----- | ---- | ----
obcdc（原liboblog） | C++ 依賴庫 | 無 | 順序拉取增量日誌
oblogmsg | C++ 依賴庫 | 無 | 解析增量日誌格式
oblogproxy | C++ 服務 | obcdc 和 oblogmsg | 拉取增量日誌
oblogclient | Java 依賴庫 | 連線 oblogproxy 獲取增量日誌

本文介紹如何使用 Flink OceanBase CDC 聯結器。本文將以 Elasticsearch 為目標資料來源，演示如何將資料從 OceanBase 資料庫遷移至 Elasticsearch。

## 特性

### At-Least-Once 處理

OceanBase CDC 聯結器是一個 Flink Source 聯結器。它將首先讀取資料庫快照，然後再讀取變化事件，並進行 **At-Least-Once 處理**。

OceanBase 資料庫是一個分散式資料庫，它的日誌也分散在不同的伺服器上。由於沒有類似 MySQL binlog 偏移量的位置資訊，OceanBase 資料庫用時間戳作為位置標記。為確保讀取完整的資料，liboblog（讀取 OceanBase 日誌記錄的 C++ 庫）可能會在給定的時間戳之前讀取一些日誌資料。因此，OceanBase 資料庫可能會讀到起始點附近時間戳的重複資料，從而保證了 **At-Least-Once 處理**。

### 啟動模式

配置選項 `scan.startup.mode` 指定 OceanBase CDC 聯結器的啟動模式。可用取值包括：

- initial（預設）：在首次啟動時對受監視的資料庫表執行初始快照，並繼續讀取最新的事務日誌。
- `latest-offset`：首次啟動時，不對受監視的資料庫表執行快照，僅從聯結器啟動時讀取事務日誌。
- `timestamp`：在首次啟動時不對受監視的資料庫表執行初始快照，僅從指定的 `scan.startup.timestamp` 讀取事務日誌。

### 消費事務日誌

OceanBase CDC 聯結器使用 [oblogclient](https://github.com/oceanbase/oblogclient) 消費 oblogproxy 中的事務日誌。

### DataStream Source

OceanBase CDC 聯結器也可以作為 DataStream Source 使用。您可以建立一個 SourceFunction，例如：

```java
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.source.SourceFunction;
import com.ververica.cdc.connectors.oceanbase.OceanBaseSource;
import com.ververica.cdc.connectors.oceanbase.table.OceanBaseTableSourceFactory;
import com.ververica.cdc.connectors.oceanbase.table.StartupMode;
import com.ververica.cdc.debezium.JsonDebeziumDeserializationSchema;

public class OceanBaseSourceExample {

public static void main(String[] args) throws Exception {
 SourceFunction<string> oceanBaseSource =
 OceanBaseSource.<string>builder()
 .rsList("127.0.0.1:2882:2881") // set root server list
 .startupMode(StartupMode.INITIAL) // set startup mode
 .username("user@test_tenant") // set cluster username
 .password("pswd") // set cluster password
 .tenantName("test_tenant") // set captured tenant name, do not support regex
 .databaseName("test_db") // set captured database, support regex
 .tableName("test_table") // set captured table, support regex
 .hostname("127.0.0.1") // set hostname of OceanBase server or proxy
 .port(2881) // set the sql port for OceanBase server or proxy
 .logProxyHost("127.0.0.1") // set the hostname of log proxy
 .logProxyPort(2983) // set the port of log proxy
 .deserializer(new JsonDebeziumDeserializationSchema()) // converts SourceRecord to JSON String
 .build();

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

// enable checkpoint
    env.enableCheckpointing(3000);
    
    env.addSource(oceanBaseSource).print().setParallelism(1);

env.execute("Print OceanBase Snapshot + Commit Log");
  }
}
```

## 資料型別對映

當啟動模式不是 `INITIAL` 時，聯結器無法獲得一個列的精度和比例。為相容不同的啟動模式，聯結器不會將一個不同精度的 OceanBase 型別對映到不同的FLink 型別。例如，`BOOLEAN`、`TINYINT(1)` 或 `BIT(1)` 均會轉換成 `BOOLEAN`。在 OceanBase 資料庫中，`BOOLEAN` 等同於 `TINYINT(1)`，所以 `BOOLEAN` 和 `TINYINT` 型別的列在 Flink 中會被對映為 `TINYINT`，而 `BIT(1)` 在 Flink 中會被對映為 `BINARY(1)`。

OceanBase 資料型別 | Flink SQL 型別 | 描述
----- | ----- | ------
BOOLEAN TINYINT | TINYINT |
SMALLINT TINYINT UNSIGNED | SMALLINT |
INT MEDIUMINT SMALLINT UNSIGNED | INT |
BIGINT INT UNSIGNED | BIGINT |
BIGINT UNSIGNED | DECIMAL(20, 0) |
REAL FLOAT | FLOAT |
DOUBLE | DOUBLE |
NUMERIC(p, s) DECIMAL(p, s) where p <= 38 | DECIMAL(p, s) |
NUMERIC(p, s) DECIMAL(p, s) where 38 < p <=65 | STRING | DECIMAL 等同於NUMERIC。在 OceanBase 資料庫中，DECIMAL 資料型別的精度最高為 65。但在 Flink 中，DECIMAL 的精度為 38。因此，如果你定義了一個精度大於 38 的 DECIMAL 列，你要把它對映為 STRING，以避免精度損失。 |
DATE | DATE |
TIME [(p)] | TIME [(p)] |
TIMESTAMP [(p)] DATETIME [(p)] | TIMESTAMP [(p)] |
CHAR(n) | CHAR(n) |
VARCHAR(n) | VARCHAR(n) |
BIT(n) | BINARY(⌈n/8⌉) |
BINARY(n) | BINARY(n) |
VARBINARY(N) | VARBINARY(N) |
TINYTEXT TEXT MEDIUMTEXT LONGTEXT | STRING |
TINYBLOB BLOB MEDIUMBLOB LONGBLOB | BYTES |
YEAR | INT |
ENUM | STRING |
SET | STRING

## 體驗 Flink OceanBase CDC 聯結器

### 前提條件

在遷移 OceanBase 的資料之前，您需要確認以下資訊：

- 您已安裝 OceanBase 資料庫。更多資訊，參考 [OceanBase 資料庫文件](https://www.oceanbase.com/docs/enterprise-oceanbase-database-cn-10000000000354614)。
- 您已安裝 Elasticsearch。更多資訊，參考 [Elasticsearch 文件](https://www.elastic.co/guide/en/elasticsearch/reference/6.0/setup.html)。
- 您已安裝 OceanBase 增量日誌拉取元件 oblogproxy。更多資訊，參考 [oblogproxy 文件（社群版）](https://www.oceanbase.com/docs/community-observer-cn-10000000000450600) 或 [oblogproxy 文件（企業版）](https://www.oceanbase.com/docs/enterprise-oms-doc-cn-0000000000795096)。
- 您已安裝 Flink。更多資訊，參考 [Flink 文件](https://nightlies.apache.org/flink/flink-docs-master/zh/docs/try-flink/local_installation/)。

OceanBase CDC 聯結器支援從 OceanBase 資料庫讀取快照資料和增量資料。本節介紹如何設定 OceanBase CDC 聯結器，以在 OceanBase 資料庫中查詢資料。

### 依賴

要使用 OceanBase CDC 聯結器，您必須提供相關的依賴資訊。以下依賴資訊適用於使用自動構建工具（如 Maven 或 SBT）構建的專案和帶有 SQL JAR 包的 SQL 客戶端。

```xml
<dependency>
 <groupid>com.ververica</groupid>
 <artifactid>flink-connector-oceanbase-cdc</artifactid>
 
 <version>2.2.1</version>
</dependency>
```

### 下載 SQL 客戶端 JAR 包

點選 [flink-sql-connector-oceanbase-cdc-2.2.1.jar](https://repo1.maven.org/maven2/com/ververica/flink-sql-connector-oceanbase-cdc/2.2.1/flink-sql-connector-oceanbase-cdc-2.2.1.jar) 下載 JAR 包至 `<flink_home>/lib/`.

> **說明：**
>
> 下載連結僅適用於穩定發行版本。

`flink-sql-connector-oceanbase-cdc-XXX-SNAPSHOT` 快照版本與開發分支的版本對應。要使用快照版本，您必須自行下載並編譯原始碼。推薦使用穩定發行版本，例如 `flink-sql-connector-oceanbase-cdc-2.2.1.jar`。您可以在 Maven 中央倉庫中找到使用穩定發行版本。

### 配置 OceanBase 資料庫和 oblogproxy 服務

1. 按照 [部署文件](https://open.oceanbase.com/docs/community/oceanbase-database/V3.1.1/deploy-the-distributed-oceanbase-cluster) 配置 OceanBase 叢集。
2. 在 sys 租戶中，為 oblogproxy 建立一個帶密碼的使用者。更多資訊，參考 [使用者管理文件](https://open.oceanbase.com/docs/community/oceanbase-database/V3.1.1/create-user-3)。

```bash
    mysql -h${host} -P${port} -uroot
    mysql> SHOW TENANT;
    mysql> CREATE USER ${sys_username} IDENTIFIED BY '${sys_password}';
    mysql> GRANT ALL PRIVILEGES ON *.* TO ${sys_username} WITH GRANT OPTION;
    ```

3. 為你想要監控的租戶建立一個使用者，這個使用者用來讀取快照資料和變化事件資料。
4. 獲取 `rootservice_list` 或 `config-url` 的值。
	如果您是社群版使用者，使用以下命令：

```bash
    mysql> SHOW PARAMETERS LIKE 'rootservice_list';
    ```
   
	如果您是企業版使用者，使用以下命令：

```bash
    mysql> SHOW PARAMETERS LIKE 'obconfig_url';
    ```
   
6. 按照 [oblogproxy 文件](todo) 配置 oblogproxy。

### 建立 OceanBase CDC 表

使用以下命令，建立 OceanBase CDC 表：

```sql
-- 每 3000 毫秒做一次 checkpoint                   
Flink SQL> SET 'execution.checkpointing.interval' = '3s';

-- 在 Flink SQL 中建立 OceanBase 表 `orders`
Flink SQL> CREATE TABLE orders (
    order_id     INT,
    order_date   TIMESTAMP(0),
    customer_name STRING,
    price        DECIMAL(10, 5),
    product_id   INT,
    order_status BOOLEAN,
    PRIMARY KEY (order_id) NOT ENFORCED
) WITH (
    'connector' = 'oceanbase-cdc',
    'scan.startup.mode' = 'initial',
    'username' = 'user@test_tenant',
    'password' = 'pswd',
    'tenant-name' = 'test_tenant',
    'database-name' = 'test_db',
    'table-name' = 'orders',
    'hostname' = '127.0.0.1',
    'port' = '2881',
    'rootserver-list' = '127.0.0.1:2882:2881',
    'logproxy.host' = '127.0.0.1',
    'logproxy.port' = '2983');

-- 從表 orders 中讀取快照資料和 binlog 資料
Flink SQL> SELECT * FROM orders;
```

您也可以訪問 Flink 官網文件，快速體驗將資料從 OceanBase 匯入到 Elasticsearch。更多資訊，參考 [Flink 官網文件](https://ververica.github.io/flink-cdc-connectors/release-2.2/content/%E5%BF%AB%E9%80%9F%E4%B8%8A%E6%89%8B/oceanbase-tutorial-zh.html)。

## Flink OceanBase CDC 聯結器配置項

配置項 | 是否必選 | 預設值 | 型別 | 描述
---- | ----- | ------ | ----- | ----
connector | 是 | 無 | String | 指定要使用的聯結器。此處為 `oceanbase-cdc`。
scan.startup.mode | 是 | 無 | String | 指定 OceanBase CDC 消費者的啟動模式。可取值為 `initial`、`latest-offset` 或`timestamp`。
scan.startup.timestamp | 否 | 無 | Long | 起始點的時間戳，單位為秒。僅在 `scan.startup.mode` 的值為 `timestamp` 時適用。
username | 是 | 無 | String | 連線 OceanBase 資料庫的使用者的名稱。
password | 是 | 無 | String | 連線 OceanBase 資料庫時使用的密碼。
tenant-name | 是 | 無 | String | 待監控 OceanBase 資料庫的租戶名，填入精確值。
database-name | 是 | 無 | String | 待監控 OceanBase 資料庫的資料庫名。
table-name | 是 | 無 | String | 待監控 OceanBase 資料庫的表名。
hostname | 否 | 無 | String | OceanBase 資料庫或 OceanBbase 代理 ODP 的 IP 地址或主機名。
port | 否 | 無 | String | Integer | OceanBase 資料庫伺服器的整數埠號。可以是 OceanBase 伺服器的 SQL 埠號，預設值為 `2881`。或 ODP 的埠號預設值為 `2883`。
connect.timeout |  否 | 30s | Duration | 聯結器在嘗試連線到 OceanBase 資料庫伺服器後的超時時間。
server-time-zone |  否 | UTC | String | 資料庫伺服器中的會話時區，例如 `"Asia/Shanghai"`。此選項控制 OceanBase 資料庫中的 `TIMESTAMP` 型別在快照讀取時如何轉換為`STRING`。確保此選項與 `oblogproxy` 的時區設定相同。
rootserver-list | 是 | 無 | String | 格式為 `ip:rpc_port:sql_port`。多個伺服器地址使用英文分號 `;` 隔開。
logproxy.host | 是 | 無 | String | oblogproxy 的 IP 地址或主機名。
logproxy.port | 是 | 無 | Integer | oblogproxy 的埠號。

## 支援的後設資料

在建立表時，您可以使用以下格式的後設資料作為只讀列（VIRTUAL）。

Key | 資料型別 | 描述
----- | ----- | -----
tenant_name | STRING NOT NULL | 當前記錄所屬的租戶名稱。
database_name | STRING NOT NULL | 當前記錄所屬的資料庫名稱。
table_name | STRING NOT NULL | 當前記錄所屬的表名稱。
op_ts | TIMESTAMP_LTZ(3) NOT NULL | 該值表示此修改在資料庫中發生的時間。如果這條記錄是該表在快照階段讀取的記錄，則該值返回 0。

如下 SQL 展示瞭如何在表中使用這些後設資料列：

```sql
CREATE TABLE products (
 tenant_name STRING METADATA FROM 'tenant_name' VIRTUAL,
 db_name STRING METADATA FROM 'database_name' VIRTUAL,
 table_name STRING METADATA FROM 'table_name' VIRTUAL,
 operation_ts TIMESTAMP_LTZ(3) METADATA FROM 'op_ts' VIRTUAL,
 order_id INT,
 order_date TIMESTAMP(0),
 customer_name STRING,
 price DECIMAL(10, 5),
 product_id INT,
 order_status BOOLEAN,
 PRIMARY KEY(order_id) NOT ENFORCED
) WITH (
 'connector' = 'oceanbase-cdc',
 'scan.startup.mode' = 'initial',
 'username' = 'user@test_tenant',
 'password' = 'pswd',
 'tenant-name' = 'test_tenant',
 'database-name' = 'test_db',
 'table-name' = 'orders',
 'hostname' = '127.0.0.1',
 'port' = '2881',
 'rootserver-list' = '127.0.0.1:2882:2881',
 'logproxy.host' = '127.0.0.1',
 'logproxy.port' = '2983');
```</flink_home></string></string>

三步玩轉：如何透過Flink OceanBase CDC聯結器快速查詢資料

相關文章