### **體驗簡介**

場景將提供一臺配置了CentOS 8.5作業系統的ECS例項（雲伺服器）。透過本教程的操作帶您體驗如何將PolarDB-X透過Canal與ClickHouse進行互通，搭建一個實時分析系統。[點選前往](https://developer.aliyun.com/adc/scenario/a734d982339845f18baa71d3cd5a4387)

![](https://oscimg.oschina.net/oscnet/up-ae9e45c2030bc818ca6e2c26ad66cc1a9fd.jpg)

### 實驗準備

1\. 建立實驗資源

開始實驗之前，您需要先建立ECS例項資源。

1.  在實驗室頁面，單擊**建立資源**。
    
2.  （可選）在實驗室頁面左側導航欄中，單擊**雲產品資源**列表，可檢視本次實驗資源相關資訊（例如IP地址、使用者資訊等）。

**說明 ：**資源建立過程需要1~3分鐘。

2\. 安裝PolarDB-X

本步驟將指導您如何安裝PolarDB-X。

1.  安裝並啟動Docekr。

(1) 執行如下命令，安裝Docker。

```
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
```

(2) 執行如下命令，啟動Docker。

```
systemctl start docker
```

2.  執行如下命令，安裝PolarDB-X。

```
docker run -d --name some-polardb-x -p 8527:8527 polardbx/polardb-x:2.1.0
```

3\. 登入PolarDB-X資料庫

本步驟將指導您如何登入PolarDB-X資料庫。

PolarDB-X支援透過MySQL Client命令列、第三方客戶端以及符合MySQL互動協議的第三方程式程式碼進行連線。本實驗場景主要介紹如何透過MySQL Client命令列連線到PolarDB-X資料庫。

1.  執行如下命令，安裝MySQL。

```
yum install mysql -y
```

2.  執行如下命令，檢視MySQL版本號。

```
mysql -V
```

返回結果如下，表示您已成功安裝MySQL。

![](https://oscimg.oschina.net/oscnet/up-f7f27b4edd3976106da2a78d916ed9ac417.png)

3.  執行如下命令，登入PolarDB-X資料庫。

**說明：**

-   本實驗場景中的PolarDB-X資料庫使用者名稱和密碼已預設，請您使用下方命令登入即可。
    
-   如遇到mysql: \[Warning\] Using a password on the command line interface can be insecure.ERROR 2013 (HY000): Lost connection to MySQL server at 'reading initial communication packet', system error: 0報錯，請您稍等一分鐘，重新執行登入命令即可。

```
mysql -h127.0.0.1 -P8527 -upolardbx_root -p123456
```

返回結果如下，表示您已成功登入PolarDB-X資料庫。

![](https://oscimg.oschina.net/oscnet/up-e63b927d1acc67b695d6f55b2cfc6bddee3.png)

4.  輸入exit退出資料庫。

![](https://oscimg.oschina.net/oscnet/up-ffbd9f207bd97161be8cf4800a66e2972af.png)

4\. 搭建實時分析系統

本步驟將指導您如何使用PolarDB-X+Canal+ClickHouse搭建實時分析系統。

1.  部署Canal。

Canal是一款流行的MySQL Binlog增量訂閱工具，詳情請參見[Canal說明文件](https://github.com/alibaba/canal)。Canal提供了Docker映象，詳情請參見[Canal Docker映象文件](https://github.com/alibaba/canal/wiki/Docker-QuickStart)。

(1) 執行如下命令，下載指令碼。

```
wget https://raw.githubusercontent.com/alibaba/canal/master/docker/run.sh
```

(2) 執行如下命令，構建一個destination name為test的佇列。

**注意 ：**您需要將none\_loopback\_host_ip修改為雲產品資源列表中的ECS的彈性IP，請勿使用localhost或127.0.0.1。

```
sh run.sh -e canal.auto.scan=false \
-e canal.destinations=test \
-e canal.instance.master.address=none_loopback_host_ip:8527 \
-e canal.instance.dbUsername=polardbx_root \
-e canal.instance.dbPassword=123456 \
-e canal.instance.connectionCharset=UTF-8 \
-e canal.instance.tsdb.enable=true \
-e canal.instance.gtidon=false
```

2.  部署ClickHouse。

ClickHouse是一款分析系統，詳情請參見[ClickHouse官方文件](https://clickhouse.com/)。ClickHouse提供了Docker映象，詳情請參見[ClickHouseDocker映象文件](https://hub.docker.com/r/clickhouse/clickhouse-server)。

執行如下命令，部署ClickHouse。

```
docker run -d --name some-clickhouse-server --ulimit nofile=262144:262144 -p 8123:8123 yandex/clickhouse-server
```

3.  在PolarDB-X和ClickHouse中建立測試庫和表。

(1) 執行如下命令，登入PolarDB-X資料庫。

```
mysql -h127.0.0.1 -P8527 -upolardbx_root -p123456
```

(2) 執行如下SQL語句，建立資料庫testdb。

```
CREATE DATABASE testdb;
```

(3) 執行如下SQL語句，使用資料庫testdb。

```
USE testdb;
```

(4) 執行如下SQL語句，建立test表。

```
CREATE TABLE test(
id INT(11) AUTO_INCREMENT PRIMARY KEY,
name CHAR(20) not null );
```

(5) 輸入exit退出資料庫。

![](https://oscimg.oschina.net/oscnet/up-8229ae5125d6f1e983521185ac1f69c8c20.png)

(6) 執行如下命令，登入ClickHouse資料庫。

```
docker run -it --rm --link some-clickhouse-server:clickhouse-server yandex/clickhouse-client --host clickhouse-server
```

(7) 執行如下SQL語句，建立資料庫testdb。

```
CREATE DATABASE testdb;
```

(8) 執行如下SQL語句，使用資料庫testdb。

```
USE testdb;
```

(9) 執行如下SQL語句，建立test表。

```
Create Table test(id INT(32),name CHAR(20)) Engine = MergeTree() Order By id;
```

(10) 輸入exit退出資料庫。

4.  執行Canal Client消費並投遞增量變更。

經過以上步驟，您已經準備好了PolarDB-X、Canal Server和ClickHouse三個容器，並且在源端（PolarDB-X）和目標端（ClickHouse）建好了測試用的資料庫和表。接下來我們透過Canal Client消費Canal Server獲取的增量資料，並將源端DML中的Insert事件投遞到ClickHouse中。

(1) 執行如下命令，使用yum安裝JDK 1.8。

```
yum -y install java-1.8.0-openjdk*
```

(2) 執行如下命令，下載polardb-x-to-clickhouse-canal-client.jar投遞程式碼檔案。

```
wget https://labfileapp.oss-cn-hangzhou.aliyuncs.com/polardb-x-to-clickhouse-canal-client.jar
```

(3) 執行如下命令，執行polardb-x-to-clickhouse-canal-client.jar程式碼檔案。

```
java -jar polardb-x-to-clickhouse-canal-client.jar
```

**注意：**請勿中斷投遞程式碼檔案，否則會造成投遞失敗。

(4) 投遞鏈路已成功打通，接下來您可以在源端（PolarDB-X）執行INSERT語句，並觀察目標端（ClickHouse）中的資料變化。

在實驗頁面，單擊右上角的![](https://oscimg.oschina.net/oscnet/up-bdb6278beff58068d7ac390be2bf7ff5aeb.png)圖示，建立新的終端視窗。

![](https://oscimg.oschina.net/oscnet/up-18f49a82a581ec65c9489be6cbcb9b19040.png)

(5) 在新的終端視窗中，執行如下命令，登入PolarDB-X資料庫。

```
mysql -h127.0.0.1 -P8527 -upolardbx_root -p123456
```

(6) 執行如下SQL語句，使用資料庫testdb。

```
USE testdb;
```

(7) 執行如下SQL語句，插入一條資料。

```
INSERT INTO test(name) values("polardb-x"), ("is"), ("awsome");
```

(8) 輸入exit退出資料庫。

(9) 執行如下命令，登入ClickHouse資料庫。

```
docker run -it --rm --link some-clickhouse-server:clickhouse-server yandex/clickhouse-client --host clickhouse-server
```

(10) 執行如下SQL語句，使用資料庫testdb。

```
USE testdb;
```

(11) 執行如下SQL語句，查詢test表

```
SELECT * FROM test;
```

返回結果如下，您可以看到目標端（ClickHouse）接收到投遞過來的資料。

![](https://oscimg.oschina.net/oscnet/up-f482428699bbd6ebc140bbcefe6d54d3c9c.png)

5\. 瞭解更多

-   如果您想了解更多有關PolarDB-X分散式事務實現原理，詳情請參見[PolarDB-X分散式事務實現原理（一）](https://zhuanlan.zhihu.com/p/338535541)。

-   如果您想了解更多有關PolarDB-X全域性Binlog解讀，詳情請參見[PolarDB-X全域性Binlog解讀](https://zhuanlan.zhihu.com/p/369115822)。
    
-   如果您想了解更多有關PolarDB-X全域性Binlog解讀之DDL，詳情請參見[PolarDB-X全域性 Binlog解讀之DDL](https://zhuanlan.zhihu.com/p/377854011)。

恭喜完成

阿里雲體驗有獎：如何將 PolarDB-X 與大資料等系統互通

相關文章