## 一、背景
自 ShardingSphere 5.0.0 版本釋出以來，DistSQL 為 ShardingSphere 生態帶來了強大的動態管理能力，透過 DistSQL，使用者可以：
- 線上建立邏輯庫；
- 動態配置規則（包括分片、資料加密、讀寫分離、資料庫發現、影子庫、全域性規則等）；
- 實時調整儲存資源；
- 即時切換事務型別；
- 隨時開關 SQL 日誌；
- 預覽 SQL 路由結果；
- ...

同時，隨著使用場景的深入，越來越多的 DistSQL 特性被髮掘出來，眾多寶藏語法也受到了使用者的喜愛。
## 二、內容提要
本文將以資料分片為例，深度解析 Sharding 相關 DistSQL 的應用場景和使用技巧。同時，透過實踐案例將一系列 DistSQL 語句進行串聯，為讀者展現一套完整實用的 DistSQL 分片管理方案。

本文案例中將用到以下 DistSQL：
![](http://img.blog.itpub.net/blog/2022/07/22/d069253e73924a1f.png?x-oss-process=style/bb)
## 三、實戰演練
### 3.1 場景需求
- 建立兩張分片表` t_order `和 `t_order_item`；
- 兩張表均以` user_id `欄位分庫，以` order_id` 欄位分表；
- 分片數量為 2 庫 x 3 表；

如圖：

![Alt](https://img-blog.csdnimg.cn/img_convert/ba3f5d7edbc2a94a5c5f41b36c07cc03.png)
### 3.2 環境準備

1. 準備可供訪問的 MySQL 資料庫例項，建立兩個新庫 `demo_ds_0`、`demo_ds_1`；
>以 MySQL 為例，也可使用 PostgreSQL 或 openGauss 資料庫。

2. 部署 Apache ShardingSphere-Proxy 5.1.2 和 Apache ZooKeeper，其中 ZooKeeper 將作為治理中心，儲存 ShardingSphere 後設資料資訊；

3. 配置 Proxy conf 目錄下的 server.yaml，內容如下；

```
mode:
type: Cluster
  repository:
    type: ZooKeeper
    props:
      namespace: governance_ds
      server-lists: localhost:2181  # ZooKeeper 地址
      retryIntervalMilliseconds: 500
      timeToLiveSeconds: 60
      maxRetries: 3
      operationTimeoutMilliseconds: 500
  overwrite: false

rules:
  - !AUTHORITY
    users:
      - root@%:root
```
4. 啟動 ShardingSphere-Proxy，並使用客戶端連線到 Proxy，例如

```
mysql -h 127.0.0.1 -P 3307 -u root -p
```
### 3.3 建立分散式資料庫
```
CREATE DATABASE sharding_db;

USE sharding_db;
```
1. 新增儲存資源，對應之前準備的 MySQL 資料庫
```
ADD RESOURCE ds_0 (
HOST=127.0.0.1,
    PORT=3306,
    DB=demo_ds_0,
    USER=root,
    PASSWORD=123456
), ds_1(
    HOST=127.0.0.1,
    PORT=3306,
    DB=demo_ds_1,
    USER=root,
    PASSWORD=123456
);
```
2. 檢視儲存資源
```
mysql> SHOW DATABASE RESOURCES\\G;
*************************** 1. row ***************************
                           name: ds_1
                           type: MySQL
                           host: 127.0.0.1
                           port: 3306
                             db: demo_ds_1
                            -- 省略部分屬性
*************************** 2. row ***************************
                           name: ds_0
                           type: MySQL
                           host: 127.0.0.1
                           port: 3306
                             db: demo_ds_0
                            -- 省略部分屬性
```
>查詢語句加了 \G 是為了讓輸出格式更易讀，非必需。

### 3.4 建立分片規則
ShardingSphere 分片規則支援“常規分片”和“自動分片”兩種配置方式，它們的分片效果是等價的，區別在於“自動分片”的配置定義更加簡潔，而“常規分片”配置方式更加靈活自主。

還不瞭解“自動分片”的同學可以參考：
[《DistSQL：像資料庫一樣使用 Apache ShardingSphere》](https://mp.weixin.qq.com/s?__biz=MzUzNjgwODk2Mw==&mid=2247485034&idx=1&sn=477c0f0c259c19e388dc8d6389a7ac61&chksm=faf1dd06cd8654109d79d959c4c78a5039f8a86511037c9d514b67f2044625cde4015c75f935&scene=21#wechat_redirect)

[《分片利器 AutoTable：為使用者帶來「管家式」分片配置體驗》](https://mp.weixin.qq.com/s?__biz=MzUzNjgwODk2Mw==&mid=2247485282&idx=1&sn=b4c9269b75a60736d5afe3f1f7f44b87&chksm=faf1dc0ecd86551834a7a8b8468e1d483f6b916e0b9d781758900ed56768f8d4fb394a13f299&scene=21#wechat_redirect)

接下來，我們將採用“常規分片”的方式，使用 INLINE 表示式演算法實現需求描述的分片場景。

#### 3.4.1 主鍵生成器
主鍵生成器能夠為資料表生成分散式場景下安全的唯一主鍵，詳情可閱讀文件《分散式主鍵》（https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/key-generator/）。
1. 建立主鍵生成器
```
CREATE SHARDING KEY GENERATOR snowflake\_key\_generator \(
TYPE(NAME=SNOWFLAKE)
);
```
2. 查詢主鍵生成器
```
mysql> SHOW SHARDING KEY GENERATORS;
+-------------------------+-----------+-------+
| name                    | type      | props |
+-------------------------+-----------+-------+
| snowflake_key_generator | snowflake | {}    |
+-------------------------+-----------+-------+
1 row in set (0.01 sec)
```

#### 3.4.2 分片演算法
1. 建立一個分庫演算法，由` t_order `和 `t_order_item` 共用
```
-- 分庫時按 user_id 對 2 取模
CREATE SHARDING ALGORITHM database_inline (
TYPE(NAME=INLINE,PROPERTIES("algorithm-expression"="ds_${user_id % 2}"))
);
```
2. 為` t_order `和` t_order_item `建立不同的分表演算法
```
-- 分表時按 order_id 對 3 取模
CREATE SHARDING ALGORITHM t_order_inline (
TYPE(NAME=INLINE,PROPERTIES("algorithm-expression"="t_order_${order_id % 3}"))
);
CREATE SHARDING ALGORITHM t_order_item_inline (
TYPE(NAME=INLINE,PROPERTIES("algorithm-expression"="t_order_item_${order_id % 3}"))
);
```
3. 查詢分片演算法
```
mysql> SHOW SHARDING ALGORITHMS;
+---------------------+--------+---------------------------------------------------+
| name                | type   | props                                             |
+---------------------+--------+---------------------------------------------------+
| database_inline     | inline | algorithm-expression=ds_${user_id % 2}            |
| t_order_inline      | inline | algorithm-expression=t_order_${order_id % 3}      |
| t_order_item_inline | inline | algorithm-expression=t_order_item_${order_id % 3} |
+---------------------+--------+---------------------------------------------------+
3 rows in set (0.00 sec)
```

#### 3.4.3 預設分片策略
分片策略由分片鍵和分片演算法組成，其概念可參考[《分片策略》](https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/sharding/)

分片策略包含分庫策略（databaseStrategy）和分表策略（tableStrategy）。

由於` t_order `和` t_order_item` 的分庫欄位和分庫演算法相同，我們建立一個預設策略，未配置分庫策略的分片表都使用它：
1. 建立預設分庫策略
```
CREATE DEFAULT SHARDING DATABASE STRATEGY (
TYPE=STANDARD,SHARDING_COLUMN=user_id,SHARDING_ALGORITHM=database_inline
);
```
2.  查詢預設策略
```
mysql> SHOW DEFAULT SHARDING STRATEGY\G;
*************************** 1. row ***************************
                    name: TABLE
                    type: NONE
         sharding_column:
 sharding_algorithm_name:
 sharding_algorithm_type:
sharding_algorithm_props:
*************************** 2. row ***************************
                    name: DATABASE
                    type: STANDARD
         sharding_column: user_id
 sharding_algorithm_name: database_inline
 sharding_algorithm_type: inline
sharding_algorithm_props: {algorithm-expression=ds_${user_id % 2}}
2 rows in set (0.00 sec)
```
>未配置預設分表策略，因此 TABLE 型別的預設策略是 NONE。

#### 3.4.4 分片規則
主鍵生成器和分片演算法都已就緒，現在開始建立分片規則：
1. t_order
```
CREATE SHARDING TABLE RULE t_order (
DATANODES("ds_${0..1}.t_order_${0..2}"),
TABLE_STRATEGY(TYPE=STANDARD,SHARDING_COLUMN=order_id,SHARDING_ALGORITHM=t_order_inline),
KEY_GENERATE_STRATEGY(COLUMN=order_id,KEY_GENERATOR=snowflake_key_generator)
);
```
- DATANODES 指定了分片表的資料節點；

- TABLE_STRATEGY 指定了分表策略，其中 SHARDING_ALGORITHM 使用了已建立好的分片演算法 **t_order_inline**；

- KEY_GENERATE_STRATEGY 指定該表的主鍵生成策略，若不需要主鍵生成，可省略該配置。
2. t_order_item
```
CREATE SHARDING TABLE RULE t_order_item (
DATANODES("ds_${0..1}.t_order_item_${0..2}"),
TABLE_STRATEGY(TYPE=STANDARD,SHARDING_COLUMN=order_id,SHARDING_ALGORITHM=t_order_item_inline),
KEY_GENERATE_STRATEGY(COLUMN=order_item_id,KEY_GENERATOR=snowflake_key_generator)
);
```
3. 查詢分片規則
```
mysql> SHOW SHARDING TABLE RULES\G;
*************************** 1. row ***************************
                            table: t_order
                actual_data_nodes: ds_${0..1}.t_order_${0..2}
              actual_data_sources:
           database_strategy_type: STANDARD
         database_sharding_column: user_id
 database_sharding_algorithm_type: inline
database_sharding_algorithm_props: algorithm-expression=ds_${user_id % 2}
              table_strategy_type: STANDARD
            table_sharding_column: order_id
    table_sharding_algorithm_type: inline
   table_sharding_algorithm_props: algorithm-expression=t_order_${order_id % 3}
              key_generate_column: order_id
               key_generator_type: snowflake
              key_generator_props:
*************************** 2. row ***************************
                            table: t_order_item
                actual_data_nodes: ds_${0..1}.t_order_item_${0..2}
              actual_data_sources:
           database_strategy_type: STANDARD
         database_sharding_column: user_id
 database_sharding_algorithm_type: inline
database_sharding_algorithm_props: algorithm-expression=ds_${user_id % 2}
              table_strategy_type: STANDARD
            table_sharding_column: order_id
    table_sharding_algorithm_type: inline
   table_sharding_algorithm_props: algorithm-expression=t_order_item_${order_id % 3}
              key_generate_column: order_item_id
               key_generator_type: snowflake
              key_generator_props:
2 rows in set (0.00 sec)
```

?至此，`t_order` 和` t_order_item `的分片規則已配置完成。什麼？有點複雜？

好吧，其實也可以忽略單獨建立主鍵生成器、分片演算法、預設策略的步驟，一步完成分片規則，讓我們來加點糖。
### 3.5 語法糖
現在，需求中要增加一張分片表` t_order_detail`，我們可以這樣一步完成分片規則的建立：
```
CREATE SHARDING TABLE RULE t_order_detail (
DATANODES("ds_${0..1}.t_order_detail_${0..1}"),
DATABASE_STRATEGY(TYPE=STANDARD,SHARDING_COLUMN=user_id,SHARDING_ALGORITHM(TYPE(NAME=INLINE,PROPERTIES("algorithm-expression"="ds_${user_id % 2}")))),
TABLE_STRATEGY(TYPE=STANDARD,SHARDING_COLUMN=order_id,SHARDING_ALGORITHM(TYPE(NAME=INLINE,PROPERTIES("algorithm-expression"="t_order_detail_${order_id % 3}")))),
KEY_GENERATE_STRATEGY(COLUMN=detail_id,TYPE(NAME=snowflake))
);
```
**說明**：
上述語句中指定了分庫策略、分表策略、主鍵生成策略，但都沒有引用已經存在的演算法，因此 DistSQL 引擎會自動用輸入的表示式建立相應的演算法，供 `t_order_detail `分片規則使用。

此時我們再來檢視**主鍵生成器**、**分片演算法**和**分片規則**，結果如下：
1. 主鍵生成器
```
mysql> SHOW SHARDING KEY GENERATORS;
+--------------------------+-----------+-------+
| name                     | type      | props |
+--------------------------+-----------+-------+
| snowflake_key_generator  | snowflake | {}    |
| t_order_detail_snowflake | snowflake | {}    |
+--------------------------+-----------+-------+
2 rows in set (0.00 sec)
```
2. 分片演算法
```
mysql> SHOW SHARDING ALGORITHMS;
+--------------------------------+--------+-----------------------------------------------------+
| name                           | type   | props                                               |
+--------------------------------+--------+-----------------------------------------------------+
| database_inline                | inline | algorithm-expression=ds_${user_id % 2}              |
| t_order_inline                 | inline | algorithm-expression=t_order_${order_id % 3}        |
| t_order_item_inline            | inline | algorithm-expression=t_order_item_${order_id % 3}   |
| t_order_detail_database_inline | inline | algorithm-expression=ds_${user_id % 2}              |
| t_order_detail_table_inline    | inline | algorithm-expression=t_order_detail_${order_id % 3} |
+--------------------------------+--------+-----------------------------------------------------+
5 rows in set (0.00 sec)
```
3. 分片規則
```
mysql> SHOW SHARDING TABLE RULES\G;
*************************** 1. row ***************************
                            table: t_order
                actual_data_nodes: ds_${0..1}.t_order_${0..2}
              actual_data_sources:
           database_strategy_type: STANDARD
         database_sharding_column: user_id
 database_sharding_algorithm_type: inline
database_sharding_algorithm_props: algorithm-expression=ds_${user_id % 2}
              table_strategy_type: STANDARD
            table_sharding_column: order_id
    table_sharding_algorithm_type: inline
   table_sharding_algorithm_props: algorithm-expression=t_order_${order_id % 3}
              key_generate_column: order_id
               key_generator_type: snowflake
              key_generator_props:
*************************** 2. row ***************************
                            table: t_order_item
                actual_data_nodes: ds_${0..1}.t_order_item_${0..2}
              actual_data_sources:
           database_strategy_type: STANDARD
         database_sharding_column: user_id
 database_sharding_algorithm_type: inline
database_sharding_algorithm_props: algorithm-expression=ds_${user_id % 2}
              table_strategy_type: STANDARD
            table_sharding_column: order_id
    table_sharding_algorithm_type: inline
   table_sharding_algorithm_props: algorithm-expression=t_order_item_${order_id % 3}
              key_generate_column: order_item_id
               key_generator_type: snowflake
              key_generator_props:
*************************** 3. row ***************************
                            table: t_order_detail
                actual_data_nodes: ds_${0..1}.t_order_detail_${0..1}
              actual_data_sources:
           database_strategy_type: STANDARD
         database_sharding_column: user_id
 database_sharding_algorithm_type: inline
database_sharding_algorithm_props: algorithm-expression=ds_${user_id % 2}
              table_strategy_type: STANDARD
            table_sharding_column: order_id
    table_sharding_algorithm_type: inline
   table_sharding_algorithm_props: algorithm-expression=t_order_detail_${order_id % 3}
              key_generate_column: detail_id
               key_generator_type: snowflake
              key_generator_props:
3 rows in set (0.01 sec)
```

**說明**：

`CREATE SHARDING TABLE RULE `語句中，DATABASE_STRATEGY、TABLE_STRATEGY 和 KEY_GENERATE_STRATEGY 均可以引用已有演算法，達到複用的目的，也可以透過語法糖快速定義，差異是會建立額外的演算法物件。使用者可根據場景靈活搭配使用。
### 3.6 配置驗證
規則建立完畢後，我們可以透過如下方式進行驗證：
#### 3.6.1 檢查節點分佈
DistSQL 提供 `SHOW SHARDING TABLE NODES `的語法用於檢視節點分佈，幫助使用者快速總覽分片表的分佈情況。使用方式如下：

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/img_convert/bedf8235fbdc195e1643bab13ec2dbdf.png#pic_center)
從分片表的節點分佈觀察，與需求描述的分佈一致。
#### 3.6.2 SQL 預覽
SQL 預覽，也是驗證配置的一種快捷的方式，語法是` PREVIEW sql`：
1. 無分片鍵查詢，全路由

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/img_convert/f88fafd56381b08199120b549595726f.png#pic_center)
2. 指定 user_id 查詢，單庫路由

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/img_convert/9eb9b906d1b05e221ffe0a2906dc6fbf.png#pic_center)
3. 指定 user_id 和 order_id，單表路由

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/img_convert/8e8435921715c9a5b31bbaf4a1285be1.png#pic_center)
>單表路由掃描的分片表最少，效率最高。

### 3.7 輔助查詢 DistSQL
在系統維護過程中，可能會出現不再使用的演算法或儲存資源需要釋放，或是想要釋放的資源被引用了無法刪除，以下 DistSQL 可以為我們提供幫助：

#### 3.7.1 查詢未使用的資源
1. 語法：SHOW UNUSED RESOURCES
2. 示例：

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/img_convert/c5945f027e263f4453891f7c6bb05dae.png#pic_center)
#### 3.7.2 查詢未使用的主鍵生成器
1. 語法：SHOW UNUSED SHARDING KEY GENERATORS
2. 示例：

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/img_convert/6e992eebe87c4d06a23f6b3fc59e0aa0.png#pic_center)
#### 3.7.3 查詢未使用的分片演算法
1. 語法：SHOW UNUSED SHARDING ALGORITHMS
2. 示例：

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/img_convert/f5b80bc456e81e41c0a92501450fd50c.png#pic_center)
#### 3.7.4 查詢使用目標儲存資源的規則
1. 語法：SHOW RULES USED RESOURCE
2. 示例：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/img_convert/88ee647f2537cb4bf805a069485ea168.png#pic_center)
>使用了該資源的所有規則都會查詢出來，不限於Sharding Rule。

#### 3.7.5 查詢使用目標主鍵生成器的分片規則
1. 語法：SHOW SHARDING TABLE RULES USED KEY GENERATOR
2. 示例：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/img_convert/bea6ab835d4b8ba0ef8f47475a16b86b.png#pic_center)

#### 3.7.6 查詢使用目標演算法的分片規則
1. 語法：SHOW SHARDING TABLE RULES USED ALGORITHM
2. 示例：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/img_convert/9dfb59284aca8809760f66453b375d20.png#pic_center)
## 4、結語
**本篇以常用的資料分片場景為例，介紹了 DistSQL 的使用流程和應用技巧。同時，DistSQL 提供了靈活的語法糖以幫助減少操作步驟，使用者可靈活選擇使用。**

在分片場景下，除了 INLINE 演算法，DistSQL 也能完美支援其他的標準分片、複合分片、Hint 分片、自定義類分片演算法，更多的應用案例將在後續的文章中為大家解讀，敬請期待。

以上就是本次分享的全部內容，如果讀者對 Apache ShardingSphere 有任何疑問或建議，歡迎在 GitHub issue 列表提出，或可前往中文社群交流討論。

**GitHub issue**：[https://github.com/apache/shardingsphere/issues](https://github.com/apache/shardingsphere/issues)

**貢獻指南**：[https://shardingsphere.apache.org/community/cn/contribute/](https://shardingsphere.apache.org/community/cn/contribute/)

**中文社群**：[https://community.sphere-ex.com/](https://community.sphere-ex.com/)
## 5、參考文獻
1. **概念 DistSQL**：[https://shardingsphere.apache.org/document/current/cn/concepts/distsql/](https://shardingsphere.apache.org/document/current/cn/concepts/distsql/)
2. **概念 分散式主鍵**：[https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/key-generator/](https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/key-generator/)
3. **概念 分片策略**：[https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/sharding/](https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/sharding/)
4. **概念 行表示式**：[https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/inline-expression/](https://shardingsphere.apache.org/document/current/cn/features/sharding/concept/inline-expression/)
5. **內建分片演算法**：[https://shardingsphere.apache.org/document/current/cn/user-manual/shardingsphere-jdbc/builtin-algorithm/sharding/](https://shardingsphere.apache.org/document/current/cn/user-manual/shardingsphere-jdbc/builtin-algorithm/sharding/)
6. **使用者手冊**：[DistSQLhttps://shardingsphere.apache.org/document/current/cn/user-manual/shardingsphere-proxy/distsql/syntax/](https://shardingsphere.apache.org/document/current/cn/user-manual/shardingsphere-proxy/distsql/syntax/)

## 作者
江龍滔，SphereEx 中介軟體研發工程師，Apache ShardingSphere Committer。
主要負責 DistSQL 及安全相關特性的創新與研發。

**歡迎點選連結，瞭解更多內容**：
Apache ShardingSphere 官網：[https://shardingsphere.apache.org/](https://shardingsphere.apache.org/)

Apache ShardingSphere GitHub 地址：[https://github.com/apache/shardingsphere](https://github.com/apache/shardingsphere)

SphereEx 官網：[https://www.sphere-ex.com](https://www.sphere-ex.com)

歡迎新增社群經理微信（ss_assistant_1）加入交流群，與眾多 ShardingSphere 愛好者一同交流。

DistSQL 深度解析：打造動態化的分散式資料庫

相關文章