# GreatDB 系統後設資料
## GreatDB 後設資料型別

1、系統動態檢視後設資料
儲存在 performance_schema、sys 兩個庫中。一般記錄 SQL 執行 I/O、EVENT 事件、SQL 鎖等待、會話連結、叢集複製資訊等動態後設資料，一般用於叢集執行引數優化、叢集狀態巡檢等。

2、系統資料字典後設資料
儲存在 mysql、information_schema 兩個庫中。一般儲存叢集使用者、許可權分配、叢集結構後設資料、任務執行記錄、庫表儲存空間使用，分片分佈情況等內容。用於對叢集節點狀態，資料庫表物件，任務執行等情況進行資訊彙總查詢，獲取業務資訊使用。

3、節點管理介面後設資料
儲存在 mysql 庫中。一般用於節點的擴容、縮容、資料重分佈、叢集備份、主從切換、節點啟停等管理介面後設資料，用於叢集節點和架構調整使用。

## 常用後設資料

1、檢視當前執行SQL的事件資訊、複製資訊、以及鎖相關資訊

performance_schema.events_statements_current
![image.png](https://img-blog.csdnimg.cn/b1d70bcfd5214492a6be96f8664185ac.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)
performance_schema.replication_group_members
![image.png](https://img-blog.csdnimg.cn/36410726742f4f349720fa135e89cc0a.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)

performance_schema.metadata_locks

```powershell
-- 第一個 session 執行 delete 不提交
[root@greatdb1 ~]# greatsql -ugreatdb -pgreatdb -h192.168.0.81 -P3306

GreatDB Cluster[(none)]> select * from test.t_normal;
+----+------+
| c1 | c2   |
+----+------+
|  1 |    1 |
|  2 |    2 |
|  3 |    3 |
+----+------+
3 rows in set (0.06 sec)

GreatDB Cluster[(none)]> begin;
Query OK, 0 rows affected (0.00 sec)

GreatDB Cluster[(none)]> delete from test.t_normal where c1=1;
Query OK, 1 row affected (0.00 sec)

-- 第二個 session 執行相同的 delete 被鎖住
[root@greatdb1 ~]# greatsql -ugreatdb -pgreatdb -h192.168.0.81 -P3306

GreatDB Cluster[(none)]> delete from test.t_normal where c1=1;
```

![image.png](https://img-blog.csdnimg.cn/7809cfbc195344199aaf8688680d1d87.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)
2、檢視叢集節點執行狀態、shard狀態、備份節點等叢集結構資訊

information_schema.greatdb_sqlnodes、information_schema.greatdb_datanodes
![image.png](https://img-blog.csdnimg.cn/299f65a57c584178a3fb26fcf9c4afaa.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)![image.png](https://img-blog.csdnimg.cn/59c1c39aa8344bef836f58a3759fddcb.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)
information_schema.greatdb_shards
![image.png](https://img-blog.csdnimg.cn/b4dff8bc192240c59a8cb76f2d03a8a3.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)
information_schema.greatdb_backup_nodes
![image.png](https://img-blog.csdnimg.cn/aa6c7e1721954aa584fbcf71ba154d68.png)
3、檢視錶的分片分佈資訊、DDL任務、資料重分佈執行情況資訊

information_schema.greatdb_table_distribution
![image.png](https://img-blog.csdnimg.cn/2974a427b8c44473b77ea0a374c319f9.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)

information_schema.greatdb_task
![image.png](https://img-blog.csdnimg.cn/153181437467412eaef5ffed1821e88d.png)
information_schema.greatdb_migrate_table_task
![image.png](https://img-blog.csdnimg.cn/e4b6e43d82bf4dbeb0df417f7a7f55dd.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)

## GreatDB 介面後設資料
![image.png](https://img-blog.csdnimg.cn/33250b1a689441c7bd168831b6385648.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)

## GreatDB 狀態後設資料
![image.png](https://img-blog.csdnimg.cn/0707c7c4566a4231b48416f2bbfab168.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)
## GreatDB 後設資料維護

SqlNode後設資料同步方式：GreatDB節點擴充了MySQL系統表，會將叢集後設資料寫入到系統表中，使用者操作任何一個節點改變了叢集的後設資料，都會通過全同步複製同步到叢集其它節點，從而達到後設資料強一致的效果。
可以通過show plugins檢視後設資料的擴充套件庫

# GreatDB 叢集節點管理

## GreatDB 節點型別介紹

GreatDB支援3種角色節點，SqlNode 計算節點、DataNode 資料節點、backup_node 備份節點。
![image.png](https://img-blog.csdnimg.cn/45fb1af0ba974f4eadae5f648dff7064.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)
## GreatDB 節點可以做哪些管理

1、SqlNode 節點新增、刪除
2、DataNode 副本新增、刪除
3、新增 Shard 擴容和資料重分佈
4、Backup_node 的新增和刪除

## SqlNode 計算節點的新增與刪除

GreatDB 的擴容分為計算節點擴充套件和資料節點擴充套件。計算節點擴容則可以增加更多的業務併發接入，提高叢集的計算能力；擴容資料節點，即擴充套件資料儲存節點，則可以儲存更多的業務資料，最多可擴充套件9個節點副本，即9個Shard，每個Shard內可以做到一主九從的節點分佈。
GreatDB的計算節點主要以SQL語句的執行解析為主，其中儲存叢集後設資料，物件結構資料，分片路由，節點任務執行狀態等資訊對記憶體和CPU要求較高，對磁碟儲存空間要求較小，建議採用高效能SSD作為儲存。擴充套件 Sqlnode 以達到提升業務多點接入，和併發讀寫操作。

## 刪除 SqlNode 計算節點

檢視當前 SqlNode 計算節點

```powershell
[root@greatdb1 ~]# greatsql -ugreatdb -pgreatdb -h192.168.0.81 -P3306
GreatDB Cluster[(none)]> select * from information_schema.GREATDB_SQLNODES;
```

![image.png](https://img-blog.csdnimg.cn/05dc7f5ce17a4154b955370a2852b44a.png)
呼叫儲存過程執行節點(192.168.0.83)的刪除

```powershell
[root@greatdb1 ~]# greatsql -ugreatdb -pgreatdb -h192.168.0.81 -P3306
GreatDB Cluster[(none)]> call mysql.greatdb_drop_sqlnode('192.168.0.83',3306);
Query OK, 1 row affected (5.54 sec)
```

![image.png](https://img-blog.csdnimg.cn/4275f1cdad2a4c5eb269d431439fac05.png)
停止被刪除的資料庫例項

```powershell
[root@greatdb3 ~]# /greatdb/sh/sqlnode3306.sh stop
```

清理被刪除節點上的資料檔案和配置檔案

```powershell
[root@greatdb3 ~]# rm -rf /greatdb/dbdata/sqlnode3306/
[root@greatdb3 ~]# rm -rf /greatdb/conf/sqlnode3306.cnf
```

## 新增 SqlNode 計算節點

新增 SqlNode 節點的步驟
1、使用 greatdb_init 初始化 GreatDB 例項。
2、無業務資料時，可直接登入 GreatDB 叢集任一 SqlNode 節點，呼叫 mysql.greatdb_add_sqlnode 介面新增節點。
3、針對已儲存大量業務資料時，新初始化的例項需要從現有節點複製克隆存量資料後，才可執行 sqlnode 新增。
4、查詢 information_schema.greatdb_sqlnodes 新加 SqlNode 節點狀態。

配置例項cnf引數檔案
配置例項cnf引數檔案方法有兩種（推薦使用第二種）：
1、使用手動配置方式快速生成核心引數檔案。
bash create_config.sh sqlnode4 3307 1 3 > /usr/local/greatdb-cluster/conf/sqlnode4.cnf
此模板接收四個引數，node名稱、埠號、自增值偏移、自增值步長
2、拷貝當前執行的 sqlnode 的 cnf，修改後重新命名修改為新配置檔案。
cp /usr/local/greatdb-cluster/conf/sqlnode3306.cnf /usr/local/greatdb-cluster/conf/sqlnode3307.cnf
替換修改：sed -i ‘s/3306/3307/g’ sqlnode3307.cnf 相關埠，目錄名，server-id等資訊

```powershell
# 從現有節點將配置檔案複製到新節點上
[root@greatdb1 ~]# scp -rp /greatdb/conf/sqlnode3306.cnf 192.168.0.83:/greatdb/conf/
# 在新節點上修改配置檔案，根據實際情況修改
[root@greatdb3 ~]# sed -i 's/192.168.0.81/192.168.0.83/g' /greatdb/conf/sqlnode3306.cnf
```

在新節點上建立 cnf 中指定的目錄並授權

```powershell
[root@greatdb3 ~]# mkdir -p /greatdb/dbdata/sqlnode3306/{data,log,tmp}
[root@greatdb3 ~]# chown -R greatdb:greatdb /greatdb
```

在新節點上使用 greatdb_init 初始化 GreatDB 例項

```powershell
[root@greatdb3 ~]# greatdb_init --defaults-file=/greatdb/conf/sqlnode3306.cnf \
--cluster-user=greatdb \
--cluster-host=% \
--cluster-password=greatdb \
--node-type=sqlnode
```
![image.png](https://img-blog.csdnimg.cn/b2044e1f49c947cba3d0a770458c9b0c.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)

從現有節點複製克隆存量資料到新例項
1、無業務資料時，可直接登入 GreatDB 叢集任一 SqlNode 節點，呼叫 mysql.greatdb_add_sqlnode 介面新增節點。
2、針對已儲存大量業務資料時，新初始化的例項需要從現有節點複製克隆存量資料後，才可執行sqlnode新增。

```powershell
-- 登入到新節點例項
[root@greatdb3 ~]# greatsql -ugreatdb -pgreatdb -h192.168.0.83 -P3306
-- 在新節點例項中安裝 clone 外掛
GreatDB Cluster[(none)]> install plugin clone soname 'mysql_clone.so';
Query OK, 0 rows affected (0.01 sec)
-- 或呼叫儲存過程安裝 clone 外掛
GreatDB Cluster[(none)]> call mysql.greatdb_install_clone_plugin();
-- 在新節點例項中配置引數 clone_valid_donor_list，指定有哪裡獲取資料
GreatDB Cluster[(none)]> set global clone_valid_donor_list = '192.168.0.81:3306';
Query OK, 0 rows affected (0.00 sec)
-- 執行 clone 例項操作
GreatDB Cluster[(none)]> clone instance from greatdb@'192.168.0.81':3306 identified by 'greatdb';
Query OK, 0 rows affected (2.94 sec)
-- clone 完成之後例項會被重啟
GreatDB Cluster[(none)]> show global status like 'uptime';
ERROR 2013 (HY000): Lost connection to MySQL server during query
No connection. Trying to reconnect...
Connection id:    8
Current database: *** NONE ***

+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| Uptime        | 137   |
+---------------+-------+
1 row in set (0.02 sec)

呼叫 mysql.greatdb_add_sqlnode 介面新增節點

```powershell
# 登入 GreatDB 叢集現有任一 SqlNode 節點，呼叫 mysql.greatdb_add_sqlnode 介面新增節點
[root@greatdb1 ~]# greatsql -ugreatdb -pgreatdb -h192.168.0.81 -P3306
GreatDB Cluster[(none)]> call mysql.greatdb_add_sqlnode('192.168.0.83',3306);
Query OK, 0 rows affected (2.97 sec)

# 查詢 information_schema.greatdb_sqlnodes 新加 sqlnode 節點狀態
GreatDB Cluster[(none)]> select * from information_schema.greatdb_sqlnodes;
```
![image.png](https://img-blog.csdnimg.cn/1ebc9c41919e4427967f563f2436f611.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)

## DataNode 儲存節點的新增與刪除

GreatDB 提供靈活的線上儲存節點擴容或縮容，且擴容後可實現 DataNode 儲存層，各 Shard 間的資料重分佈，以增加整體儲存和運算能力。
擴容或縮容分為2種：
1、新增或刪除 Shard 內的從節點
2、新增或刪除新的 Shard 分片節點組，以達到擴容儲存和提升運算能力目的。

刪除 Shard 分片內的 DataNode 節點
刪除 DataNode 的注意事項。

1. 如果資料節點正常提供服務，會同時停⽌節點的組複製關係 
 2. 如果節點是 shard 組中最後一個資料節點，且 shard中包含了使用者表資料，此時，⽆法刪除節點 
 3. 如果 shard 異常，沒有任何節點可以提供讀寫服務，⽆法刪除節點 
 4. 如果節點是 shard組中最後一個資料節點，需要使用者保證 binlog-server 同步完該 shard 上的資料

調整主從節點角色關係
如果刪除的節點是從節點可以忽略此步驟，如果刪除的節點是 shard 組中的主節點，建議手動切換主從角色，將主節點切換到 shard 組中的其他節點上。

```powershell
# 手動做主從角色切換，例如將 shard1 的主節點切換到 datanode2 上
[root@greatdb1 ~]# greatsql -ugreatdb -pgreatdb -h192.168.0.81 -P3306
# 傳遞兩個引數，一個是要做主從角色切換的 SHARD_NAME，另一個是要將主節點切換到哪個 NODE_NAME 上。
GreatDB Cluster[(none)]> call mysql.greatdb_change_shard_primary_node('shard1','datanode2');
Query OK, 1 row affected (1.08 sec)
GreatDB Cluster[(none)]> select * from information_schema.GREATDB_SQLNODES;
```

示例，我要刪除 datanode7(192.168.0.81:4408) DataNode 節點，此時 datanode7 是 shard3 的主節點，狀態為 STATE_ACTIVE，將其切換到 datanode8(192.168.0.82:4408) DataNode 節點。
![image.png](https://img-blog.csdnimg.cn/5efe8ce7edef48cf866be3f0262a51a3.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)

呼叫儲存過程執行節點 datanode7(192.168.0.81:4408) 的刪除

```powershell
[root@greatdb1 ~]# greatsql -ugreatdb -pgreatdb -h192.168.0.81 -P3306
GreatDB Cluster[(none)]> call mysql.greatdb_drop_datanode('datanode7');
Query OK, 1 row affected (5.50 sec)
```
![**image.png**](https://img-blog.csdnimg.cn/92f47d7d4e484a3e8e18408d74b2bd85.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)

停止被刪除的 DataNode 節點例項

```powershell
[root@greatdb1 ~]# /greatdb/sh/datanode4408.sh stop
```

清理被刪除節點上的資料檔案和配置檔案

```powershell
[root@greatdb1 ~]# rm -rf /greatdb/dbdata/datanode4408/
[root@greatdb1 ~]# rm -rf /greatdb/conf/datanode4408.cnf
```

## 新增 Shard 分片內的 DataNode 節點

配置例項cnf引數檔案

```powershell
# 從現有節點將配置檔案複製到新節點上
[root@greatdb2 ~]# scp -rp /greatdb/conf/datanode4408.cnf 192.168.0.81:/greatdb/conf/
# 在新節點上修改配置檔案，根據實際情況修改
[root@greatdb1 ~]# sed -i 's/192.168.0.82/192.168.0.81/g' /greatdb/conf/datanode4408.cnf
```

在新節點上建立 cnf 中指定的目錄並授權

```powershell
[root@greatdb1 ~]# mkdir -p /greatdb/dbdata/datanode4408/{data,log,tmp}
[root@greatdb1 ~]# chown -R greatdb:greatdb /greatdb
在新節點上使用 greatdb_init 初始化 GreatDB 例項
[root@greatdb1 ~]# greatdb_init --defaults-file=/greatdb/conf/datanode4408.cnf \
--cluster-user=greatdb \
--cluster-host=% \
--cluster-password=greatdb \
--node-type=datanode
```
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/2d3580a9197b488bacb04a6336e191b7.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)

呼叫 mysql.greatdb_add_datanode 介面新增節點

```powershell
# 登入 GreatDB 叢集現有任一 SqlNode 節點，呼叫 mysql.greatdb_add_datanode 介面新增節點
[root@greatdb1 ~]# greatsql -ugreatdb -pgreatdb -h192.168.0.81 -P3306
GreatDB Cluster[(none)]> call mysql.greatdb_add_datanode('shard3','datanode7','192.168.0.81',4408,'NODE_MGR');
Query OK, 1 row affected (3.95 sec)
# 當前節點支援 NODE_MGR 和 NODE_SINGLE 兩種型別，NODE_SINGLE 表示Shard 中只有一個資料節點，此時無法保證資料的可靠性，不推薦線上環境使用；
# NODE_MGR 型別可以包含多個資料節點，節 點間使用 mysql group_replication 進行資料同步和故障切換。

# 查詢 information_schema.greatdb_sqlnodes 新加 sqlnode 節點狀態
GreatDB Cluster[(none)]> select * from information_schema.greatdb_sqlnodes;
```
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/27dcbca3293e4457b3ca597d6d1670e7.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)
此時在自動做恢復並重啟節點
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/2c488b6cc7dd40f1a50ebff543e2cf4e.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)

最後節點會以 STATE_STANDBY 狀態加入到叢集。

## 新增 Shard 分片

新增Shard分片步驟：
1、初始化各物理機準備加入 Shard 的新例項。
2、sqlnode 呼叫 mysql.greatdb_add_datanode 介面建立新 Shard。
3、sqlnode 呼叫 mysql.greatdb_init_shard 介面初始化新的 Shard 分片。
4、另外2個節點分別呼叫步驟2的方式加入Shard，完成擴容。

檢視當前 Shard 的資訊以及 Shard 中資料表的分佈情況

```powershell
[root@greatdb1 ~]# greatsql -ugreatdb -pgreatdb -h192.168.0.81 -P3306

GreatDB Cluster[(none)]> select * from information_schema.GREATDB_DATANODES;
GreatDB Cluster[(none)]> select * from information_schema.greatdb_shards;
GreatDB Cluster[(none)]> select * from information_schema.greatdb_table_distribution;
```
![image.png](https://img-blog.csdnimg.cn/cdb47c040f8a45679b50fbb68b1f5027.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)

增加 shard4 ，組成員有 192.168.0.81:4409、192.168.0.82:4409、192.168.0.83:4409
配置 shard4 的3個組成員例項cnf引數檔案

```powershell
# 從現有節點將配置檔案複製到新節點上
[root@greatdb1 ~]# cp -p /greatdb/conf/datanode4408.cnf /greatdb/conf/datanode4409.cnf
[root@greatdb2 ~]# cp -p /greatdb/conf/datanode4408.cnf /greatdb/conf/datanode4409.cnf
[root@greatdb3 ~]# cp -p /greatdb/conf/datanode4408.cnf /greatdb/conf/datanode4409.cnf
# 在新節點上修改配置檔案，根據實際情況修改
[root@greatdb1 ~]# sed -i 's/4408/4409/g' /greatdb/conf/datanode4409.cnf
[root@greatdb2 ~]# sed -i 's/4408/4409/g' /greatdb/conf/datanode4409.cnf
[root@greatdb3 ~]# sed -i 's/4408/4409/g' /greatdb/conf/datanode4409.cnf
```

在新節點上建立 cnf 中指定的目錄並授權

```powershell
[root@greatdb1 ~]# mkdir -p /greatdb/dbdata/datanode4409/{data,log,tmp}
[root@greatdb1 ~]# chown -R greatdb:greatdb /greatdb
[root@greatdb2 ~]# mkdir -p /greatdb/dbdata/datanode4409/{data,log,tmp}
[root@greatdb2 ~]# chown -R greatdb:greatdb /greatdb
[root@greatdb3 ~]# mkdir -p /greatdb/dbdata/datanode4409/{data,log,tmp}
[root@greatdb3 ~]# chown -R greatdb:greatdb /greatdb
```

在新節點上使用 greatdb_init 初始化 GreatDB 例項

```powershell
[root@greatdb1 ~]# greatdb_init --defaults-file=/greatdb/conf/datanode4409.cnf \
--cluster-user=greatdb \
--cluster-host=% \
--cluster-password=greatdb \
--node-type=datanode

[root@greatdb2 ~]# greatdb_init --defaults-file=/greatdb/conf/datanode4409.cnf \
--cluster-user=greatdb \
--cluster-host=% \
--cluster-password=greatdb \
--node-type=datanode

[root@greatdb3 ~]# greatdb_init --defaults-file=/greatdb/conf/datanode4409.cnf \
--cluster-user=greatdb \
--cluster-host=% \
--cluster-password=greatdb \
--node-type=datanode
```
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/95f514aded474ca9bdfff1cc8bf3d043.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)
![](https://img-blog.csdnimg.cn/4a53159773464bbe83087556bcc85f0f.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/09a5d0553ab44636b6b5c7072e5605e6.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)

新增一個新資料節點到新 Shard

```powershell
[root@greatdb1 ~]# greatsql -ugreatdb -pgreatdb -h192.168.0.81 -P3306

GreatDB Cluster[(none)]> call mysql.greatdb_add_datanode('shard4','datanode11','192.168.0.81',4409,'NODE_MGR');
Query OK, 1 row affected (0.07 sec)

GreatDB Cluster[(none)]> select * from information_schema.GREATDB_DATANODES;
GreatDB Cluster[(none)]> select * from information_schema.greatdb_shards;
```
![image.png](https://img-blog.csdnimg.cn/e3ab11c31cd64e6d9c006ac1d0b22f6c.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)
初始化 shard4

```powershell
[root@greatdb1 ~]# greatsql -ugreatdb -pgreatdb -h192.168.0.81 -P3306

GreatDB Cluster[(none)]> call mysql.greatdb_init_shard('shard4');
Query OK, 1 row affected (4.54 sec)

GreatDB Cluster[(none)]> select * from information_schema.GREATDB_DATANODES;
GreatDB Cluster[(none)]> select * from information_schema.greatdb_shards;
```
![image.png](https://img-blog.csdnimg.cn/a53d3cfe718d4cf9a65e55d858601f5a.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)

新增另外兩個節點到 shard4 中

```powershell
[root@greatdb1 ~]# greatsql -ugreatdb -pgreatdb -h192.168.0.81 -P3306
GreatDB Cluster[(none)]> call mysql.greatdb_add_datanode('shard4','datanode12','192.168.0.82',4409,'NODE_MGR');
Query OK, 1 row affected (4.15 sec)
GreatDB Cluster[(none)]> call mysql.greatdb_add_datanode('shard4','datanode13','192.168.0.83',4409,'NODE_MGR');
Query OK, 1 row affected (3.95 sec)

GreatDB Cluster[(none)]> select * from information_schema.GREATDB_DATANODES;
GreatDB Cluster[(none)]> select * from information_schema.greatdb_table_distribution;
```

![image.png](https://img-blog.csdnimg.cn/1ccf0d98c1d94a2c86836ce567510c74.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)

![image.png](https://img-blog.csdnimg.cn/7b382f9e8d19412494d531d307924b3e.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)

新增 shard4 完成後，資料表還是分散在原有的Shard分片中，有兩種方式可以進行資料表在Shard分片上的重分佈，一種是呼叫儲存過程 mysql.greatdb_migrate_table 進行手動重分佈，如果資料表比較多的情況下比較麻煩，另一種是呼叫儲存過程 mysql.greatdb_auto_migrate_tables_after_upscale 自動進行重分佈。

資料表自動在 Shard 分片上重分佈
呼叫儲存過程 mysql.greatdb_auto_migrate_tables_after_upscale 自動進行重分佈，只會重分佈分割槽表和全域性表，對於普通表是不生效的。

```powershell
[root@greatdb1 ~]# greatsql -ugreatdb -pgreatdb -h192.168.0.81 -P3306

GreatDB Cluster[(none)]> call mysql.greatdb_auto_migrate_tables_after_upscale;
GreatDB Cluster[(none)]> select * from information_schema.GREATDB_MIGRATE_TABLE_TASK;

GreatDB Cluster[(none)]> select * from information_schema.greatdb_table_distribution;
```
![image.png](https://img-blog.csdnimg.cn/30f5c36dbb38460fba6745eda7e995d3.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)![image.png](https://img-blog.csdnimg.cn/e90765aabf88444f87710898ddb41615.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)

可以看到，資料表已經重分佈到 shard4 上了。

## 整個 Shard 分片的刪除

刪除 Shard 時的注意事項。

1. 如果該 shard 中包含使用者表資料，則⽆法刪除 
 2. 不會停⽌組內資料節點間的複製關係 
 3. 如果 binlog-server 正在獲取此shard 上的 binlog ⽇志，此操作需使用者保證同步完該 shard 上的資料

將要刪除的 Shard 分片中的資料表重分佈到其他Shard 分片中

```powershell
[root@greatdb1 ~]# greatsql -ugreatdb -pgreatdb -h192.168.0.81 -P3306

# 傳入一個引數，縮容後還剩幾個 Shard，預設會將Shard編號從大到小縮容，不能指定刪除哪個 Shard
GreatDB Cluster[(none)]> call mysql.greatdb_auto_migrate_tables_before_downscale(3);
GreatDB Cluster[(none)]> select * from information_schema.greatdb_shards;
GreatDB Cluster[(none)]> select * from information_schema.greatdb_table_distribution;

```
![image.png](https://img-blog.csdnimg.cn/b645c091facb4045a83c2ef38d1430e6.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/93fda487327a4682981ba43ab46db3c6.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)
執行過縮容後，Shard 分片節點狀態 suspend 掛起狀態為ON，新建的表資料儲存在shard1-3上，shard4不會被使用。
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/2897151febbf484d9cfdac017875f31b.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)

呼叫儲存過程刪除處於掛起狀態的 shard4

```powershell
[root@greatdb1 ~]# greatsql -ugreatdb -pgreatdb -h192.168.0.81 -P3306

GreatDB Cluster[(none)]> call mysql.greatdb_drop_shard('shard4');

GreatDB Cluster[(none)]> select * from information_schema.GREATDB_DATANODES;
GreatDB Cluster[(none)]> select * from information_schema.greatdb_shards;
```
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/7357a685536543b38c45652848a5ac9f.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)
關閉例項清理資料檔案目錄

```powershell
[root@greatdb1 ~]# greatsql -ugreatdb -pgreatdb -h192.168.0.81 -P4409
GreatDB Cluster[(none)]> shutdown;

[root@greatdb2 ~]# greatsql -ugreatdb -pgreatdb -h192.168.0.82 -P4409
GreatDB Cluster[(none)]> shutdown;

[root@greatdb3 ~]# greatsql -ugreatdb -pgreatdb -h192.168.0.83 -P4409
GreatDB Cluster[(none)]> shutdown;

[root@greatdb1 ~]# rm -rf /greatdb/dbdata/datanode4409/ /greatdb/conf/datanode4409.cnf
[root@greatdb2 ~]# rm -rf /greatdb/dbdata/datanode4409/ /greatdb/conf/datanode4409.cnf
[root@greatdb3 ~]# rm -rf /greatdb/dbdata/datanode4409/ /greatdb/conf/datanode4409.cnf
```

## GreatDB 資料重分佈管理

GreatDB 的資料重分佈主要針對的是 Shard 節點在進行擴縮容之後，針對表資料在各個 Shard 間的均勻分佈，進行的內部資料遷移的過程。
重分佈分為兩種情況：
第一種：手動針對指定的表進行遷移分佈到指定 Shard。目的是避免資料過於集中在單個 Shard，造成叢集區域性壓力較大的情況。
第二種：自動資料遷移重分佈。自動遷移目的是在擴容 Shard 後，針對分割槽表，全域性表自動進行新 Shard 的資料分佈均衡，普通表則不會自動遷移仍舊儲存在原有 Shard 上。

注意：在重分佈過程中，會產生短暫的MDL鎖，所以在進行資料重分佈操作時，避免在業務高峰進行，否則可能會產生業務阻塞情況出現。無論是資料重分佈時的擴容遷移，還是縮容遷移，在遷移過程中，每次逐個針對單張表進行遷移。

## 手動執行資料重分佈

手動執行資料重分佈，呼叫介面如下：
CALL mysql.greatdb_migrate_table(‘db_name’, ‘table_name’, part_id, ‘shard_name’ );
選項介紹：
1、part_id 為分割槽表（partition表）的分割槽id，如果是分割槽表，則遷移該表的特定分割槽資料，如果不是分割槽表，該值不具有任何意義，將遷移全表資料。
2、shard_name 為遷移的目標Shard，如擴容操作。
```powershell
CALL `mysql`.`greatdb_migrate_table`('test', 'gt1', 0, 'sd3'); 
CALL `mysql`.`greatdb_migrate_table`('test', 'pt1', 2, 'sd3');
```
## GreatDB 縮容刪除 Shard 的資料重分佈

在部分業務機器需要下線或者進行區域性硬體下線，縮減叢集規模時，則可以執行資料重新分佈遷移到其他Shard上，如下：
Shard 縮容實踐：

初始有4個Shard，sd1、sd2、sd3、sd4， test.nt1 為普通表，分佈在 sd3 中，test.pt1為分片表，其中: part_id = 0 在 sd1 中，part_id = 1 在 sd2 中 ，part_id = 2 在 sd3 中 ，part_id = 3 在 sd4 中 。
需求：需要刪除 sd3 和 sd4
此時需要將 nt1 遷到 sd1，pt1#2 遷到 sd1 中，pt1#3 遷到 sd2 中，則先後執行如下命令：

```powershell
CALL `mysql`.`greatdb_migrate_table`('test', 'nt1', 0, 'sd1'); 
CALL `mysql`.`greatdb_migrate_table`('test', 'pt1', 3, 'sd2');
```

遷移完成後，可以呼叫greatdb_drop_shard刪除Shard，完成縮容操作。

## GreatDB 資料節點擴縮後自動資料重分佈

新擴容的Shard分片如何使用：
1、在 greatdb_init_datanode() 初始化擴容之後，新建立的分割槽表會自動分佈使用。
2、針對當前 GreatDB 叢集存量表資料，手動遷移指定普通表，或表分割槽到新 Shard。
3、呼叫 GreatDB 叢集資料重分佈介面，實現 Shard 間的資料自動平衡重分佈。
![image.png](https://img-blog.csdnimg.cn/9380b5c470be4fe0943846f52697b49d.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LiH6YeM5pWw5o2u5bqT,size_20,color_FFFFFF,t_70,g_se,x_16)

## GreatDB 資料重分佈檢視遷移狀態

共有 3 張information_schema的表，可以檢視遷移的任務。
1、information_schema.greatdb_task 包含所有的任務資訊。
2、information_schema.greatdb_migrate_table_task 包含當前和歷史遷移任務的詳細資訊
3、information_schema.greatdb_migrate_table_subtask 記錄子任務的狀態資訊。

本文轉載自【墨天輪社群文章，ID賬號：張玉龍 ，原文連結：https://www.modb.pro/u/14816】

萬里GreatDB資料庫的學習之路--GreatDB 叢集管理（5）

相關文章