MyCat分片:分片規則的十四種演算法詳細解讀&程式碼實現(上篇)
MyCat
的分片規則配置在
conf目錄下的
rule.xml檔案中定義 ;
環境準備 :
-
schema.xml
中的內容做好備份 , 並配置 邏輯庫;
<schema name="PARTITION_DB" checkSQLschema="false" sqlMaxLimit="100"> <table name="" dataNode="dn1,dn2,dn3" rule=""/> </schema> <dataNode name="dn1" dataHost="host1" database="partition_db" /> <dataNode name="dn2" dataHost="host2" database="partition_db" /> <dataNode name="dn3" dataHost="host3" database="partition_db" /> <dataHost name="host1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <writeHost host="hostM1" url="192.168.192.157:3306" user="root" password="itcast"></writeHost> </dataHost> <dataHost name="host2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <writeHost host="hostM2" url="192.168.192.158:3306" user="root" password="itcast"></writeHost> </dataHost> <dataHost name="host3" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <writeHost host="hostM3" url="192.168.192.159:3306" user="root" password="itcast"></writeHost> </dataHost>
- 在MySQL的三個節點的資料庫中 , 建立
資料庫
partition_db
create database partition_db DEFAULT CHARACTER SET utf8mb4;
一、取模分片
<tableRule name="mod-long">
<rule>
<columns>id</columns>
<algorithm>mod-long</algorithm>
</rule> </tableRule> <function name="mod-long" class="io.mycat.route.function.PartitionByMod">
<property name="count">3</property> </function>
配置說明 :
屬性 | 描述 |
---|---|
columns | 標識將要分片的表欄位 |
algorithm | 指定分片函式與function的對應關係 |
class | 指定該分片演算法對應的類 |
count | 資料節點的數量 |
二、範圍分片
根據指定的欄位及其配置的範圍與資料節點的對應情況, 來決定該資料屬於哪一個分片 , 配置如下:
<tableRule name="auto-sharding-long">
<rule>
<columns>id</columns>
<algorithm>rang-long</algorithm>
</rule> </tableRule> <function name="rang-long" class="io.mycat.route.function.AutoPartitionByLong">
<property name="mapFile">autopartition-long.txt</property>
<property name="defaultNode">0</property> </function>
autopartition-long.txt
配置如下:
# range start-end ,data node index # K=1000,M=10000. 0-500M=0 500M-1000M=1 1000M-1500M=2
含義為 : 0 - 500 萬之間的值 , 儲存在0號資料節點 ; 500萬 - 1000萬之間的資料儲存在1號資料節點 ; 1000萬 - 1500 萬的資料節點儲存在2號節點 ;
配置說明:
屬性 | 描述 |
---|---|
columns | 標識將要分片的表欄位 |
algorithm | 指定分片函式與function的對應關係 |
class | 指定該分片演算法對應的類 |
mapFile | 對應的外部配置檔案 |
type | 預設值為0 ; 0 表示Integer , 1 表示String |
defaultNode | 預設節點 預設節點的所用:列舉分片時,如果碰到不識別的列舉值, 就讓它路由到預設節點 ; 如果沒有預設值,碰到不識別的則報錯 。 |
測試:
配置
<table name="tb_log" dataNode="dn1,dn2,dn3" rule="auto-sharding-long"/>
資料
1). 建立表 CREATE TABLE `tb_log` ( id bigint(20) NOT NULL COMMENT 'ID', operateuser varchar(200) DEFAULT NULL COMMENT '姓名', operation int(2) DEFAULT NULL COMMENT '1: insert, 2: delete, 3: update , 4: select', PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; 2). 插入資料 insert into tb_log (id,operateuser ,operation) values(1,'Tom',1); insert into tb_log (id,operateuser ,operation) values(2,'Cat',2); insert into tb_log (id,operateuser ,operation) values(3,'Rose',3); insert into tb_log (id,operateuser ,operation) values(4,'Coco',2); insert into tb_log (id,operateuser ,operation) values(5,'Lily',1);
三、列舉分片
透過在配置檔案中配置可能的列舉值, 指定資料分佈到不同資料節點上, 本規則適用於按照 省份或狀態拆分資料等業務 , 配置如下:
<tableRule name="sharding-by-intfile">
<rule>
<columns>status</columns>
<algorithm>hash-int</algorithm>
</rule> </tableRule> <function name="hash-int" class="io.mycat.route.function.PartitionByFileMap">
<property name="mapFile">partition-hash-int.txt</property>
<property name="type">0</property>
<property name="defaultNode">0</property> </function>
partition-hash-int.txt
,內容如下 :
1=0 2=1 3=2
配置說明:
屬性 | 描述 |
---|---|
columns | 標識將要分片的表欄位 |
algorithm | 指定分片函式與function的對應關係 |
class | 指定該分片演算法對應的類 |
mapFile | 對應的外部配置檔案 |
type | 預設值為0 ; 0 表示Integer , 1 表示String |
defaultNode | 預設節點 ; 小於0 標識不設定預設節點 , 大於等於0代表設定預設節點 ; 預設節點的所用:列舉分片時,如果碰到不識別的列舉值, 就讓它路由到預設節點 ; 如果沒有預設值,碰到不識別的則報錯 。 |
測試:
配置
<table name="tb_user" dataNode="dn1,dn2,dn3" rule="sharding-by-enum-status"/>
資料
1). 建立表 CREATE TABLE `tb_user` ( id bigint(20) NOT NULL COMMENT 'ID', username varchar(200) DEFAULT NULL COMMENT '姓名', status int(2) DEFAULT '1' COMMENT '1: 未啟用, 2: 已啟用, 3: 已關閉', PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; 2). 插入資料 insert into tb_user (id,username ,status) values(1,'Tom',1); insert into tb_user (id,username ,status) values(2,'Cat',2); insert into tb_user (id,username ,status) values(3,'Rose',3); insert into tb_user (id,username ,status) values(4,'Coco',2); insert into tb_user (id,username ,status) values(5,'Lily',1);
四、範圍求模演算法
該演算法為先進行範圍分片, 計算出分片組 , 再進行組內求模。
優點: 綜合了範圍分片和求模分片的優點。 分片組內使用求模可以保證組內的資料分佈比較均勻,分片組之間採用範圍分片可以兼顧範圍分片的特點。
缺點: 在資料範圍時固定值(非遞增值)時,存在不方便擴充套件的情況,例如將
dataNode Group size
從 2 擴充套件為 4 時,需要進行資料遷移才能完成 ; 如圖所示:
配置如下:
<tableRule name="auto-sharding-rang-mod">
<rule>
<columns>id</columns>
<algorithm>rang-mod</algorithm>
</rule> </tableRule> <function name="rang-mod" class="io.mycat.route.function.PartitionByRangeMod">
<property name="mapFile">autopartition-range-mod.txt</property>
<property name="defaultNode">0</property> </function>
autopartition-range-mod.txt
配置格式 :
#range start-end , data node group size 0-500M=1 500M1-2000M=2
在上述配置檔案中, 等號前面的範圍代表一個分片組 , 等號後面的數字代表該分片組所擁有的分片數量;
配置說明:
屬性 | 描述 |
---|---|
columns | 標識將要分片的表欄位名 |
algorithm | 指定分片函式與function的對應關係 |
class | 指定該分片演算法對應的類 |
mapFile | 對應的外部配置檔案 |
defaultNode | 預設節點 ; 未包含以上規則的資料儲存在defaultNode節點中, 節點從0開始 |
測試:
配置
<table name="tb_stu" dataNode="dn1,dn2,dn3" rule="auto-sharding-rang-mod"/>
資料
1). 建立表 CREATE TABLE `tb_stu` ( id bigint(20) NOT NULL COMMENT 'ID', username varchar(200) DEFAULT NULL COMMENT '姓名', status int(2) DEFAULT '1' COMMENT '1: 未啟用, 2: 已啟用, 3: 已關閉', PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; 2). 插入資料 insert into tb_stu (id,username ,status) values(1,'Tom',1); insert into tb_stu (id,username ,status) values(2,'Cat',2); insert into tb_stu (id,username ,status) values(3,'Rose',3); insert into tb_stu (id,username ,status) values(4,'Coco',2); insert into tb_stu (id,username ,status) values(5,'Lily',1); insert into tb_stu (id,username ,status) values(5000001,'Roce',1); insert into tb_stu (id,username ,status) values(5000002,'Jexi',2); insert into tb_stu (id,username ,status) values(5000003,'Mini',1);
五、固定分片hash演算法
該演算法類似於十進位制的求模運算,但是為二進位制的操作,例如,取 id 的二進位制低 10 位 與 1111111111 進行 位 & 運算。
最小值:
最大值:
優點: 這種策略比較靈活,可以均勻分配也可以非均勻分配,各節點的分配比例和容量大小由
partitionCount
和
partitionLength
兩個引數決定
缺點:和取模分片類似。
配置如下 :
<tableRule name="sharding-by-long-hash">
<rule>
<columns>id</columns>
<algorithm>func1</algorithm>
</rule> </tableRule> <function name="func1" class="org.opencloudb.route.function.PartitionByLong">
<property name="partitionCount">2,1</property>
<property name="partitionLength">256,512</property> </function>
在示例中配置的分片策略,希望將資料水平分成3份,前兩份各佔 25%,第三份佔 50%。
配置說明:
屬性 | 描述 |
---|---|
columns | 標識將要分片的表欄位名 |
algorithm | 指定分片函式與function的對應關係 |
class | 指定該分片演算法對應的類 |
partitionCount | 分片個數列表 |
partitionLength | 分片範圍列表 |
約束 :
- 分片長度 : 預設最大2^10 , 為 1024 ;
- count, length的陣列長度必須是一致的 ;
- 兩組資料的對應情況:
(partitionCount[0]partitionLength[0])= (partitionCount[1]partitionLength[1])
以上分為三個分割槽:
0-255,256-511,512-1023
測試:
配置
<table name="tb_brand" dataNode="dn1,dn2,dn3" rule="sharding-by-long-hash"/>
資料
1). 建立表 CREATE TABLE `tb_brand` ( id int(11) NOT NULL COMMENT 'ID', name varchar(200) DEFAULT NULL COMMENT '名稱', firstChar char(1) COMMENT '首字母', PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; 2). 插入資料 insert into tb_brand (id,name ,firstChar) values(1,'七匹狼','Q'); insert into tb_brand (id,name ,firstChar) values(529,'八匹狼','B');insert into tb_brand (id,name ,firstChar) values(1203,'九匹狼','J'); insert into tb_brand (id,name ,firstChar) values(1205,'十匹狼','S'); insert into tb_brand (id,name ,firstChar) values(1719,'六匹狼','L');
六、取模範圍演算法
該演算法先進行取模,然後根據取模值所屬範圍進行分片。
優點:可以自主決定取模後資料的節點分佈
缺點:dataNode 劃分節點是事先建好的,需要擴充套件時比較麻煩。
配置如下:
<tableRule name="sharding-by-pattern">
<rule>
<columns>id</columns>
<algorithm>sharding-by-pattern</algorithm>
</rule> </tableRule> <function name="sharding-by-pattern" class="io.mycat.route.function.PartitionByPattern">
<property name="mapFile">partition-pattern.txt</property>
<property name="defaultNode">0</property>
<property name="patternValue">96</property> </function>
partition-pattern.txt
配置如下:
0-32=0 33-64=1 65-96=2
在mapFile配置檔案中, 1-32即代表id%96後的分佈情況。如果在1-32, 則在分片0上 ; 如果在33-64, 則在分片1上 ; 如果在65-96, 則在分片2上。
配置說明:
屬性 | 描述 |
---|---|
columns | 標識將要分片的表欄位 |
algorithm | 指定分片函式與function的對應關係 |
class | 指定該分片演算法對應的類 |
mapFile | 對應的外部配置檔案 |
defaultNode | 預設節點 ; 如果id不是數字, 無法求模, 將分配在defaultNode上 |
patternValue | 求模基數 |
測試:
配置
<table name="tb_mod_range" dataNode="dn1,dn2,dn3" rule="sharding-by-pattern"/>
資料
1). 建立表 CREATE TABLE `tb_mod_range` ( id int(11) NOT NULL COMMENT 'ID', name varchar(200) DEFAULT NULL COMMENT '名稱', PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; 2). 插入資料 insert into tb_mod_range (id,name) values(1,'Test1'); insert into tb_mod_range (id,name) values(2,'Test2'); insert into tb_mod_range (id,name) values(3,'Test3'); insert into tb_mod_range (id,name) values(4,'Test4'); insert into tb_mod_range (id,name) values(5,'Test5');
注意 : 取模範圍演算法只能針對於數字型別進行取模運算 ; 如果是字串則無法進行取模分片 ;
七、字串hash求模範圍演算法
與取模範圍演算法類似, 該演算法支援
數值、
符號、
字母取模,首先擷取長度為
prefixLength
的子串,在對子串中每一個字元的
ASCII 碼求和,然後對求和值進行
取模運算(
sum%patternValue
),就可以計算出子串的分片數。
優點:可以自主決定取模後資料的節點分佈
缺點:`dataNode` 劃分節點是事先建好的,需要擴充套件時比較麻煩。
配置如下:
<tableRule name="sharding-by-prefixpattern">
<rule>
<columns>id</columns>
<algorithm>sharding-by-prefixpattern</algorithm>
</rule> </tableRule> <function name="sharding-by-prefixpattern" class="io.mycat.route.function.PartitionByPrefixPattern">
<property name="mapFile">partition-prefixpattern.txt</property>
<property name="prefixLength">5</property>
<property name="patternValue">96</property> </function>
partition-prefixpattern.txt
配置如下:
# range start-end ,data node index # ASCII # 48-57=0-9 # 64、65-90=@、A-Z # 97-122=a-z ###### first host configuration 0-32=0 33-64=1 65-96=2
配置說明:
屬性 | 描述 |
---|---|
columns | 標識將要分片的表欄位 |
algorithm | 指定分片函式與function的對應關係 |
class | 指定該分片演算法對應的類 |
mapFile | 對應的外部配置檔案 |
prefixLength | 擷取的位數; 將該欄位獲取前prefixLength位所有ASCII碼的和, 進行求模sum%patternValue ,獲取的值,在通配範圍內的即分片數 ; |
patternValue | 求模基數 |
如 :
字串 :
gf89f9a 擷取字串的前5位進行ASCII的累加運算 :
g - 103
f - 102
8 - 56
9 - 57
f - 102
sum求和 : 103 + 102 + + 56 + 57 + 102 = 420
求模 : 420 % 96 = 36
附錄 ASCII碼錶 :
測試:
配置
<table name="tb_u" dataNode="dn1,dn2,dn3" rule="sharding-by-prefixpattern"/>
資料
1). 建立表 CREATE TABLE `tb_u` ( username varchar(50) NOT NULL COMMENT '使用者名稱', age int(11) default 0 COMMENT '年齡', PRIMARY KEY (`username`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;2). 插入資料 insert into tb_u (username,age) values('Test100001',18); insert into tb_u (username,age) values('Test200001',20); insert into tb_u (username,age) values('Test300001',19); insert into tb_u (username,age) values('Test400001',25); insert into tb_u (username,age) values('Test500001',22);
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69964492/viewspace-2764456/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Mycat中介軟體實現Mysql資料分片(上篇)MySql
- MyCat分片:水平拆分例項解析和程式碼實現!
- Mycat分片的限制和問題以及分片的一般原則介紹
- Mycat分片方案需要解決的問題
- Mycat中介軟體實現Mysql資料分片( 下篇)MySql
- Mycat中的特性----資料分片
- MongoDB分片群集的部署(用心描述,詳細易懂)!!MongoDB
- 資料庫分片(Database Sharding)詳解資料庫Database
- Sharding-JDBC分片策略詳解(二)JDBC
- 網路基礎CCNP篇|IP分片詳解
- mongodb 分片叢集建立分片集合MongoDB
- MongoDB分片叢集新增分片(自用)MongoDB
- mysql學習筆記之快速搭建PXC叢集(Mycat分片)MySql筆記
- MySQL運維9-Mycat分庫分表之列舉分片MySql運維
- redis之使用twemproxy實現資料分片Redis
- MyBatis詳細原始碼解析(上篇)MyBatis原始碼
- MongoDB分片儲存的叢集架構實現MongoDB架構
- 關聯式資料庫分片原則資料庫
- MongoDB分片MongoDB
- 【Mongodb】分片複製集環境新增新的分片MongoDB
- MySQL運維12-Mycat分庫分表之按天分片MySql運維
- UDEV規則引數詳細解釋使用dev
- mongodb簡單分片實驗MongoDB
- 詳細解讀微服務的兩種模式微服務模式
- Promise 規範解讀及實現細節 (二)Promise
- 分庫分表之歷史表如何選擇最佳分片路由規則路由
- MySQL運維11-Mycat分庫分表之應用指定分片MySql運維
- A*尋路演算法詳細解讀演算法
- Promises A+規範原文解讀 + es6實現(附詳細註釋)Promise
- Nginx分片限流Nginx
- MongoDB 分片管理MongoDB
- MongoDB之分片MongoDB
- mongodb分片搭建MongoDB
- mongodb分片balanceMongoDB
- **超詳細的**10種排序演算法原理及 JS 實現排序演算法JS
- JavaScript+PHP實現影片檔案分片上傳JavaScriptPHP
- ShardingSphere-proxy-5.0.0容量範圍分片的實現(五)
- 關係型資料庫全表掃描分片詳解資料庫