一、MyCAT概述
MyCAT是一款由阿里Cobar演變而來的用於支援資料庫讀寫分離、分片的分散式中介軟體。MyCAT可不但支援Oracle、MSSQL、MYSQL、PG、DB2關係型資料庫,同時也支援MongoDB等非關係型資料庫。基礎架構如下:
1、MyCAT原理
MyCAT主要是通過對SQL的攔截,然後經過一定規則的分片解析、路由分析、讀寫分離分析、快取分析等,然後將SQL發給後端真實的資料塊,並將返回的結果做適當處理返回給客戶端。
2、MyCAT功能
(1)資料庫分片(Sharding)
通過某種條件,將同一資料庫中的資料分散的儲存到多個資料庫中,已達到分散單臺資料庫裝置負載的效果,這就是資料庫分片。
a.水平拆分
同一張表的不同記錄,根據表的某個欄位的某種規則拆分到多個資料庫(主機)上,這既是水平拆分。
單庫業務表可能會過於龐大,存在單庫讀寫與儲存瓶頸,這種情況可以通過水平拆分解決,水平拆分基本架構如下:
常用水平拆分規則:
*ID
*日期
*特定欄位取模
優點:
*拆分規則抽象好,join操作基本可以資料庫內完成
*不存在單庫大資料,高併發的效能瓶頸
*應用端改造少
*提高了系統穩定性和負載能力
缺點:
*拆分規則難以抽象
*分片事務一致性難以解決
*資料多次擴充套件難度跟維護量極大
*跨庫join效能較差
b.垂直拆分
不同的表切分到不同的資料庫(主機)上,這就是垂直拆分。
一般按照業務表進行分類,劃分為不同的業務、模組庫,耦合度越低,越容易做垂直拆分,垂直拆分基本架構如下:
垂直拆分注意點:
跨庫Join,採用共享資料來源或分庫介面呼叫,根據資源和資料規模、負載而定
優點:
*拆分後業務清晰,拆分規則明確
*系統之間整合或擴充套件容易
*資料庫維護簡單
缺點:
*部分業務表無法Join,只能通過介面方式解決,提高了系統複雜度
*受每種業務不同的限制存在單庫效能瓶頸,不容易擴充套件跟效能提高
*事務處理複雜
c.水平拆分和垂直拆分共同缺點
*分散式事務處理困難
*誇節點join困難
*擴資料來源管理複雜
d.切分總則
*能不切分的儘量不切分
*如果要切分,選擇合適的切分規則,提前規劃好
*資料庫切分儘量通過資料冗餘或表分組來降低跨庫join
*業務儘量使用少的多表join
(2)讀寫分離
(3)黑白名單限制
3、使用場景
(1)單純讀寫分離,此時配置最為簡單,支援讀寫分離、主從切換
(2)分庫分表,對記錄超過1000萬的表進行水平拆分,最大支援1000億單表水平拆分
(3)多租戶應用,每個應用一個資料庫,但程式只需連線MyCAT,程式不改變,實現多租戶化
(4)報表系統,借住MyCAT分表能力,處理大規模的報表統計
(5)替代Hbase,分析大資料
(6)海量實時資料查詢
4、優缺點
優點:
(1)支援多種型別資料庫的分片
(2)易擴充套件
(3)
缺點:
二、MyCAT安裝
1、下載
官網地址:http://www.mycat.io/
下載地址:http://dl.mycat.io/1.6-RELEASE/Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
文件地址:http://www.mycat.io/document/Mycat_V1.6.0.pdf
2、mycat安裝
1)mycat是java語言編寫,在安裝mycat前需要安裝jdk,本次java版本是1.7
[root@node1 ~]# java -version java version "1.7.0_131" OpenJDK Runtime Environment (rhel-2.6.9.0.el6_8-x86_64 u131-b00) OpenJDK 64-Bit Server VM (build 24.131-b00, mixed mode)
2)解壓縮mycat(mycat解壓縮後即安裝完畢)
[root@node1 ~]# tar -xzvf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz -C /usr/local/
3)mycat使用者建立
groupadd mycat useradd -r -g mycat mycat chown -R mycat.mycat /usr/local/mycat
4)mycat基本配置
環境變數配置:
[root@node1 ~]# vi ~/.bash_profile if [ -f ~/.bashrc ]; then . ~/.bashrc fi # User specific environment and startup programs PATH=$PATH:$HOME/bin:/usr/local/mycat/bin export PATH [root@node1 ~]# source ~/.bash_profile
schema.xml配置:
[root@node1 ~]# cd /usr/local/mycat/conf/
<?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/"> <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1"> </schema> <dataNode name="dn1" dataHost="node1" database="db01" /> <dataHost name="node1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <heartbeat>select user()</heartbeat> <writeHost host="hostM1" url="10.20.32.23:3306" user="myuser" password="myuser"> <readHost host="hostS2" url="10.20.32.24:3306" user="myuser" password="myuser" /> </writeHost> <writeHost host="hostS1" url="10.20.32.24:3316" user="myuser" password="myuser" /> </dataHost> </mycat:schema>
server.xml配置:
[root@node1 ~]# cd /usr/local/mycat/conf/
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE mycat:server SYSTEM "server.dtd"> <mycat:server xmlns:mycat="http://io.mycat/"> <system> <property name="useSqlStat">0</property> <!-- 1為開啟實時統計、0為關閉 --> <property name="useGlobleTableCheck">0</property> <!-- 1為開啟全加班一致性檢測、0為關閉 --> <property name="sequnceHandlerType">2</property> <property name="processorBufferPoolType">0</property> <property name="handleDistributedTransactions">0</property> <property name="useOffHeapForMerge">1</property> <property name="memoryPageSize">1m</property> <property name="spillsFileBufferSize">1k</property> <property name="useStreamOutput">0</property> <property name="systemReserveMemorySize">384m</property> <property name="useZKSwitch">true</property> </system> <user name="user"> <property name="password">user</property> <property name="schemas">TESTDB</property> <property name="readOnly">true</property> </user> </mycat:server>
5)mycat啟動
[root@node1 conf]# mycat start Starting Mycat-server... [root@node1 conf]#
6)mycat狀態檢查
[root@node1 conf]# mycat status Mycat-server is running (27956).
三、MyCAT使用
1、mycat常用命令
./mycat start 啟動 ./mycat stop 停止 ./mycat console 前臺執行 ./mycat install 新增到系統自動啟動(暫未實現) ./mycat remove 取消隨系統自動啟動(暫未實現) ./mycat restart 重啟服務 ./mycat pause 暫停 ./mycat status 檢視啟動狀態
四、MyCAT重要概念
1、邏輯庫(schema)
邏輯庫是mycat中介軟體層配置的對應實際一個或多個業務資料庫叢集構成。
2、邏輯表(table)
a.邏輯表是mycat切分到多個資料庫或者不切分對應用程式顯示的統一的表。
b.分片表是原有的大表,經過分片,分佈在不同資料庫、相同資料庫的保留相同表結構,但資料不同的表。
c.非分片表是未做切分的表。
d.ER表基於E-R關係分片策略,子表記錄與所關聯的父表記錄存放在同一個資料分片上,即子表依賴於父表,通過表分組保證資料join不會跨庫操作。
e.全域性表,業務系統中變化不大、資料量不大(十萬以下),但又需要經常關聯的表,mycat採用冗餘在各個節點一個份來完成。
3、分片節點(dataNode)
資料庫分片後,一個大表被切分到不同的分片資料庫上,每個表分片所在的資料庫就是分片節點。
4、分片主機(dataHost)
分片節點所在的伺服器,資料切分後,每個分片節點不一定都會獨佔一臺伺服器,同一個分片伺服器可能儲存多個分片節點,儘量使讀寫壓力高的分片節點均衡的放在不同的節點主機上。
5、分片規則(rule)
按照某種業務規則把資料分到某個分片節點上的規則,就是分片規則。(分片規則非常重要,直接決定後續資料處理複雜度)
6、全域性序列號(sequence)
當資料庫分片後,原有的主鍵約束在分散式條件下無法使用,因此需要引入外部機制保證資料唯一表示,這種保證全域性的資料唯一表示機制就是全域性序列號(sequence)。
7、多租戶
多使用者的環境共用相同的系統、程式元件,並且確保各使用者間資料的隔離性。
a.一個使用者一個資料庫,隔離級別最高、安全性最好,費用最高
b.共享資料庫,隔離資料架構,每個使用者一個schema
c.共享資料庫,共享資料架構,共享database、schema,通過表tenantID區分租戶資料
五、MyCAT附錄
1、OLAP和OLTP對比
2、關係型和非關係型資料庫對比
3、