MyCat資料庫的基礎配置及使用

一、為什麼需要分散式資料據庫

隨著計算機和資訊科技的迅猛發展，行業應用系統的規模迅速擴大，行業應用所產生的資料量呈爆炸式增長，動輒達到數百TB甚至數百PB的規模，已遠遠超出傳統計算技術和資訊系統的處理能力，集中式資料庫面對大規模資料處理逐漸表現出其侷限性。因此，人們希望尋找一種能快速處理資料和及時響應使用者訪問的方法，也希望對資料進行集中分析、管理和維護。這已經成為迫切需求。

分散式資料庫是在集中式資料庫的基礎上發展起來的，是計算機技術和網路技術結合的產物。分散式資料庫是指資料在物理上分佈而在邏輯上集中管理的資料庫系統。物理上分佈是指資料分佈在物理位置不同並由網路連線的節點或站點上;邏輯上集中是指各資料庫節點之間的邏輯上是一個整體，並由統一的資料庫管理系統管理。不同的節點分佈可以跨不同的機房、城市甚至國家。

二、分散式資料庫的特點

分散式資料庫具有透明性、資料冗餘性、易於擴充套件性、自治性等特點，還具有經濟、效能優越、響應速度更快、靈活的體系結構、易於整合現有系統等特點。

分散式資料庫儘管有著天生的高貴血統，但它依賴調整網路，對事務的處理遠沒有傳統資料庫成熟，在很長一段時間內分散式資料儲存將與傳統資料儲存共存。

三、MyCat資料庫中介軟體簡介

MyCat是一個徹底開源的面向企業應用開發的大資料庫叢集，支援事務、ACID，是可以替代MySQL的加強版資料庫。MyCat被視為MySQL叢集的企業級資料庫，用來替代昂貴的Oracle叢集，它是整合了記憶體快取技術、NoSQL技術、HDFS大資料的新型SQL Server，是結合了傳統資料庫和新型分散式資料倉儲的新一代企業級資料庫產品，也是一個優秀的資料庫中介軟體。

MyCat是通過Cobar改良而生。MyCat支援Oracle、PostgreSQL，從1.3版本開始支援NoSQL（SequoiaDB及MongoDB）並引入了Druid解析器。2016年MyCat釋出了1.5版本，2018年釋出了 1.6.6版本 。目前MyCat2.0專案已經啟動，核心程式碼已經提交（https://github.com/MyCatApache/MyCat2.git）。

四、MyCat核心概念詳解

4.1 邏輯庫（schema）

通常在實際應用中，業務開發人員並不需要知道中介軟體的存在，只需要關注資料庫，所以資料庫中介軟體可以被當作一個或多個資料庫叢集構成的邏輯庫。

4.2 邏輯表（table）

既然有邏輯庫，就會有邏輯表。在分散式資料庫中，對於應用來說，讀寫資料的表就是邏輯表。邏輯表可以分佈在一個或多個分片庫中，也可以不分片。

1）分片表

分片表是指將資料量很大的表切分到多個資料庫例項中，所有分片組合起來構成了一張完整的表。例如在MyCat上配置t_node的分片表，資料按照規則被切分到dn1、dn2兩個節點。

<table name=”t_node” primaryKey=”vid” autoIncrement=”true” dataNode=”nd1,dn2” rule=”rule1” />

2）非分片表

並非所有的表在數量很大時都需要進行分片。非分片表是相對分片表而言的，不需要進行資料切分的表。如下面配置中的t_node只存在於節點dn1上。

<table name=”t_node” primaryKey=”vid” autoIncrement=”true” dataNode=”dn1” />

3）ER表

關係型資料庫是基於實體關係模型（Entity Relationship Model）的，MyCat中的ER表便來源於此。基於此思想，MyCat提出了基於E-R關係的資料分片策略，子表的記錄與其所關聯的父表的記錄存放在同一個資料分片上，即子表依賴於父表，通過表分組（Table Group）保證資料關聯查詢不會跨庫操作。

表分組是解決跨分片資料關聯查詢的一種很好的思路，也是資料切分的一條重要規則。

4）全域性表

在一個真實的業務場景中往往存在大量類似的字典表，這些字典表中的資料變動不頻繁，而且資料規模不大，很少有超過數十萬條的記錄。

當業務表因為規模進行分片後，業務表與這些附屬的字典表之間的關聯查詢就成了比較棘手的問題，所以在MyCat中通過資料冗餘來解決這類表的關聯查詢，即所有分片都複製了一份資料，我們把這些冗餘資料的表定義為全域性表。

資料冗餘是解決跨分片資料關聯查詢的一種很好的思路，也是資料切分規劃的另一條重要規則。

4.3 分片節點（dataNode）

將資料切分後，一個大表被分到不同的分片資料庫上，每個表分片所在的資料庫是分片節點。

4.4 節點主機（dataHost）

將資料切分後，每個分片節點不一定會獨佔一臺機器，同一臺機器上可以有多個分片資料庫，這樣一個或多個分片節點所在的機器就是節點主機。為了規避單節點主機併發數量的限制，儘量將讀寫壓力高的分片節點均勻地放在不同的節點主機上。

五、MyCat原理介紹

MyCat原理中最重要的一個動詞是“攔截”，它攔截了使用者傳送過來的SQL語句，首先對SQL語句做了一些特定的分析，例如分片分析、路由分析、讀寫分離分析、快取分析等，然後將此SQL語句發往後端的真實資料庫，並將返回的結果做適當的處理，最終再返回給使用者。

MyCat收到一條SQL語句時，首先解析SQL語句涉及的表，接著檢視此表的定義，如果該表存在分片規則，則獲取SQL語句裡分片欄位的值，並匹配分片函式，得到該SQL語句對應的分片列表，然後將SQL語句傳送到相應的分片去執行，最後處理所有分片返回的資料並返回給客戶端。

六、MyCat配置

schema.xml是MyCat的重要配置檔案，它管理著邏輯庫、分片表、分片節點和分片主機等資訊。

service.xml是系統引數的配置檔案，掌握MyCat優化方法，必需熟悉該檔案的配置項。

sequence是全域性序列的配置檔案。

6.1 server.xml配置檔案

server.xml配置檔案包含了MyCat的系統配置資訊，對應的原始碼是SystemConfig.java。它有兩個重要的標籤，分別是user、system。掌握system標籤的各項配置屬性是MyCat調優的關鍵。

<MyCat:server xmlns:MyCat="http://io.MyCat/">
    <system>
    <property name="nonePasswordLogin">0</property> <!-- 0為需要密碼登陸、1為不需要密碼登陸 ,預設為0，設定為1則需要指定預設賬戶-->
    <property name="useHandshakeV10">1</property>
    <property name="useSqlStat">0</property>  <!-- 1為開啟實時統計、0為關閉 -->
    <property name="useGlobleTableCheck">0</property>  <!-- 1為開啟全加班一致性檢測、0為關閉 -->
        <property name="sequnceHandlerType">2</property>
    <property name="subqueryRelationshipCheck">false</property> <!-- 子查詢中存在關聯查詢的情況下,檢查關聯欄位中是否有分片欄位 .預設 false -->
      <!--  <property name="useCompression">1</property>--> <!--1為開啟mysql壓縮協議-->
        <!--  <property name="fakeMySQLVersion">5.6.20</property>--> <!--設定模擬的MySQL版本號-->
    <!-- <property name="processorBufferChunk">40960</property> -->
    <!-- 
    <property name="processors">1</property> 
    <property name="processorExecutor">32</property> 
     -->
        <!--預設為type 0: DirectByteBufferPool | type 1 ByteBufferArena | type 2 NettyBufferPool -->
        <property name="processorBufferPoolType">0</property>
        <!--預設是65535 64K 用於sql解析時最大文字長度 -->
        <!--<property name="maxStringLiteralLength">65535</property>-->
        <!--<property name="sequnceHandlerType">0</property>-->
        <!--<property name="backSocketNoDelay">1</property>-->
        <!--<property name="frontSocketNoDelay">1</property>-->
        <!--<property name="processorExecutor">16</property>-->
        <!--
            <property name="serverPort">8066</property> <property name="managerPort">9066</property> 
            <property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property> 
            <property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> -->
        <!--分散式事務開關，0為不過濾分散式事務，1為過濾分散式事務（如果分散式事務內只涉及全域性表，則不過濾），2為不過濾分散式事務,但是記錄分散式事務日誌-->
        <property name="handleDistributedTransactions">0</property>
        
            <!--
            off heap for merge/order/group/limit      1開啟   0關閉
        -->
        <property name="useOffHeapForMerge">1</property>
        <!--
            單位為m
        -->
        <property name="memoryPageSize">64k</property>
        <!--
            單位為k
        -->
        <property name="spillsFileBufferSize">1k</property>
        <property name="useStreamOutput">0</property>
        <!--
            單位為m
        -->
        <property name="systemReserveMemorySize">384m</property>
        <!--是否採用zookeeper協調切換  -->
        <property name="useZKSwitch">false</property>
        <!-- XA Recovery Log日誌路徑 -->
        <!--<property name="XARecoveryLogBaseDir">./</property>-->
        <!-- XA Recovery Log日誌名稱 -->
        <!--<property name="XARecoveryLogBaseName">tmlog</property>-->
        <!--如果為 true的話 嚴格遵守隔離級別,不會在僅僅只有select語句的時候在事務中切換連線-->
        <property name="strictTxIsolation">false</property>
        
        <property name="useZKSwitch">true</property>
        
    </system>
    
    <!-- 全域性SQL防火牆設定 -->
    <!--白名單可以使用萬用字元%或著*-->
    <!--例如<host host="127.0.0.*" user="root"/>-->
    <!--例如<host host="127.0.*" user="root"/>-->
    <!--例如<host host="127.*" user="root"/>-->
    <!--例如<host host="1*7.*" user="root"/>-->
    <!--這些配置情況下對於127.0.0.1都能以root賬戶登入-->
    <!--
    <firewall>
       <whitehost>
          <host host="1*7.0.0.*" user="root"/>
       </whitehost>
       <blacklist check="false">
       </blacklist>
    </firewall>
    -->
    <user name="root" defaultAccount="true">
        <property name="password">123456</property>
        <property name="schemas">TESTDB</property>
        
        <!-- 表級 DML 許可權設定 -->
        <!--        
        <privileges check="false">
            <schema name="TESTDB" dml="0110" >
                <table name="tb01" dml="0000"></table>
                <table name="tb02" dml="1111"></table>
            </schema>
        </privileges>       
         -->
    </user>
    <user name="user">
        <property name="password">user</property>
        <property name="schemas">TESTDB</property>
        <property name="readOnly">true</property>
    </user>
</MyCat:server>

6.2 schema.xml配置檔案

schema.xml 作為MyCat中重要的配置檔案之一，涵蓋了MyCat的邏輯庫、表、分片規則、分片節點及資料來源。

1）schema 標籤

<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">

schema標籤用於定義MyCat例項中的邏輯庫。MyCat可以有多個邏輯庫，每個邏輯庫都有自己的相關配置。可以使用schema標籤來劃分不同的邏輯庫，如果有配置schema標籤，則所有的表配置都會屬於同一個預設的邏輯庫。

<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
<table name="travelrecord" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
</schema>
<schema name="USERDB" checkSQLschema="false" sqlMaxLimit="100">
<table name="company" dataNode="dn10,dn11,dn12" rule="auto-sharding-long" />
</schema>

如上所示配置了兩個不同的邏輯庫，邏輯庫的概念等同於MySQL資料庫中的Database概念，我們在查詢邏輯庫中的表時，需要切換到該邏輯庫下才可以查詢其中的表。

checkSQLschema屬性，當把該值設定為true時，如果我們執行語句 select * from TESTDB.travelrecord;,則MyCat會把schema字元去掉，把SQL語句修改為select * from travelrecord;可避免傳送到後端資料庫執行時報錯。

SqlMaxLimit屬性，當該屬性設定為某個值時，每次執行的SQL語句如果沒有加上limit語句，MyCat也會自動在limit語句後加上對應的值。如果不設定該值，則MyCat會把查詢到的資訊全部返回。

2）table 標籤

<table name=”travelrecord” dataNode=”dn1,dn2,dn3” rule=”auto-sharding-long”></table>

table標籤定義了MyCat中的邏輯表，所有需要拆分的的表都需要在table標籤中定義。

table標籤的主要屬性見下表，具體介紹參見MyCat官方網站 http://www.MyCat.io 。

3）childTable 標籤

childTable標籤用於定義 E-R 分片的子表，通過標籤上的屬性與父表進行關聯。

4）dataNode標籤

dataNode標籤定義了MyCat中的資料節點，也就是我們通常所說的資料分片。一個dataNode標籤就是一個獨立的資料分片。

5）dataHost標籤

dataHost標籤在MyCat邏輯庫中作為底層標籤存在，直接定義了具體的資料庫例項，讀寫分離和心跳語句。

Heartbeat標籤用來配置心跳檢查語句，Mysql可以使用select user(),Oracle可以使用select 1 from dual 等。

writeHost和readHost是讀寫的配置，一個dataHost內可以配置多個讀和寫。但如果writeHost指定的後端資料庫當機，那麼這個writeHost繫結的所有readHost也將不可用;另一方面，MyCat會自動檢測到writeHost當機，並切換到備用的writeHost上。

七、MyCat分片

在MyCat中將表分為兩種大的概念：資料量小且不需要做資料切分的表，稱為非分片表；資料量大到單庫效能、容量不足以支撐，資料需要通過水平切分均勻分佈到不同的資料庫中的表，稱為分片表。而中介軟體最終需要處理的事情是對資料切分、聚合。

7.1 ER關係分片表

ER模型是實體關係模型，廣泛採用概念模型設計方法，基本元素是實體、關係和屬性。MyCat將它引入資料切分規則中，使得有互相依賴的表能夠按照某一規則切分到相同的節點上，避免跨庫Join關聯查詢。具體詳情配置內容在這裡不做描述請參考官方文件。

八、功能與優勢

8.1 常用命令

• MyCat提供類似資料管理監控方式，可以通過MySQL命令列登入管理埠（9066）執行相應的SQL語句進行管理，也可以通過JDBC方式進行遠端連線管理。
• Reload @@config命令用於更新配置檔案執行該命令，不用重啟即可進行配置檔案更新。
• Reload @@sqlstat用來關閉和開啟SQL監控分析。
• Show @@database命令用來顯示MyCat資料庫列表，執行結果對應schema.xml配置檔案的schema子節點。
• Show @@datanode用來顯示MyCat資料節點，執行結果對應schema.xml配置檔案的dataNode節點。
• Show @@heartbeat用於報告心跳狀態。
• Show @@connection用來獲取MyCat的前端連線狀態。
• Kill @@connection id,id,id 用來關閉連線。
• Show @@ cache用來檢視快取。
• Show @@datasource 用來檢視資料來源狀態，如果配置了主從或多主，則可以切換。
• Switch @@ datasource name:index 用於切換資料來源。
• Show @@syslog limit 用於顯示系統日誌。
• Show @@sql 顯示在MyCat中執行過的語句。
• Show @@shl.show 顯示慢SQL語句。
• Show @@sql.sum 顯示SQL語句的整體執行情況、讀寫比例等。

8.2 侷限性

delete操作不支援沒有主鍵的表。沒有主鍵的表在不同節點的順序不同，如果執行 select ...limit...，則將出現不同的結果集。

不支援XA事務，在提交上可能回滾。

由於叢集是樂觀的併發控制元件，事務commit可能在該階段中止，所以如果有兩個事務向叢集中的不同節點的同一行寫入並提交，則失敗的節點將中止。對於叢集級別的中止，叢集返回死鎖錯誤。

整個叢集的寫入吞吐量由最弱的節點限制，如果有一個節點變得緩慢，那麼整個叢集將變得緩慢。

叢集內部按照id自增長機制寫入資料，比如叢集中有三臺可能是3，6，9這樣的遞增。

8.3 與Sharding-JDBC對比Sharding-JDBC

MyCat是一箇中介軟體的第三方應用，sharding-jdbc是一個jar包。 因為MyCat是單獨部署，所以使用MyCat就像是訪問資料庫一樣，而sharding-jdbc的邏輯都是需要在工程裡寫的。

如果只是單獨應用可以使用輕量級的Sharding-JDBC，如果多個服務都需要運算元據庫則使用MyCat更合適。因為用Sharding-JDBC需要在每一個工程裡邊都配置上相應的分片等邏輯，而MyCat只需要配置一份單獨部署。

參考文獻

• 《分散式資料庫架構及企業實踐基於MyCat中介軟體》
• 官方網站：http://www.MyCat.io/  

作者：高玉瓏

來源：宜信技術學院

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/69918724/viewspace-2656608/，如需轉載，請註明出處，否則將追究法律責任。