Mysql讀寫分離方案－Amoeba環境部署記錄

 

Mysql的讀寫分離可以使用MySQL Proxy，也可以使用Amoeba。Amoeba(變形蟲)專案是一個類似MySQL Proxy的分散式資料庫中間代理層軟體，是由陳思儒開發的一個開源的java專案。其主要功能包括讀寫分離，垂直分庫，水平分庫等，經過測試，發現其功能和穩定性都非常的不錯，如果需要構架分散式資料庫環境，採用Amoeba是一個不錯的方案。目前Amoeba一共包括For aladdin,For MySQL和For Oracle三個版本，以下介紹主要關注For MySQL版本的一個讀寫分離實現。實際上垂直切分和水平切分的架構也相差不大，改動幾個配置就可以輕鬆實現。下圖是一個採用Amoeba的讀寫分離技術結合MySQL的Master-Slave Replication的一個分散式系統的架構：

Amoeba處於在應用和資料庫之間，扮演一箇中介的角色，將應用傳遞過來的SQL語句經過分析後，將寫的語句交給Master庫執行，將讀的語句路由到Slave庫執行（當然也可以到Master讀，這個完全看配置）。Amoeba實現了簡單的負載均衡（採用輪詢演算法，在配置檔案裡設定）和Failover。如果配置了多個讀的庫，則任何一個讀的庫出現當機，不會導致整個系統故障，Amoeba能自動將讀請求路由到其他可用的庫上，當然，寫還是單點的依賴於Master資料庫的，這個需要通過資料庫的切換，或者水平分割等技術來提升Master庫的可用性。

Amoeba可以在不同機器上啟動多個，並且做同樣的配置來進行水平擴充套件，以分擔壓力和提升可用性，可以將Amoeba和MySQL裝在同一臺機器，也可以裝在不同的機器上，Amoeba本身不做資料快取，所以對於記憶體消耗很少，主要是CPU佔用。對於應用來說，圖中的三個Amoeba就是三臺一模一樣的MySQL資料庫，連線其中任何一臺都是可以的，所以需要在應用端有一個Load balance和Failover的機制，需要連線資料庫時從三臺中隨機挑選一臺即可，如果其他任何一臺出現故障，則可以自動Failover到剩餘的可用機器上。MySQL的JDBC驅動從connector-j 3.17版本起已經提供了這樣的負載均衡和故障切換的功能，那麼剩下的事情對於應用來說就很簡單了，不需要做太多的改動就能搭建一套高可用的MySQL分散式資料庫環境，何樂而不為？

Amoeba專注分散式資料庫proxy開發。Amoeba身處在Client、DB Server(s)之間，對客戶端透明，具有負載均衡、高可用性、sql過濾、讀寫分離、可路由相關的query到目標資料庫、可併發請求多臺資料庫合併結果。
Amoeba主要解決：
1）降低 資料切分帶來的複雜多資料庫結構
2）提供切分規則並降低 資料切分規則 給應用帶來的影響
3）降低db 與客戶端的連線數
4）讀寫分離

為什麼要用Amoeba
目前要實現mysql的主從讀寫分離，主要有以下幾種方案：
1）通過程式實現，網上很多現成的程式碼，比較複雜，如果新增從伺服器要更改多臺伺服器的程式碼。
2）通過mysql-proxy來實現，由於mysql-proxy的主從讀寫分離是通過lua指令碼來實現，目前lua的指令碼的開發跟不上節奏，而寫沒有完美的現成的指令碼，因此導致用於生產環境的話風險比較大，據網上很多人說mysql-proxy的效能不高。
3）自己開發介面實現，這種方案門檻高，開發成本高，不是一般的小公司能承擔得起。
4）利用阿里巴巴的開源專案Amoeba來實現，具有負載均衡、高可用性、sql過濾、讀寫分離、可路由相關的query到目標資料庫，並且安裝配置非常簡單。經測試，效能相比mysql-proxy較高。

下面就基於Amoeba的讀寫分離環節部署做一記錄：

1）環境準備

182.48.115.236     master-node
182.48.115.238     slave-node
182.48.115.237     amoeba-node

182.48.115.236和182.48.115.238做成mysql主從複製。關閉三臺機器的iptables防火牆和selinux
mysql安裝參考：http://www.cnblogs.com/kevingrace/p/6109679.html
mysql主從部署參考：http://www.cnblogs.com/kevingrace/p/6256603.html

2）amoeba安裝

Amoeba框架是居於JDK1.5開發的，採用了JDK1.5的特性，所以還需要安裝java環境，建議使用javaSE1.5以上的JDK版本.

1）安裝java環境
安裝參考：http://www.cnblogs.com/kevingrace/p/5870814.html
[root@amoeba-node ~]# yum -y install java-1.7.0-openjdk*

設定java的環境變數
[root@amoeba-node ~]# vim /etc/profile
.......
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk.x86_64
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

使之生效
[root@amoeba-node ~]# source /etc/profile

[root@amoeba-node ~]# java -version
java version "1.7.0_141"
OpenJDK Runtime Environment (rhel-2.6.10.1.el6_9-x86_64 u141-b02)
OpenJDK 64-Bit Server VM (build 24.141-b02, mixed mode)

2）安裝Amoeba
下載地址：https://sourceforge.net/projects/amoeba/
百度雲盤下載：https://pan.baidu.com/s/1c1FRsbe    提取密碼：xav2

Amoeba安裝非常簡單，直接解壓即可使用，這裡將Amoeba解壓到/usr/local/amoeba目錄下，這樣就安裝完成了
[root@amoeba-node ~]# unzip amoeba-mysql-3.0.5-RC-distribution.zip 
[root@amoeba-node ~]# mv amoeba-mysql-3.0.5-RC /usr/local/amoeba
[root@amoeba-node ~]# cd /usr/local/amoeba
[root@amoeba-node amoeba]# ll
總用量 20
drwxrwxrwx. 2 root root 4096 7月   5 2013 benchmark
drwxrwxrwx. 2 root root 4096 7月   5 2013 bin
drwxrwxrwx. 2 root root 4096 7月   5 2013 conf
-rwxrwxrwx. 1 root root  728 7月   5 2013 jvm.properties
drwxrwxrwx. 2 root root 4096 7月   5 2013 lib

3）配置Amoeba
Amoeba的配置檔案位於/usr/local/amoeba/conf目錄下。配置檔案比較多，但是僅僅使用讀寫分離功能，只需配置兩個檔案即可，分別是dbServers.xml和amoeba.xml，
如果需要配置ip訪問控制，還需要修改access_list.conf檔案，下面首先介紹dbServers.xml的配置：
[root@amoeba-node amoeba]# cat conf/dbServers.xml 
<?xml version="1.0" encoding="gbk"?>

<!DOCTYPE amoeba:dbServers SYSTEM "dbserver.dtd">
<amoeba:dbServers xmlns:amoeba="http://amoeba.meidusa.com/">

    <!-- 
      Each dbServer needs to be configured into a Pool,
      If you need to configure multiple dbServer with load balancing that can be simplified by the following configuration:
       add attribute with name virtual = "true" in dbServer, but the configuration does not allow the element with name factoryConfig
       such as 'multiPool' dbServer   
    -->
    
  <dbServer name="abstractServer" abstractive="true">
    <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
      <property name="connectionManager">${defaultManager}</property>
      <property name="sendBufferSize">64</property>
      <property name="receiveBufferSize">128</property>
        
      <!-- mysql port -->
      <property name="port">3306</property>            //設定Amoeba要連線的mysql資料庫的埠，預設是3306
      
      <!-- mysql schema -->
      <property name="schema">huanqiutest</property>         //設定預設的資料庫，當連線amoeba時，操作表必須顯式的指定資料庫名，即採用dbname.tablename的方式，不支援 use dbname指定預設庫，因為操作會排程到各個後端dbserver
      
      <!-- mysql user -->
      <property name="user">wang</property>        //設定amoeba連線後端資料庫伺服器的賬號，因此需要在所有後端資料庫上建立該使用者，並授權amoeba伺服器可連線
      
      <property name="password">wang123456</property>     //設定amoeba連線後端資料庫伺服器的密碼
    </factoryConfig>

    <poolConfig class="com.meidusa.toolkit.common.poolable.PoolableObjectPool">
      <property name="maxActive">500</property>      //最大連線數，預設500
      <property name="maxIdle">500</property>        //最大空閒連線數
      <property name="minIdle">1</property>          //最新空閒連線數
      <property name="minEvictableIdleTimeMillis">600000</property>
      <property name="timeBetweenEvictionRunsMillis">600000</property>
      <property name="testOnBorrow">true</property>
      <property name="testOnReturn">true</property>
      <property name="testWhileIdle">true</property>
    </poolConfig>
  </dbServer>

  <dbServer name="masterdb"  parent="abstractServer">     //設定一個後端可寫的dbServer，這裡定義為masterdb，這個名字可以任意命名，後面在amoeba.xml檔案裡會用到
    <factoryConfig>
      <!-- mysql ip -->
      <property name="ipAddress">182.48.115.236</property>    //設定後端可寫dbserver的ip
    </factoryConfig>
  </dbServer>
  
  <dbServer name="slavedb"  parent="abstractServer">        //設定後端可讀dbserver（如果是多個slave從節點，這裡就配置多個<dbServer ... </dbServer>,然後加入到後面第一的可讀的組內）
    <factoryConfig>
      <!-- mysql ip -->
      <property name="ipAddress">182.48.115.238</property>     //設定後端可讀dbserver的ip
    </factoryConfig>
  </dbServer>
  
  <dbServer name="myslave" virtual="true">              //設定定義一個虛擬的dbserver，實際上相當於一個dbserver組，這裡將可讀的資料庫ip統一放到一個組中，將這個組的名字命名為myslave
    <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
      <!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
      <property name="loadbalance">1</property>          //選擇排程演算法，1表示複製均衡，2表示權重，3表示HA， 這裡選擇1
      
      <!-- Separated by commas,such as: server1,server2,server1 -->
      <property name="poolNames">slavedb</property>                  //myslave組成員
    </poolConfig>
  </dbServer>
    
</amoeba:dbServers>


另一個配置檔案amoeba.xml
[root@amoeba-node amoeba]# cat conf/amoeba.xml 
<?xml version="1.0" encoding="gbk"?>

<!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd">
<amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/">

  <proxy>
  
    <!-- service class must implements com.meidusa.amoeba.service.Service -->
    <service name="Amoeba for Mysql" class="com.meidusa.amoeba.mysql.server.MySQLService">
      <!-- port -->
      <property name="port">8066</property>             //設定amoeba監聽的埠，預設是8066
      
      <!-- bind ipAddress -->                        //下面配置監聽的介面，如果不設定，預設監聽所以的IP
      <!-- 
      <property name="ipAddress">127.0.0.1</property>    
       -->
      
      <property name="connectionFactory">
        <bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory">
          <property name="sendBufferSize">128</property>
          <property name="receiveBufferSize">64</property>
        </bean>
      </property>
      
      <property name="authenticateProvider">
        <bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">
          
          <property name="user">root</property>     //提供客戶端連線amoeba時需要使用這裡設定的賬號 (這裡的賬號密碼和amoeba連線後端資料庫伺服器的密碼無關)
          
          <property name="password">123456</property>
          
          <property name="filter">
            <bean class="com.meidusa.toolkit.net.authenticate.server.IPAccessController">
              <property name="ipFile">${amoeba.home}/conf/access_list.conf</property>
            </bean>
          </property>
        </bean>
      </property>
      
    </service>
    
    <runtime class="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext">
      
      <!-- proxy server client process thread size -->
      <property name="executeThreadSize">128</property>
      
      <!-- per connection cache prepared statement size  -->
      <property name="statementCacheSize">500</property>
      
      <!-- default charset -->
      <property name="serverCharset">utf8</property>
      
      <!-- query timeout( default: 60 second , TimeUnit:second) -->
      <property name="queryTimeout">60</property>
    </runtime>
    
  </proxy>
  
  <!-- 
    Each ConnectionManager will start as thread
    manager responsible for the Connection IO read , Death Detection
  -->
  <connectionManagerList>
    <connectionManager name="defaultManager" class="com.meidusa.toolkit.net.MultiConnectionManagerWrapper">
      <property name="subManagerClassName">com.meidusa.toolkit.net.AuthingableConnectionManager</property>
    </connectionManager>
  </connectionManagerList>
  
    <!-- default using file loader -->
  <dbServerLoader class="com.meidusa.amoeba.context.DBServerConfigFileLoader">
    <property name="configFile">${amoeba.home}/conf/dbServers.xml</property>
  </dbServerLoader>
  
  <queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
    <property name="ruleLoader">
      <bean class="com.meidusa.amoeba.route.TableRuleFileLoader">
        <property name="ruleFile">${amoeba.home}/conf/rule.xml</property>
        <property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property>
      </bean>
    </property>
    <property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>
    <property name="LRUMapSize">1500</property>
    <property name="defaultPool">masterdb</property>         //設定amoeba預設的池，這裡設定為masterdb(這個是在dbServers.xml檔案裡定義的)
    
    <property name="writePool">masterdb</property>        //這兩個選項預設是登出掉的，一定要取消註釋！否則讀寫分離無效，這裡用來指定前面定義好的寫池
    <property name="readPool">myslave</property>          //取消註釋，這個是前面在dbServers.xml檔案裡定義的讀池
  
    <property name="needParse">true</property>
  </queryRouter>
</amoeba:configuration>

4）在masterdb上（即master節點機182.48.115.236上）建立資料庫huanqiutest
mysql> create database huanqiutest;
Query OK, 1 row affected (0.00 sec)

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| huanqiutest        |
| mysql              |
| performance_schema |
| test               |
+--------------------+
5 rows in set (0.00 sec)

然後在slavedb上（即slave節點182.48.115.238上）檢視是否複製成功
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| huanqiutest        |
| mysql              |
| performance_schema |
| test               |
+--------------------+
5 rows in set (0.00 sec)

分別在masterdb和slavedb上為amoedb授權
mysql> GRANT ALL ON huanqiutest.* TO 'wang'@'182.48.115.237' IDENTIFIED BY 'wang123456';
Query OK, 0 rows affected (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

啟動amoeba
[root@amoeba-node ~]# /usr/local/amoeba/bin/launcher
....................................................................................
報錯1:
The stack size specified is too small, Specify at least 228k
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.
解決辦法：
從錯誤文字上看，應該是由於stack size太小，導致JVM啟動失敗，要如何修改呢？
其實Amoeba已經考慮到這個問題，並將JVM引數配置寫在屬性檔案裡，可以通過該屬性檔案修改JVM引數。
修改jvm.properties檔案JVM_OPTIONS引數。
[root@amoeba-node ~]# vim /usr/local/amoeba/jvm.properties 
將內容
JVM_OPTIONS="-server -Xms256m -Xmx1024m -Xss196k -XX:PermSize=16m -XX:MaxPermSize=96m"
修改為
JVM_OPTIONS="-server -Xms1024m -Xmx1024m -Xss256k -XX:PermSize=16m -XX:MaxPermSize=96m"

再次啟動Amoeba就ok了
[root@amoeba-node ~]# nohup /usr/local/amoeba/bin/launcher &      //將amoeba放在後臺執行。該命令執行後，按ctrl＋c
[root@amoeba-node ~]# ps -ef|grep amoeba
root     19079     1  1 15:01 pts/0    00:00:02 /usr/lib/jvm/java-1.7.0-openjdk.x86_64/bin/java -server -Xms1024m -Xmx1024m -Xss256k -XX:PermSize=16m -XX:MaxPermSize=96m -Dproject.home=/usr/local/amoeba -Damoeba.home=/usr/local/amoeba -Dproject.name=Amoeba-MySQL -Dproject.output=/usr/local/amoeba/logs -Dignore.signals=1,2 -Dclassworlds.conf=/usr/local/amoeba/bin/launcher.classpath -classpath /usr/local/amoeba/lib/plexus-classworlds-2.4.2-HEXNOVA.jar org.codehaus.classworlds.Launcher
root     19103 19009  0 15:02 pts/0    00:00:00 /bin/bash /usr/local/amoeba/bin/launcher
root     19109 19103  0 15:02 pts/0    00:00:00 tail -f /usr/local/amoeba/logs/console.log
root     19172 19009  0 15:04 pts/0    00:00:00 grep amoeba
[root@amoeba-node ~]# lsof -i:8066
COMMAND   PID USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
java    19079 root   64u  IPv6 2705157      0t0  TCP *:8066 (LISTEN)
..................................................................................

3）amoeba讀寫分離測試

注意：上面在amoeba.xml中指定的連線amoba的帳號和密碼（即root／123456）要提前在master和slave兩臺節點機上授權
mysql> grant all on *.* to root@'182.58.115.%' identified by "123456";
Query OK, 0 rows affected (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

然後在mysql客戶端通過amoeba配置檔案amoeba.xml中指定的使用者名稱、密碼、和埠以及amoeba伺服器ip地址遠端登陸mysql資料庫
[root@localhost ~]# mysql -h182.48.115.237 -uroot -p123456 -P8066
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 2052322366
Server version: 5.1.45-mysql-amoeba-proxy-3.0.4-BETA Source distribution

Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| huanqiutest        |
| test               |
+--------------------+
3 rows in set (0.00 sec)

在huanqiutest庫建立haha表，並插入資料
mysql> use huanqiutest;
Database changed

mysql> create table if not exists haha (id int(10) PRIMARY KEY AUTO_INCREMENT,name varchar(50) NOT NULL);
Query OK, 0 rows affected (0.20 sec)

mysql> insert into haha values(1,"wangshibo"),(2,"guohuihui");
Query OK, 2 rows affected (0.01 sec)
Records: 2  Duplicates: 0  Warnings: 0

mysql> select * from haha;
+----+-----------+
| id | name      |
+----+-----------+
|  1 | wangshibo |
|  2 | guohuihui |
+----+-----------+
2 rows in set (0.01 sec)

分別登陸masterdb（即master-node節點）和slavedb（slave-node節點）檢視資料
master-node資料庫
mysql> select * from huanqiutest.haha;
+----+-----------+
| id | name      |
+----+-----------+
|  1 | wangshibo |
|  2 | guohuihui |
+----+-----------+
2 rows in set (0.00 sec)

slave-node資料庫
mysql> select * from huanqiutest.haha;
+----+-----------+
| id | name      |
+----+-----------+
|  1 | wangshibo |
|  2 | guohuihui |
+----+-----------+
2 rows in set (0.00 sec)

-------------------------------------------------------------------------
停掉masterdb，然後在客戶端分別執行插入和查詢功能
[root@master-node ~]# /etc/init.d/mysql stop
Shutting down MySQL............ SUCCESS! 

客戶端連線amoeba後插入新資料
mysql> insert into huanqiutest.haha values(3,"zhangmin");
ERROR 1044 (42000): Amoeba could not connect to MySQL server[182.48.115.236:3306],拒絕連線

mysql> select * from huanqiutest.haha;
+----+-----------+
| id | name      |
+----+-----------+
|  1 | wangshibo |
|  2 | guohuihui |
+----+-----------+
2 rows in set (0.01 sec)

可以看到，關掉masterdb後，寫入報錯，讀正常
------------------------------------------------------------------------
開啟masterdb上的msyql 關閉slavedb上的mysql

masterdb
[root@master-node ~]# /etc/init.d/mysql start
Starting MySQL.. SUCCESS! 

slavedb
[root@slave-node ~]# /etc/init.d/mysql stop
Shutting down MySQL....                                    [確定]

客戶端再次嘗試
mysql> insert into huanqiutest.haha values(3,"zhangmin");
Query OK, 1 row affected (0.01 sec)

mysql> select * from huanqiutest.haha;
ERROR 1044 (42000): poolName=myslave, no valid pools

可以看到插入成功，讀取失敗
------------------------------------------------------------------------
開啟slavedb上的mysql，檢視資料是否自動同步
[root@slave-node ~]# /etc/init.d/mysql start
Starting MySQL..                                           [確定]

客戶端：
mysql> select * from huanqiutest.haha;
+----+-----------+
| id | name      |
+----+-----------+
|  1 | wangshibo |
|  2 | guohuihui |
|  3 | zhangmin  |
+----+-----------+
3 rows in set (0.00 sec)

由此可見，amoeba的讀寫分離的效果已經很明顯了！上面是amoeba針對一個庫的讀寫分離配置，如果是多個庫的讀寫分離，可以部署多個amoeba例項，amoeba埠不一樣，然後啟動多個例項即可。

....................................................................................................................
Amoeba的有關配置檔案說明

主配置檔案：amoeba.xml                  用來配置Amoeba服務的基本引數，如Amoeba主機地址、埠、認證方式、用於連線的使用者名稱、密碼、執行緒數、超時時間、其他配置檔案的位置等。
資料庫伺服器配置檔案：dbServers.xml       用來儲存和配置Amoeba所代理的資料庫伺服器的資訊，如:主機IP、埠、使用者名稱、密碼等。
切分規則配置檔案rule.xml                 用來配置切分規則。
資料庫函式配置檔案:functionMap.xml       用來配置資料庫函式的處理方法，Amoeba將使用該配置檔案中的方法解析資料庫函式。
切分規則函式配置檔案ruleFunctionMap.xml   用來配置切分規則中使用的使用者自定義函式的處理方法。
訪問規則配置檔案:access_list.conf        用來授權或禁止某些伺服器IP訪問Amoeba。
日誌規格配置檔案log4j.xml                用來配置Amoeba輸出日誌的級別和方式。