一、MariaDB Galera Cluster概要：

1.簡述：

MariaDB Galera Cluster 是一套在mysql innodb儲存引擎上面實現multi-master及資料實時同步的系統架構，業務層面無需做讀寫分離工作，資料庫讀寫壓力都能按照既定的規則分發到各個節點上去。在資料方面完全相容 MariaDB 和 MySQL。

2.特性：

(1).同步複製 Synchronous replication

(2).Active-active multi-master 拓撲邏輯

(3).可對叢集中任一節點進行資料讀寫

(4).自動成員控制，故障節點自動從叢集中移除

(5).自動節點加入

(6).真正並行的複製，基於行級

(7).直接客戶端連線，原生的 MySQL 介面

(8).每個節點都包含完整的資料副本

(9).多臺資料庫中資料同步由 wsrep 介面實現

3.侷限性

(1).目前的複製僅僅支援InnoDB儲存引擎,任何寫入其他引擎的表，包括mysql.*表將不會複製,但是DDL語句會被複制的,因此建立使用者將會被複制,但是insert into mysql.user…將不會被複制的.

(2).DELETE操作不支援沒有主鍵的表,沒有主鍵的表在不同的節點順序將不同,如果執行SELECT…LIMIT… 將出現不同的結果集.

(3).在多主環境下LOCK/UNLOCK TABLES不支援,以及鎖函式GET_LOCK(), RELEASE_LOCK()…

(4).查詢日誌不能儲存在表中。如果開啟查詢日誌，只能儲存到檔案中。

(5).允許最大的事務大小由wsrep_max_ws_rows和wsrep_max_ws_size定義。任何大型操作將被拒絕。如大型的LOAD DATA操作。

(6).由於叢集是樂觀的併發控制，事務commit可能在該階段中止。如果有兩個事務向在叢集中不同的節點向同一行寫入並提交，失敗的節點將中止。對於叢集級別的中止，叢集返回死鎖錯誤程式碼(Error: 1213 SQLSTATE: 40001 (ER_LOCK_DEADLOCK)).

(7).XA事務不支援，由於在提交上可能回滾。

(8).整個叢集的寫入吞吐量是由最弱的節點限制，如果有一個節點變得緩慢，那麼整個叢集將是緩慢的。為了穩定的高效能要求，所有的節點應使用統一的硬體。

(9).叢集節點建議最少3個。

(10).如果DDL語句有問題將破壞叢集。

二、MariaDB Galera Cluster搭建演示
1 規劃

server1: 192.168.1.56
1. server2: 192.168.1.6
1. server3: 192.168.1.81
2. Galera SST user:sst
3. Galera SST password:sstpass123
4. MySQL root password:ESBecs00

2.配置mariadb的yum源(三臺機器都安裝)

[root@client137 ~]# vim /etc/yum.repos.d/mariadb.repo
# yum源的內容如下：

[mariadb]

name = MariaDB

baseurl =

enabled = 1

gpgkey=

gpgcheck=1
[root@client137 ~]# yum makecache

3.安裝 MariaDB-Galera-server galera MariaDB-client（3臺）

[root@client137 ~]# yum -y install MariaDB-Galera-server galera MariaDB-client

4.啟動測試是否安裝成功（3臺）

# 啟動測試一下
[root@client137 ~]# /etc/init.d/mysql start
Starting MySQL....
[root@client137 ~]# chkconfig mysql on
[root@client137 ~]# /usr/bin/mysql_secure_installation --設定root密碼，也可登上去後set password
# 登陸資料庫，授權用於叢集同步的使用者和密碼

[root@client137 ~]# mysql -uroot -pESBecs00

mysql> GRANT USAGE ON *.* to sst@'%' IDENTIFIED BY 'sstpass123';

mysql> GRANT ALL PRIVILEGES on *.* to sst@'%';

mysql> FLUSH PRIVILEGES;

mysql> quit

# 建立並配置wsrep.cnf檔案

[root@client137 ~]# cp /usr/share/mysql/wsrep.cnf /etc/my.cnf.d/

[root@client137 ~]# vim /etc/my.cnf.d/wsrep.cnf

5 .配置每臺機器的引數

192.168.1.56機器：

[root@client137 ~]# vim /etc/my.cnf.d/wsrep.cnf

# 只需要修改如下4行:

wsrep_provider=/usr/lib64/galera/libgalera_smm.so

wsrep_cluster_address="gcomm://"

wsrep_sst_auth=sst:sstpass123

wsrep_sst_method=rsync

# 注意:

#    "gcomm://" 是特殊的地址,僅僅是Galera cluster初始化啟動時候使用。

#    如果叢集啟動以後，我們關閉了56這第一個節點，那麼再次啟動的時候必須先修改，"gcomm://"為其他節點的叢集地址,例如wsrep_cluster_address="gcomm://192.168.1.81:4567"，也就是重啟後值向上一層

192.168.1.6機器

[root@client137 ~]# vim /etc/my.cnf.d/wsrep.cnf

# 只需要修改如下4行:

wsrep_provider=/usr/lib64/galera/libgalera_smm.so

wsrep_cluster_address="gcomm://192.168.1.56：4567"   # 這裡指向是指上一層的叢集地址

wsrep_sst_auth=sst:sstpass123

wsrep_sst_method=rsync

192.168.1.81機器

[root@client137 ~]# vim /etc/my.cnf.d/wsrep.cnf

# 只需要修改如下4行:

wsrep_provider=/usr/lib64/galera/libgalera_smm.so

wsrep_cluster_address="gcomm://192.168.1.6:4567" # 這裡指向是指上一層的叢集地址56或6都行

wsrep_sst_auth=sst:sstpass123

wsrep_sst_method=rsync

6.確認本機防火牆上開放了所需TCP 3306和TCP 4567的埠[也可以關閉防火牆]

[root@client137 ~]# iptables -A INPUT -i eth0 -p tcp --dport 3306 -j ACCEPT
[root@client137 ~]# iptables -A INPUT -i eth0 -p tcp --dport 4567 -j ACCEPT
# 啟動mariadb，檢視3306和4567埠是否被監聽
[root@client137 ~]# /etc/init.d/mysql restart
[root@client137 ~]# netstat -tulpn |grep -e 4567 -e 3306
tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN 32363/mysqld
tcp 0 0 0.0.0.0:4567 0.0.0.0:* LISTEN 32363/mysqld
重啟mariadb

7.新新增節點的配置

安裝---初始化---建立使用者--修改引數--防火牆配置（就是上面1-6步再來一遍，注意第5步的引數即可）

8.以上配置完成後，

對於只有2個節點的Galera Cluster和其他叢集軟體一樣，需要面對極端情況下的"腦裂"狀態。

為了避免這種問題，Galera引入了"arbitrator(仲裁人)"。

"仲裁人"節點上沒有資料,它在叢集中的作用就是在叢集發生分裂時進行仲裁，叢集中可以有多個"仲裁人"節點。

"仲裁人"節點加入叢集的方法如下:

[root@client137 ~]# garbd -a gcomm://192.168.1.137:4567 -g my_wsrep_cluster -d

# 註釋：引數說明:

-d：以daemon模式執行

-a：叢集地址

-g：叢集名稱

9.測試叢集是否配置好引數：

登陸資料庫：

檢視如下幾個引數：

# 下面這個引數的顯示是初始化資料庫顯示的情況

MariaDB [(none)]> SHOW VARIABLES LIKE 'wsrep_cluster_address';

+-----------------------+----------+

| Variable_name         | Value    |

+-----------------------+----------+

| wsrep_cluster_address | gcomm:// |

+-----------------------+----------+

1 row in set (0.00 sec)

# 如果配置了指向叢集地址，上面那個引數值，應該是你指定叢集的IP地址

MariaDB [kz]> SHOW VARIABLES LIKE 'wsrep_cluster_address';

+-----------------------+----------------------------+

| Variable_name         | Value                      |

+-----------------------+----------------------------+

| wsrep_cluster_address | gcomm://192.168.1.56:4567 |

+-----------------------+----------------------------+

1 row in set (0.00 sec)

# 此引數檢視是否開啟

MariaDB [kz]> show status like 'wsrep_ready';

+---------------+-------+

| Variable_name | Value |

+---------------+-------+

| wsrep_ready   | ON    |

+---------------+-------+

1 row in set (0.00 sec)

# 這個檢視wsrep的相關引數

MariaDB [terry]> show status like 'wsrep%';

+----------------------------+--------------------------------------+

| Variable_name              | Value                                |

+----------------------------+--------------------------------------+

| wsrep_local_state_uuid     | bb5b9e17-66c8-11e3-86ba-96854521d205 | uuid 叢集唯一標記

| wsrep_protocol_version     | 4                                    |

| wsrep_last_committed       | 16                                   | sql 提交記錄

| wsrep_replicated               | 4                                     | 隨著複製發出的次數

| wsrep_replicated_bytes      | 692                                  | 資料複製發出的位元組數

| wsrep_received                 | 18                                    | 資料複製接收次數

| wsrep_received_bytes        | 3070                                 | 資料複製接收的位元組數

| wsrep_local_commits         | 4                                      | 本地執行的 sql

| wsrep_local_cert_failures    | 0                                      | 本地失敗事務

| wsrep_local_bf_aborts        | 0                                      |從執行事務過程被本地中斷

| wsrep_local_replays           | 0                                      |

| wsrep_local_send_queue     | 0                                     | 本地發出的佇列

| wsrep_local_send_queue_avg | 0.142857                       | 佇列平均時間間隔

| wsrep_local_recv_queue     | 0                                      | 本地接收佇列

| wsrep_local_recv_queue_avg | 0.000000                        | 本地接收時間間隔

| wsrep_flow_control_paused | 0.000000                         |

| wsrep_flow_control_sent    | 0                                      |

| wsrep_flow_control_recv    | 0                                    |

| wsrep_cert_deps_distance   | 0.000000                          | 併發數量

| wsrep_apply_oooe           | 0.000000                             |

| wsrep_apply_oool           | 0.000000                             |

| wsrep_apply_window         | 1.000000                             |

| wsrep_commit_oooe          | 0.000000                             |

| wsrep_commit_oool          | 0.000000                             |

| wsrep_commit_window        | 1.000000                             |

| wsrep_local_state          | 4                                    |

| wsrep_local_state_comment | Synced                               |

| wsrep_cert_index_size      | 0                                    |

| wsrep_causal_reads         | 0                                    |

| wsrep_incoming_addresses   | 125.208.28.106:3306,192.168.1.81:3306,192.168.1.56:3306    | 連線中的資料庫

| wsrep_cluster_conf_id      | 18                                   |

| wsrep_cluster_size         | 3 | 叢集成員個數

| wsrep_cluster_state_uuid   | bb5b9e17-66c8-11e3-86ba-96854521d205 | 叢集 ID

| wsrep_cluster_status       | Primary                              | 主伺服器

| wsrep_connected            | ON                                   | 當前是否連線中

| wsrep_local_index          | 1                                    |

| wsrep_provider_name        | Galera                               |

| wsrep_provider_vendor      | Codership Oy     |

| wsrep_provider_version     | 2.7(rXXXX)                           |

| wsrep_ready                | ON                                   | 外掛是否應用中

+----------------------------+--------------------------------------+

#以上詳細引數註釋：

監控狀態引數說明:

(1).叢集完整性檢查:

wsrep_cluster_state_uuid:在叢集所有節點的值應該是相同的,有不同值的節點,說明其沒有連線入叢集.

wsrep_cluster_conf_id:正常情況下所有節點上該值是一樣的.如果值不同,說明該節點被臨時"分割槽"了.當節點之間網路連線恢復的時候應該會恢復一樣的值.

wsrep_cluster_size:如果這個值跟預期的節點數一致,則所有的叢集節點已經連線.

wsrep_cluster_status:叢集組成的狀態.如果不為"Primary",說明出現"分割槽"或是"split-brain"狀況.

(2).節點狀態檢查:

wsrep_ready: 該值為ON,則說明可以接受SQL負載.如果為Off,則需要檢查wsrep_connected.

wsrep_connected: 如果該值為Off,且wsrep_ready的值也為Off,則說明該節點沒有連線到叢集.

wsrep_local_state_comment:如果wsrep_connected為On,但wsrep_ready為OFF,則可以從該項檢視原因.

(3).複製健康檢查:

wsrep_flow_control_paused:表示複製停止了多長時間.即表明叢集因為Slave延遲而慢的程度.值為0~1,越靠近0越好,值為1表示複製完全停止.可最佳化wsrep_slave_threads的值來改善.

wsrep_cert_deps_distance:有多少事務可以並行應用處理.wsrep_slave_threads設定的值不應該高出該值太多.

wsrep_flow_control_sent:表示該節點已經停止複製了多少次.

wsrep_local_recv_queue_avg:表示slave事務佇列的平均長度.slave瓶頸的預兆.

最慢的節點的wsrep_flow_control_sent和wsrep_local_recv_queue_avg這兩個值最高.這兩個值較低的話,相對更好.

(4).檢測慢網路問題:

wsrep_local_send_queue_avg:網路瓶頸的預兆.如果這個值比較高的話,可能存在網路瓶

(5).衝突或死鎖的數目:

wsrep_last_committed:最後提交的事務數目

wsrep_local_cert_failures和wsrep_local_bf_aborts:回滾,檢測到的衝突數目

10.測試資料同步，一致等問題，這個測試不演示，概述一下大概思路：

(1).建立一個資料庫，看是否同步

(2).資料庫裡分別建立一個innodb和myisam引擎的表，看是否同步

(3).分別往這兩張表裡插入資料，看是否同步，除innodb引擎資料可以同步，其餘引擎是不同步

(4).在任意一節點插入，刪除資料，看是否同步

11.在上面galera叢集搭建完成後，我們可以藉助於haproxy和lvs來實現mysql資料庫叢集之間的負載

這裡就不演示，可以自己配置試試！

參考：

【Mariadb】利用MariaDB Galera Cluster實現mariadb的叢集環境

相關文章