基於 Docker 的 MySQL 主從複製搭建及原理(真正弄懂)

xugege發表於2019-06-27

為什麼基於Docker搭建?

  • 資源有限
  • 虛擬機器搭建對機器配置有要求,並且安裝mysql步驟繁瑣
  • 一臺機器上可以執行多個Docker容器
  • Docker容器之間相互獨立,有獨立ip,互不衝突
  • Docker使用步驟簡便,啟動容器在秒級別

利用Docker搭建主從伺服器

首先拉取docker映象,我們這裡使用5.7版本的mysql:
docker pull mysql:5.7
然後使用此映象啟動容器,這裡需要分別啟動主從兩個容器

Master(主):

docker run -p 3339:3306 --name mysql-master -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7

Slave(從)

docker run -p 3340:3306 --name mysql-slave -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7
Master對外對映的埠是3339,Slave對外對映的埠是3340。因為docker容器是相互獨立的,每個容器有其獨立的ip,所以不同容器使用相同的埠並不會衝突。這裡我們應該儘量使用mysql預設的3306埠,否則可能會出現無法通過ip連線docker容器內mysql的問題。
使用docker ps命令檢視正在執行的容器:

基於docker搭建Mysql的主從複製搭建

此時可以使用Navicat等工具測試連線mysql

基於docker搭建Mysql的主從複製搭建

配置Master(主)

通過docker exec -it 5ddad8c2f368 /bin/bash命令進入到Master容器內部,也可以通過docker exec -it mysql-master /bin/bash命令進入。5ddad8c2f368是容器的id,而mysql-master是容器的名稱。
cd /etc/mysql/mysql.conf.d切換到/etc/mysql/mysql.conf.d目錄下,然後vim mysqld.cnf對my.cnf進行編輯。此時會報出bash: vim: command not found,需要我們在docker容器內部自行安裝vim。使用apt-get install vim命令安裝vim
會出現如下問題:

基於docker搭建Mysql的主從複製搭建
執行apt-get update,然後再次執行apt-get install vim即可成功安裝vim。然後我們就可以使用vim編輯my.cnf,在my.cnf中新增如下配置:

[mysqld]
## 同一區域網內注意要唯一
server-id=100  
## 開啟二進位制日誌功能,可以隨便取(關鍵)
log-bin=mysql-bin

配置完成之後,需要重啟mysql服務使配置生效。使用service mysql restart完成重啟。重啟mysql服務時會使得docker容器停止,我們還需要docker start mysql-master啟動容器。
下一步在Master資料庫建立資料同步使用者,授予使用者 slave REPLICATION SLAVE許可權和REPLICATION CLIENT許可權,用於在主從庫之間同步資料。
首先連線mysql資料庫
root@5ddad8c2f368:/# mysql -uroot -p123456
CREATE USER 'slave'@'%' IDENTIFIED BY '123456';
GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'slave'@'%';

授予複製賬號REPLICATION CLIENT許可權,複製使用者可以使用SHOW MASTER STATUS, SHOW SLAVE STATUSSHOW BINARY LOGS來確定複製狀態。
授予複製賬號REPLICATION SLAVE許可權,複製才能真正地工作。

圖片

配置Slave(從)

和配置Master(主)一樣,在Slave配置檔案my.cnf中新增如下配置:

[mysqld]  
## 設定server_id,注意要唯一  server-id=101 
## 開啟二進位制日誌功能,以備Slave作為其它Slave的Master時使用  
log-bin=mysql-slave-bin 
## relay_log配置中繼日誌  
relay_log=edu-mysql-relay-bin

配置完成後也需要重啟mysql服務和docker容器,操作和配置Master(主)一致。

relay log很多方面都跟binary log差不多。區別是:從伺服器I/O執行緒將主伺服器的二進位制日誌讀取過來記錄到從伺服器本地檔案,然後SQL執行緒會讀取relay-log日誌的內容並應用到從伺服器,從而使從伺服器和主伺服器的資料保持一致。

(實戰)基於Docker的Mysql主從複製搭建(真正弄懂)

連結Master(主)和Slave(從)

在Master進入mysql,執行show master status;
(實戰)基於Docker的Mysql主從複製搭建(真正弄懂)
File和Position欄位的值後面將會用到,在後面的操作完成之前,需要保證Master庫不能做任何操作,否則將會引起狀態變化,File和Position欄位的值變化。
在Slave 中進入 mysql,執行

CHANGE MASTER TO master_host = '172.17.0.2',
master_user = 'slave',
master_password = '123456',
master_port = 3306,
master_log_file = 'mysql-bin.000001',
master_log_pos = 617,
master_connect_retry = 30;

命令說明:
master_host :Master的地址,指的是容器的獨立ip,可以通過docker inspect --format='{{.NetworkSettings.IPAddress}}' 容器名稱|容器id查詢容器的ip

(實戰)基於 Docker 的 MySQL 主從複製搭建(真正弄懂)

master_port:Master的埠號,指的是容器的埠號
master_user:用於資料同步的使用者
master_password:用於同步的使用者的密碼
master_log_file:指定 Slave 從哪個日誌檔案開始複製資料,即上文中提到的 File 欄位的值
master_log_pos:從哪個 Position 開始讀,即上文中提到的 Position 欄位的值
master_connect_retry:如果連線失敗,重試的時間間隔,單位是秒,預設是60秒
在Slave 中的mysql終端執行show slave status \G;用於檢視主從同步狀態。
(實戰)基於 Docker 的 MySQL 主從複製搭建(真正弄懂)
正常情況下,SlaveIORunning 和 SlaveSQLRunning 都是No,因為我們還沒有開啟主從複製過程。使用start slave開啟主從複製過程,然後再次查詢主從同步狀態show slave status \G;
(實戰)基於 Docker 的 MySQL 主從複製搭建(真正弄懂)
SlaveIORunning 和 SlaveSQLRunning 都是Yes,說明主從複製已經開啟。此時可以測試資料同步是否成功。
主從複製排錯:
(實戰)基於 Docker 的 MySQL 主從複製搭建(真正弄懂)
使用start slave開啟主從複製過程後,如果SlaveIORunning一直是Connecting,則說明主從複製一直處於連線狀態,這種情況一般是下面幾種原因造成的,我們可以根據 Last_IO_Error提示予以排除。

  • 網路不通
    檢查ip,埠
  • 密碼不對
    檢查是否建立用於同步的使用者和使用者密碼是否正確
  • pos不對
    檢查Master的 Position

測試主從複製

測試主從複製方式就十分多了,最簡單的是在Master建立一個資料庫,然後檢查Slave是否存在此資料庫。
Master:
(實戰)基於 Docker 的 MySQL 主從複製搭建(真正弄懂)
Slave:
(實戰)基於 Docker 的 MySQL 主從複製搭建(真正弄懂)

完整的主備流程圖

最後讓我們來看一下,一個 update 語句在節點 A 執行,然後同步到節點 B的完整流程圖。
基於 Docker 的 MySQL 主從複製搭建(真正弄懂)
可以看到:主庫接收到客戶端的更新請求後,執行內部事務的更新邏輯,同時寫入binlog。
備庫B跟主庫A之間維持了一個長連線。主庫A內部有一個執行緒,專門用於服務備庫B的這個長連線。
一個事務日誌同步的完整過程是這樣的:

  • 1、在備庫B上通過change master命令,設定主庫A的IP、埠、使用者名稱、密碼、以及要從哪個位置開始請求binlog,這個位置包含檔名和日誌偏移量。
  • 2、在備庫B上執行start slave命令,這時侯備庫會啟動兩個執行緒,io_thread 和 sql_thread。其中, io_thread負責與主庫建立連線。
  • 3、主庫A校驗完使用者名稱、密碼後,開始按照備庫B傳過來的位置,從本地讀取binlog,發給B。
  • 4、備庫B拿到binlog後,寫到本地檔案,稱為中轉日誌(relay log)。
  • 5、sql_thread讀取中轉日誌,解析日誌裡的命令,並執行。
本作品採用《CC 協議》,轉載必須註明作者和本文連結

相關文章