複製功能是將一個mysql資料庫上的資料復到一個或多個mysql從資料庫上。
複製的原理:在主伺服器上執行的所有DDL和DML語句都會被記錄到二進位制日誌中,這些日誌由連線到它的從伺服器獲取,並複製到從庫,並儲存為中繼日誌,
這個過程由一個稱為 IO執行緒 的執行緒負責,還有一個稱為 SQL執行緒 的則按順序執行中繼日誌中的語句。
複製有多種拓撲形式:
1、傳統複製,一主多從,一個主伺服器多個從伺服器。
2、鏈式複製,一臺伺服器從主庫複製,而另一臺伺服器又從這臺複製,中間伺服器又叫中繼主庫。
3、主主複製,兩個主庫互相接受寫入和複製。
4、多源複製,一個從庫,從多個主庫複製。
一、複製如何操作
1、在主庫上啟用二進位制日誌記錄。
2、在主庫上建立一個複製使用者。
3、在從訓上設定唯一的 server_id。
4、從主庫中備份資料。
5、在從庫上恢復主庫備份的資料。
6、執行CHANGE MASTER TO命令。
7、開始複製。
二、具體的操作步驟如下:
1、在 主庫 上,啟用二進位制日誌並設定server_id。
#設定server_id
server_id = 1
#開啟binlog日誌
log-bin = mysql-bin
2、在主庫上建立複製使用者
create user '使用者名稱'@'%' identified by '密碼';
grant replication slave on *.* to '使用者名稱'@'%';
3、在從庫上設定server_id
#設定server_id
server_id = 10
4、備份主庫上的資料
mysqldump -u root -p --all-databases --routines --events --triggers --single-transaction --master-data > 匯出路徑
5、在從庫上恢復主庫匯出的資料
mysql -u root -p -f < 主庫備份檔案.sql
6、在從庫上執行 CHANGE MASTER TO 命令
CHANGE MASTER TO
MASTER_HOST='主庫IP',
MASTER_USER='主庫複製使用者',
MASTER_PASSWORD='密碼',
MASTER_LOG_FILE='二進位制日誌名稱',
MASTER_LOG_POS=二進位制日誌位置;
二進位制日誌名稱和二進位制日誌位置,已經在備份主庫檔案中包含了,類似如下所示:
CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000016', MASTER_LOG_POS=47845;
7、從庫上執行 start slave,然後 show slave status\G; 檢視複製狀態;
三、設定主主複製
假設主庫分別是master1和master2。
1、設定master2為只讀
set @@global.read_only = on;
2、在master2上建立複製使用者,如果存在,則不用建立了
create user '使用者名稱'@'%' identified by '密碼';
grant replication slave on *.* to '使用者名稱'@'%';
3、確保master2已開啟二進位制日誌,檢查master2上的二進位制日誌的座標
show master status;
4、根據第2步的資訊,在master1上執行 CHANGE MASTER TO 命令
CHANGE MASTER TO
MASTER_HOST='MASTER2主機IP',
MASTER_USER='MASTER2複製使用者',
MASTER_PASSWORD='密碼',
MASTER_LOG_FILE='二進位制日誌名稱',
MASTER_LOG_POS=二進位制日誌位置;
5、在master1上開啟 slave 模式
start slave;
6、設定master2為可讀寫
set @@global.read_only = off;
四、設定多源複製
設定 server3 為 server1 和 server2 的從庫。
1、設定 server1 和 server2 的二進位制日誌和server_id,具體操作可參考上面。
2、在 server1 和 server2 上建立複製使用者,具體操作可參考上面。
3、在 server3 上設定 server_id。
4、備份 server1 和 server2 的資料。
5、在 server3 上恢復 server1 和 server2 上備份的資料。
6、在 server3 上,將複製儲存庫從 FILE 改為 TABLE,
stop slave;
set global master_info_repository = 'TABLE';
set global relay_log_info_repository = 'TABLE';
還需要在配置檔案中修改:
[mysqld]
master-info-repository = TABLE
relay-log-info-repository = TABLE
7、在 server3 上,執行 CHANGE MASTER TO 命令,並命名通道名
CHANGE MASTER TO
MASTER_HOST='server1主機IP',
MASTER_USER='server1複製使用者',
MASTER_PASSWORD='密碼',
MASTER_LOG_FILE='server1二進位制日誌名稱',
MASTER_LOG_POS=server1二進位制日誌位置 FOR CHANNEL 'server1';
CHANGE MASTER TO
MASTER_HOST='server2主機IP',
MASTER_USER='server2複製使用者',
MASTER_PASSWORD='密碼',
MASTER_LOG_FILE='server2二進位制日誌名稱',
MASTER_LOG_POS=server2二進位制日誌位置 FOR CHANNEL 'server2';
8 、在 server3 上,為每個通道執行 START SLAVE FOR CHANNEL 語句
start slave for channel 'server1';
start slave for channel 'server2';
9、檢視同步狀態,show slave status\G;
要獲取指定通道的從庫狀態,show slave status for channel '通道名稱'\G;
五、設定複製篩選器
可以選擇要複製哪些表或資料庫,在主庫上,可以使用--binlog-do-db 和 --binlog-ignore-db 選項來選擇要記錄變更的資料庫,以控制二進位制日誌。更好的方法是控制從庫。
1、複製指定資料庫
CHANGE REPLICATION FILTER REPLICATE_DO_DB = (db1, db2);
2、複製指定表
CHANGE REPLICATION FILTER REPLICATE_DO_TABLE = ('db1.table1');
3、如果想使用萬用字元來選擇表
CHANGE REPLICATION FILTER REPLICATE_WILD_DO_TABLE = ('db1.tb_%');
4、忽略資料庫
CHANGE REPLICATION FILTER REPLICATE_IGNORE_DB = (db1, db2);
5、忽略指定表
CHANGE REPLICATION FILTER REPLICATE_IGNORE_TABLE = ('db1.table1');
六、將從庫由主從複製切換到鏈式複製
比如現在伺服器A為主庫,伺服器B和伺服器C為從庫,複製於伺服器A。現在想把伺服器C作為伺服器B的從庫。
1、在伺服器C上停止從庫執行
stop slave;
show slave status\G;
記錄下Relay_Master_Log_File和Exec_Master_Log_Pos的值
2、在伺服器B上停止從庫執行
stop slave;
show slave status\G;
記錄下Relay_Master_Log_File和Exec_Master_Log_Pos的值
3、將伺服器B的日誌位置與伺服器C的進行比較,找出哪一個是伺服器A最新同步,通常,伺服器C先停止從庫執行,伺服器B的日誌會更靠前。
4、在伺服器C上,使用 START SLAVE UNTIL 語句將其同步到伺服器B的日誌位置:
START SLAVE UNTIL MASTER_LOG_FILE='上一步中伺服器B日誌名稱', MASTER_LOG_POS=上一步中伺服器B日誌位置;
5、在伺服器C上,檢查 show slave status 中 Exec_Master_Log_Pos 和 Until_Log_Pos 兩者應該相同。
6、在伺服器B上,檢視主庫狀態,啟動從庫。
show master status;
start slave;
show slave status\G;
7、在伺服器C上,停止從庫執行,執行 CHANGE MASTER TO 命令。
stop slave;
CHANGE MASTER TO
MASTER_HOST='伺服器B的IP',
MASTER_USER='伺服器B複製使用者',
MASTER_PASSWORD='密碼',
MASTER_LOG_FILE='上一步中通過show master status獲取日誌名稱',
MASTER_LOG_POS=上一步中通過show master status獲取日誌位置;
8、在伺服器C上,啟動複製並檢視狀態
start slave;
show slave status\G;
七、將鏈式複製切換到主從複製
伺服器A->伺服器B->伺服器C,如果想讓伺服器C直接作為伺服器A的從庫,該怎麼做?
1、在伺服器B上,停止從庫執行,並記錄主庫狀態
stop slave;
show master status\G;
2、伺服器C上,確保從庫的延遲已被追上,Relay_Master_Log_File和Exec_Master_Log_Pos應該等於伺服器B上主庫狀態。
一旦延遲被追上,就停止從庫的執行。
stop slave;
3、在伺服器B上,從 show slave status 中獲取伺服器A的日誌座標值(Relay_Master_Log_File和Exec_Master_Log_Pos),並啟動從庫
show slave status\G;
start slave;
4、在伺服器C上,停止從庫執行,並執行 CHANGE MASTER TO 命令,指向伺服器A
stop slave;
CHANGE MASTER TO
MASTER_HOST='伺服器A的IP',
MASTER_USER='伺服器A的複製使用者',
MASTER_PASSWORD='密碼',
MASTER_LOG_FILE='上一步中獲取的日誌',
MASTER_LOG_POS=上一步中獲取的日誌位置;
5、在伺服器C上,開啟從庫,並檢視狀態。
start slave;
show slave status\G;
八、設定延遲複製
為什麼需要延遲複製,有可能主庫上執行了一條災難性語句,你必須通過備份中的時間點恢復,如果資料庫大小過大,這將導致長時間停機。
為了避免出現這種情況,可以使用一個延遲的從庫,如果發生了災難,並且延遲的從庫還沒有執行這條災難性語句,則可以先停止複製,讓從庫跳過該災難語句,最後把從庫提升為主庫。
1、停止從庫執行
stop slave;
2、設定延遲時間,以秒為單位
CHANGE MASTER TO MASTER_DELAY = 3600;
start slave;
3、檢查從庫狀態
show slave status\G;
SQL_Delay: 從庫延遲於主庫的秒數。
SQL_Remaining_Delay:延遲還剩餘的秒數,當保持延遲時,這個值是NULL。
Slave_SQL_Running_State:SQL執行緒的狀態
九、設定 GTID 複製
全域性事務識別符號 GTID 是在程式中建立的唯一識別符號,並與主庫上提交的每個事務相關聯。該識別符號是唯一的,不僅在主庫上,在其他從庫上,它都唯一。
上面描述的所有複製,都需要指明二進位制檔案和複製起點的位置,如果將一個從庫的主庫切換到另一個,就必須重新獲取二進位制檔案位置,這會很麻煩。
為了避免,可以使用基於 GTID 的複製,mysql 使用 GTID 自動檢測二進位制日誌的位置。
1、在所有資料庫中 my.cnf 中啟動 GTID
[mysqld]
gtid_mode = ON
enforce-gtid-consistency = 1
skip_slave_start
2、將主庫設定為只讀,確保主庫與從庫資料一致。
set @@global.read_only = on;
3、重新啟動所有從庫,使 GTID 生效。
4、重新啟動主庫。
5、在從庫上執行 CHANGE MASTER TO 命令來設定 GTID 複製
CHANGE MASTER TO
MASTER_HOST='主庫IP',
MASTER_PORT=3306,
MASTER_USER='複製使用者',
MASTER_PASSWORD='密碼',
MASTER_AUTO_POSITION=1;
6、在所有從庫上執行 start slave; 並檢視狀態。
十、設定半同步複製
預設情況下,複製是非同步的,主庫不知道寫入操作是否到達從庫,如果主庫與從庫間存在延遲,主庫崩了,尚未到達從庫的那些資料就會丟失。
為了解決這種問題,半同步複製,主庫會一直等待,直到至少有一個從庫接收到寫入的資料。
1、在主庫上,安裝 rpl_semi_sync_master 外掛
install plugin rpl_semi_sync_master SONAME 'semisync_master.so';
windows下請使用如下:
install plugin rpl_semi_sync_master SONAME 'semisync_master.dll';
2、確認外掛已啟用
select plugin_name, plugin_status from information_schema.plugins where plugin_name like '%semi%';
3、開啟半同步複製並調整超時時間
set @@global.rpl_semi_sync_master_enabled=1;
set @@global.rpl_semi_sync_master_timeout=100;
4、在從庫上,安裝 rpl_semi_sync_slave 外掛
install plugin rpl_semi_sync_slave SONAME 'semisync_slave.so';
windows下請使用如下:
install plugin rpl_semi_sync_slave SONAME 'semisync_slave.dll';
5、確認外掛已啟用
select plugin_name, plugin_status from information_schema.plugins where plugin_name like '%semi%';
6、在從庫上,啟用半同步複製,並重新啟動從庫IO執行緒
set global rpl_semi_sync_slave_enabld = 1;
STOP SLAVE IO_THREAD;
START SLAVE IO_THREAD;
7、通過如下方式檢視半同步狀態
show status like 'rpl_semi_sync_master_clients';
檢視以半同步連線到主庫的客戶端數量
show status like 'rpl_semi_sync_master_status';
主庫在非同步和半同步複製之間切換,on表示半同步,off表示非同步。