高效能Mysql主從架構的複製原理及配置詳解
溫習《高效能MySQL》的複製篇.
1 複製概述
Mysql內建的複製功能是構建大型,高效能應用程式的基礎。將Mysql的資料分佈到多個系統上去,這種分佈的機制,是透過將Mysql的某一臺主機的資料複製到其它主機(slaves)上,並重新執行一遍來實現的。複製過程中一個伺服器充當主伺服器,而一個或多個其它伺服器充當從伺服器。主伺服器將更新寫入二進位制日誌檔案,並維護檔案的一個索引以跟蹤日誌迴圈。這些日誌可以記錄傳送到從伺服器的更新。當一個從伺服器連線主伺服器時,它通知主伺服器從伺服器在日誌中讀取的最後一次成功更新的位置。從伺服器接收從那時起發生的任何更新,然後封鎖並等待主伺服器通知新的更新。
請注意當你進行復制時,所有對複製中的表的更新必須在主伺服器上進行。否則,你必須要小心,以避免使用者對主伺服器上的表進行的更新與對從伺服器上的表所進行的更新之間的衝突。
1.1 mysql支援的複製型別:
(1):基於語句的複製: 在主伺服器上執行的SQL語句,在從伺服器上執行同樣的語句。MySQL預設採用基於語句的複製,效率比較高。
一旦發現沒法精確複製時, 會自動選著基於行的複製。
(2):基於行的複製:把改變的內容複製過去,而不是把命令在從伺服器上執行一遍. 從mysql5.0開始支援
(3):混合型別的複製: 預設採用基於語句的複製,一旦發現基於語句的無法精確的複製時,就會採用基於行的複製。
1.2 . 複製解決的問題
MySQL複製技術有以下一些特點:
(1) 資料分佈 (Data distribution )
(2) 負載平衡(load balancing)
(3) 備份(Backups)
(4) 高可用性和容錯行 High availability and failover
1.3 複製如何工作
整體上來說,複製有3個步驟:
(1) master將改變記錄到二進位制日誌(binary log)中(這些記錄叫做二進位制日誌事件,binary log events);
(2) slave將master的binary log events複製到它的中繼日誌(relay log);
(3) slave重做中繼日誌中的事件,將改變反映它自己的資料。
下圖描述了複製的過程:
該過程的第一部分就是master記錄二進位制日誌。在每個事務更新資料完成之前,master在二日誌記錄這些改變。MySQL將事務序列的寫入二進位制日誌,即使事務中的語句都是交叉執行的。在事件寫入二進位制日誌完成後,master通知儲存引擎提交事務。
下一步就是slave將master的binary log複製到它自己的中繼日誌。首先,slave開始一個工作執行緒——I/O執行緒。I/O執行緒在master上開啟一個普通的連線,然後開始binlog dump process。Binlog dump process從master的二進位制日誌中讀取事件,如果已經跟上master,它會睡眠並等待master產生新的事件。I/O執行緒將這些事件寫入中繼日誌。
SQL slave thread(SQL從執行緒)處理該過程的最後一步。SQL執行緒從中繼日誌讀取事件,並重放其中的事件而更新slave的資料,使其與master中的資料一致。只要該執行緒與I/O執行緒保持一致,中繼日誌通常會位於OS的快取中,所以中繼日誌的開銷很小。
此外,在master中也有一個工作執行緒:和其它MySQL的連線一樣,slave在master中開啟一個連線也會使得master開始一個執行緒。複製過程有一個很重要的限制——複製在slave上是序列化的,也就是說master上的並行更新操作不能在slave上並行操作。
2 .複製配置
有兩臺MySQL資料庫伺服器Master和slave,Master為主伺服器,slave為從伺服器,初始狀態時,Master和slave中的資料資訊相同,當Master中的資料發生變化時,slave也跟著發生相應的變化,使得master和slave的資料資訊同步,達到備份的目的。
要點:
負責在主、從伺服器傳輸各種修改動作的媒介是主伺服器的二進位制變更日誌,這個日誌記載著需要傳輸給從伺服器的各種修改動作。因此,主伺服器必須啟用二進位制日誌功能。從伺服器必須具備足以讓它連線主伺服器並請求主伺服器把二進位制變更日誌傳輸給它的許可權。
環境:
Master和slave的MySQL資料庫版本同為5.0.18
作業系統:unbuntu 11.10
IP地址:10.100.0.100
2.1、建立複製帳號
1、在Master的資料庫中建立一個備份帳戶:每個slave使用標準的MySQL使用者名稱和密碼連線master。進行復制操作的使用者會授予REPLICATION SLAVE許可權。使用者名稱的密碼都會儲存在文字檔案master.info中
命令如下:
mysql > GRANT REPLICATION SLAVE,RELOAD,SUPER ON *.*
TO backup@’10.100.0.200’
IDENTIFIED BY ‘1234’;
建立一個帳戶backup,並且只能允許從10.100.0.200這個地址上來登陸,密碼是1234。
(如果因為mysql版本新舊密碼演算法不同,可以設定:set password for 'backup'@'10.100.0.200'=old_password('1234'))
2.2、複製資料
(假如是你完全新安裝mysql主從伺服器,這個一步就不需要。因為新安裝的master和slave有相同的資料)
關停Master伺服器,將Master中的資料複製到B伺服器中,使得Master和slave中的資料同步,並且確保在全部設定操作結束前,禁止在Master和slave伺服器中進行寫操作,使得兩資料庫中的資料一定要相同!
2.3、配置master
接下來對master進行配置,包括開啟二進位制日誌,指定唯一的servr ID。例如,在配置檔案加入如下值:
server-id=1
log-bin=mysql-bin
server-id:為主伺服器A的ID值
log-bin:二進位制變更日值
重啟master,執行SHOW MASTER STATUS,輸出如下:
2.4、配置slave
log_bin = mysql-bin
server_id = 2
relay_log = mysql-relay-bin
log_slave_updates = 1
read_only = 1
server_id是必須的,而且唯一。slave沒有必要開啟二進位制日誌,但是在一些情況下,必須設定,例如,如果slave為其它slave的master,必須設定bin_log。在這裡,我們開啟了二進位制日誌,而且顯示的命名(預設名稱為hostname,但是,如果hostname改變則會出現問題)。
relay_log配置中繼日誌,log_slave_updates表示slave將複製事件寫進自己的二進位制日誌(後面會看到它的用處)。
有些人開啟了slave的二進位制日誌,卻沒有設定log_slave_updates,然後檢視slave的資料是否改變,這是一種錯誤的配置。所以,儘量使用read_only,它防止改變資料(除了特殊的執行緒)。但是,read_only並是很實用,特別是那些需要在slave上建立表的應用。
2.5、啟動slave
接下來就是讓slave連線master,並開始重做master二進位制日誌中的事件。你不應該用配置檔案進行該操作,而應該使用CHANGE MASTER TO語句,該語句可以完全取代對配置檔案的修改,而且它可以為slave指定不同的master,而不需要停止伺服器。如下:mysql> CHANGE MASTER TO MASTER_HOST='server1',
-> MASTER_USER='repl',
-> MASTER_PASSWORD='p4ssword',
-> MASTER_LOG_FILE='mysql-bin.000001',
-> MASTER_LOG_POS=0;
MASTER_LOG_POS的值為0,因為它是日誌的開始位置。
你可以用SHOW SLAVE STATUS語句檢視slave的設定是否正確:
mysql> SHOW SLAVE STATUS\G
*************************** 1. row ***************************
Slave_IO_State:
Master_Host: server1
Master_User: repl
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000001
Read_Master_Log_Pos: 4
Relay_Log_File: mysql-relay-bin.000001
Relay_Log_Pos: 4
Relay_Master_Log_File: mysql-bin.000001
Slave_IO_Running: No
Slave_SQL_Running: No
...omitted...
Seconds_Behind_Master: NULL
Slave_IO_State, Slave_IO_Running, 和Slave_SQL_Running是No
表明slave還沒有開始複製過程。日誌的位置為4而不是0,這是因為0只是日誌檔案的開始位置,並不是日誌位置。實際上,MySQL知道的第一個事件的位置是4。
為了開始複製,你可以執行:
mysql> START SLAVE;
執行SHOW SLAVE STATUS檢視輸出結果:
mysql> SHOW SLAVE STATUS\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: server1
Master_User: repl
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000001
Read_Master_Log_Pos: 164
Relay_Log_File: mysql-relay-bin.000001
Relay_Log_Pos: 164
Relay_Master_Log_File: mysql-bin.000001
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
...omitted...
Seconds_Behind_Master: 0
Slave_IO_Running=Yes
Slave_SQL_Running=Yes
slave的I/O和SQL執行緒都已經開始執行,而且Seconds_Behind_Master不再是NULL。日誌的位置增加了,意味著一些事件被獲取並執行了。如果你在master上進行修改,你可以在slave上看到各種日誌檔案的位置的變化,同樣,你也可以看到資料庫中資料的變化。
你可檢視master和slave上執行緒的狀態。在master上,你可以看到slave的I/O執行緒建立的連線:
mysql> show processlist \G *************************** 1. row *************************** Id: 1 User: root Host: localhost:2096 db: test Command: Query Time: 0 State: NULL Info: show processlist *************************** 2. row *************************** Id: 2 User: repl Host: localhost:2144 db: NULL Command: Binlog Dump Time: 1838 State: Has sent all binlog to slave; waiting for binlog to be updated Info: NULL 2 rows in set (0.00 sec) |
行2為處理slave的I/O執行緒的連線。
在slave伺服器上執行該語句:
mysql> show processlist \G *************************** 1. row *************************** Id: 1 User: system user Host: db: NULL Command: Connect Time: 2291 State: Waiting for master to send event Info: NULL *************************** 2. row *************************** Id: 2 User: system user Host: db: NULL Command: Connect Time: 1852 State: Has read all relay log; waiting for the slave I/O thread to update it Info: NULL *************************** 3. row *************************** Id: 5 User: root Host: localhost:2152 db: test Command: Query Time: 0 State: NULL Info: show processlist 3 rows in set (0.00 sec) |
2.5、新增新slave伺服器
假如master已經執行很久了,想對新安裝的slave進行資料同步,甚至它沒有master的資料。
此時,有幾種方法可以使slave從另一個服務開始,例如,從master複製資料,從另一個slave克隆,從最近的備份開始一個slave。Slave與master同步時,需要三樣東西:
(1)master的某個時刻的資料快照;
(2)master當前的日誌檔案、以及生成快照時的位元組偏移。這兩個值可以叫做日誌檔案座標(log file coordinate),因為它們確定了一個二進位制日誌的位置,你可以用SHOW MASTER STATUS命令找到日誌檔案的座標;
(3)master的二進位制日誌檔案。
可以透過以下幾中方法來克隆一個slave:
(1) 冷複製(cold copy)
停止master,將master的檔案複製到slave;然後重啟master。缺點很明顯。
(2) 熱複製(warm copy)
如果你僅使用MyISAM表,你可以使用mysqlhotcopy複製,即使伺服器正在執行。
(3) 使用mysqldump
使用mysqldump來得到一個資料快照可分為以下幾步:
<1>鎖表:如果你還沒有鎖表,你應該對錶加鎖,防止其它連線修改資料庫,否則,你得到的資料可以是不一致的。如下:
mysql> FLUSH TABLES WITH READ LOCK;
<2>在另一個連線用mysqldump建立一個你想進行復制的資料庫的轉儲:
shell> mysqldump --all-databases --lock-all-tables >dbdump.db
<3>對錶釋放鎖。
mysql> UNLOCK TABLES;
3、深入瞭解複製
3.1、基於語句的複製(Statement-Based Replication)
這種方式的優點就是實現簡單。此外,基於語句的複製的二進位制日誌可以很好的進行壓縮,而且日誌的資料量也較小,佔用頻寬少——例如,一個更新GB的資料的查詢僅需要幾十個位元組的二進位制日誌。而mysqlbinlog對於基於語句的日誌處理十分方便。
但是,基於語句的複製並不是像它看起來那麼簡單,因為一些查詢語句依賴於master的特定條件,例如,master與slave可能有不同的時間。所以,MySQL的二進位制日誌的格式不僅僅是查詢語句,還包括一些後設資料資訊,例如,當前的時間戳。即使如此,還是有一些語句,比如,CURRENT USER函式,不能正確的進行復制。此外,儲存過程和觸發器也是一個問題。
另外一個問題就是基於語句的複製必須是序列化的。這要求大量特殊的程式碼,配置,例如InnoDB的next-key鎖等。並不是所有的儲存引擎都支援基於語句的複製。
3.2、基於記錄的複製(Row-Based Replication)
對於一些語句,基於記錄的複製能夠更有效的工作,如:
mysql> INSERT INTO summary_table(col1, col2, sum_col3)
-> SELECT col1, col2, sum(col3)
-> FROM enormous_table
-> GROUP BY col1, col2;
假設,只有三種唯一的col1和col2的組合,但是,該查詢會掃描原表的許多行,卻僅返回三條記錄。此時,基於記錄的複製效率更高。
另一方面,下面的語句,基於語句的複製更有效:
mysql> UPDATE enormous_table SET col1 = 0;
此時使用基於記錄的複製代價會非常高。由於兩種方式不能對所有情況都能很好的處理,所以,MySQL 5.1支援在基於語句的複製和基於記錄的複製之前動態交換。你可以透過設定session變數binlog_format來進行控制。
3.3、複製相關的檔案
(1)mysql-bin.index
(2)mysql-relay-bin.index
.\mysql-02-relay-bin.000017
.\mysql-02-relay-bin.000018
(3)master.info
I/O執行緒更新master.info檔案,內容如下(我的機器上):
.\mysql-02-relay-bin.000019 254 mysql-01-bin.000010 286 0 52813 |
(4)relay-log.info
3.4、傳送複製事件到其它slave
3.5、複製過濾(Replication Filters)
4、複製的常用拓撲結構
(1) 每個slave只能有一個master;
(2) 每個slave只能有一個唯一的伺服器ID;
(3) 每個master可以有很多slave;
(4) 如果你設定log_slave_updates,slave可以是其它slave的master,從而擴散master的更新。
MySQL不支援多主伺服器複製(Multimaster Replication)——即一個slave可以有多個master。但是,透過一些簡單的組合,我們卻可以建立靈活而強大的複製體系結構。
4.1、單一master和多slave
在實際應用場景中,MySQL複製90%以上都是一個Master複製到一個或者多個Slave的架構模式,主要用於讀壓力比較大的應用的資料庫端廉價擴充套件解決方案。因為只要Master和Slave的壓力不是太大(尤其是Slave端壓力)的話,非同步複製的延時一般都很少很少。尤其是自從Slave端的複製方式改成兩個執行緒處理之後,更是減小了Slave端的延時問題。而帶來的效益是,對於資料實時性要求不是特別Critical的應用,只需要透過廉價的pcserver來擴充套件Slave的數量,將讀壓力分散到多臺Slave的機器上面,即可透過分散單臺資料庫伺服器的讀壓力來解決資料庫端的讀效能瓶頸,畢竟在大多數資料庫應用系統中的讀壓力還是要比寫壓力大很多。這在很大程度上解決了目前很多中小型網站的資料庫壓力瓶頸問題,甚至有些大型網站也在使用類似方案解決資料庫瓶頸。
如果寫操作較少,而讀操作很時,可以採取這種結構。你可以將讀操作分佈到其它的slave,從而減小master的壓力。但是,當slave增加到一定數量時,slave對master的負載以及網路頻寬都會成為一個嚴重的問題。
這種結構雖然簡單,但是,它卻非常靈活,足夠滿足大多數應用需求。一些建議:
(1) 不同的slave扮演不同的作用(例如使用不同的索引,或者不同的儲存引擎);
(2) 用一個slave作為備用master,只進行復制;
(3) 用一個遠端的slave,用於災難恢復;
大家應該都比較清楚,從一個Master節點可以複製出多個Slave節點,可能有人會想,那一個Slave節點是否可以從多個Master節點上面進行復制呢?至少在目前來看,MySQL是做不到的,以後是否會支援就不清楚了。
MySQL不支援一個Slave節點從多個Master節點來進行復制的架構,主要是為了避免衝突的問題,防止多個資料來源之間的資料出現衝突,而造成最後資料的不一致性。不過聽說已經有人開發了相關的patch,讓MySQL支援一個Slave節點從多個Master結點作為資料來源來進行復制,這也正是MySQL開源的性質所帶來的好處。
4.2、主動模式的Master-Master(Master-Master in Active-Active Mode)
可能有些讀者朋友會有一個擔心,這樣搭建複製環境之後,難道不會造成兩臺MySQL之間的迴圈複製麼?實際上MySQL自己早就想到了這一點,所以在MySQL的BinaryLog中記錄了當前MySQL的server-id,而且這個引數也是我們搭建MySQLReplication的時候必須明確指定,而且Master和Slave的server-id引數值比需要不一致才能使MySQLReplication搭建成功。一旦有了server-id的值之後,MySQL就很容易判斷某個變更是從哪一個MySQLServer最初產生的,所以就很容易避免出現迴圈複製的情況。而且,如果我們不開啟記錄Slave的BinaryLog的選項(--log-slave-update)的時候,MySQL根本就不會記錄複製過程中的變更到BinaryLog中,就更不用擔心可能會出現迴圈複製的情形了。
主動的Master-Master複製有一些特殊的用處。例如,地理上分佈的兩個部分都需要自己的可寫的資料副本。這種結構最大的問題就是更新衝突。假設一個表只有一行(一列)的資料,其值為1,如果兩個伺服器分別同時執行如下語句:
在第一個伺服器上執行:
mysql> UPDATE tbl SET col=col + 1;
在第二個伺服器上執行:
mysql> UPDATE tbl SET col=col * 2;
那麼結果是多少呢?一臺伺服器是4,另一個伺服器是3,但是,這並不會產生錯誤。
實際上,MySQL並不支援其它一些DBMS支援的多主伺服器複製(Multimaster Replication),這是MySQL的複製功能很大的一個限制(多主伺服器的難點在於解決更新衝突),但是,如果你實在有這種需求,你可以採用MySQL Cluster,以及將Cluster和Replication結合起來,可以建立強大的高效能的資料庫平臺。但是,可以透過其它一些方式來模擬這種多主伺服器的複製。
4.3、主動-被動模式的Master-Master(Master-Master in Active-Passive Mode)
4.4 級聯複製架構 Master –Slaves - Slaves
在有些應用場景中,可能讀寫壓力差別比較大,讀壓力特別的大,一個Master可能需要上10臺甚至更多的Slave才能夠支撐注讀的壓力。這時候,Master就會比較吃力了,因為僅僅連上來的SlaveIO執行緒就比較多了,這樣寫的壓力稍微大一點的時候,Master端因為複製就會消耗較多的資源,很容易造成複製的延時。
遇到這種情況如何解決呢?這時候我們就可以利用MySQL可以在Slave端記錄複製所產生變更的BinaryLog資訊的功能,也就是開啟—log-slave-update選項。然後,透過二級(或者是更多級別)複製來減少Master端因為複製所帶來的壓力。也就是說,我們首先透過少數幾臺MySQL從Master來進行復制,這幾臺機器我們姑且稱之為第一級Slave叢集,然後其他的Slave再從第一級Slave叢集來進行復制。從第一級Slave進行復制的Slave,我稱之為第二級Slave叢集。如果有需要,我們可以繼續往下增加更多層次的複製。這樣,我們很容易就控制了每一臺MySQL上面所附屬Slave的數量。這種架構我稱之為Master-Slaves-Slaves架構
這種多層級聯複製的架構,很容易就解決了Master端因為附屬Slave太多而成為瓶頸的風險。下圖展示了多層級聯複製的Replication架構。
當然,如果條件允許,我更傾向於建議大家透過拆分成多個Replication叢集來解決
上述瓶頸問題。畢竟Slave並沒有減少寫的量,所有Slave實際上仍然還是應用了所有的資料變更操作,沒有減少任何寫IO。相反,Slave越多,整個叢集的寫IO總量也就會越多,我們沒有非常明顯的感覺,僅僅只是因為分散到了多臺機器上面,所以不是很容易表現出來。
此外,增加複製的級聯層次,同一個變更傳到最底層的Slave所需要經過的MySQL也會更多,同樣可能造成延時較長的風險。
而如果我們透過分拆叢集的方式來解決的話,可能就會要好很多了,當然,分拆叢集也需要更復雜的技術和更復雜的應用系統架構。
4.5、帶從伺服器的Master-Master結構(Master-Master with Slaves)
級聯複製在一定程度上面確實解決了Master因為所附屬的Slave過多而成為瓶頸的問題,但是他並不能解決人工維護和出現異常需要切換後可能存在重新搭建Replication的問題。這樣就很自然的引申出了DualMaster與級聯複製結合的Replication架構,我稱之為Master-Master-Slaves架構
和Master-Slaves-Slaves架構相比,區別僅僅只是將第一級Slave叢集換成了一臺單獨的Master,作為備用Master,然後再從這個備用的Master進行復制到一個Slave叢集。
這種DualMaster與級聯複製結合的架構,最大的好處就是既可以避免主Master的寫入操作不會受到Slave叢集的複製所帶來的影響,同時主Master需要切換的時候也基本上不會出現重搭Replication的情況。但是,這個架構也有一個弊端,那就是備用的Master有可能成為瓶頸,因為如果後面的Slave叢集比較大的話,備用Master可能會因為過多的SlaveIO執行緒請求而成為瓶頸。當然,該備用Master不提供任何的讀服務的時候,瓶頸出現的可能性並不是特別高,如果出現瓶頸,也可以在備用Master後面再次進行級聯複製,架設多層Slave叢集。當然,級聯複製的級別越多,Slave叢集可能出現的資料延時也會更為明顯,所以考慮使用多層級聯複製之前,也需要評估資料延時對應用系統的影響。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/23490154/viewspace-1061887/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Mysql主從複製原理及搭建MySql
- mysql的主從複製 原理講解MySql
- Redis replication主從複製原理及配置Redis
- mysql 5.7 主從複製搭建及原理MySql
- mysql複製--主從複製配置MySql
- MySQL主從複製架構轉換MGR架構MySql架構
- MySQL主從原理, 高可用架構與高效能架構MySql架構
- 深入瞭解MySQL主從複製的原理MySql
- MySQL主從複製原理MySql
- 深入 Redis 主從複製的原理詳解Redis
- 深入詳解Redis 主從複製的原理!Redis
- MySQL(13)---MYSQL主從複製原理MySql
- MYSQL主從複製配置(整理)MySql
- MYSQL主從複製製作配置方案MySql
- MySQL 主從複製原理不再難MySql
- 詳談Redis主從複製原理Redis
- MySQL 傳統複製與 GTID 複製原理及操作詳解MySql
- mysql主從複製配置與問題解決MySql
- mysql主從複製詳細部署MySql
- 基於 Docker 的 MySQL 主從複製搭建及原理(真正弄懂)DockerMySql
- MySQL主從複製原理及必備知識總結MySql
- MySQL 5.7的安裝及主從複製(主從同步)MySql主從同步
- 深入挖崛:mysql主從複製原理MySql
- MySQL 主從複製安裝部署配置MySql
- Docker 教程十五配置MySQL 主從複製DockerMySql
- MySQL的主從複製MySql
- mysql5.7主從複製,主主複製MySql
- MySQL主從複製MySql
- MySQL主從複製配置心跳功能介紹MySql
- Redis 主從複製原理Redis
- redis的主從複製的原理Redis
- 主從複製是啥或者主從複製的原理是什麼?
- MySQL主從複製之GTID複製MySql
- Redis 主從複製詳細解讀Redis
- MySQL 主從複製,常見的binlog錯誤及解決方法MySql
- MySQL全面瓦解27:主從複製(原理 + 實踐)MySql
- Windows 環境下,MySQL 的主從複製和主主複製WindowsMySql
- windows環境下,Mysql的主從複製和主主複製WindowsMySql
- mysql 8.4 主從複製MySql