MySQL 同步複製及高可用方案總結

民工哥發表於2019-10-16

1.前言

mysql作為應用程式的資料儲存服務,要實現mysql資料庫的高可用。必然要使用的技術就是資料庫的複製,如果主節點出現故障可以手動的切換應用到從節點,這點相信運維同學都是知道,並且可以實現的。但是這種情況只是手動的切換,對可用性有要求的業務需要分別實現主庫和從庫的高可用,保障在資料庫出現down機的情況下,可以自動實現資料庫的故障轉移,保障應用的可用性和使用者體驗。

本文將會對一些常用的資料庫高可用方案進行介紹,根據你不同的場景,選擇合適的高可用方案即可。

2.MMM高可用方案


2.1.Mysql-MMM介紹

MMM(Master-Master replication managerfor Mysql,Mysql主主複製管理器)是一套靈活的指令碼程式,基於perl實現,用來對mysql replication進行監控和故障遷移,並能管理mysql Master-Master複製的配置(同一時間只有一個節點是可寫的)。

2.2.元件

mmm_mond:監控程式,負責所有的監控工作,決定和處理所有節點角色活動。此指令碼需要在監管機上執行。

mmm_agentd:執行在每個mysql伺服器上的代理程式,完成監控的探針工作和執行簡單的遠端服務設定。此指令碼需要在被監管機上執行。

mmm_control:一個簡單的指令碼,提供管理mmm_mond程式的命令。

mysql-mmm的監管端會提供多個虛擬IP(VIP),包括一個可寫VIP,多個可讀VIP,通過監管的管理,這些IP會繫結在可用mysql之上,當某一臺mysql當機時,監管會將VIP遷移至其他mysql。

在整個監管過程中,需要在mysql中新增相關授權使用者,以便讓mysql可以支援監理機的維護。授權的使用者包括一個mmm_monitor使用者和一個mmm_agent使用者,如果想使用mmm的備份工具則還要新增一個mmm_tools使用者。

2.3.架構圖

正常工作時:

主節點故障時:

2.4.MMM優點

(1)高可用性,擴充套件性好,出現故障自動轉移,對於主主同步,在同一時間只提供一臺資料庫寫操作,保證資料的一致性。

(2)配置簡單,容易操作。

2.5.MMM缺點

(1)需要一臺備份伺服器,浪費資源

(2)需要多個虛擬IP

(3)agent可能意外終止,引起裂腦。

3.MHA介紹


MHA(Master High Availability)目前在MySQL高可用方面是一個相對成熟的解決方案,它由日本DeNA公司youshimaton(現就職於Facebook公司)開發,是一套優秀的作為MySQL高可用性環境下故障切換和主從提升的高可用軟體。在MySQL故障切換過程中,MHA能做到在0~30秒之內自動完成資料庫的故障切換操作,並且在進行故障切換的過程中,MHA能在最大程度上保證資料的一致性,以達到真正意義上的高可用。

3.1.MHA架構介紹

該軟體由兩部分組成:MHA Manager(管理節點)和MHA Node(資料節點)。MHA Manager可以單獨部署在一臺獨立的機器上管理多個master-slave叢集,也可以部署在一臺slave節點上。MHA Node執行在每臺MySQL伺服器上,MHA Manager會定時探測叢集中的master節點,當master出現故障時,它可以自動將最新資料的slave提升為新的master,然後將所有其他的slave重新指向新的master。整個故障轉移過程對應用程式完全透明。

在MHA自動故障切換過程中,MHA試圖從當機的主伺服器上儲存二進位制日誌,最大程度的保證資料的不丟失(配合mysql半同步複製效果更佳),但這並不總是可行的。例如,如果主伺服器硬體故障或無法通過ssh訪問,MHA沒法儲存二進位制日誌,只進行故障轉移而丟失了最新的資料。使用MySQL 5.5的半同步複製,可以大大降低資料丟失的風險。MHA可以與半同步複製結合起來。如果只有一個slave已經收到了最新的二進位制日誌,MHA可以將最新的二進位制日誌應用於其他所有的slave伺服器上,因此可以保證所有節點的資料一致性。

注意:目前MHA主要支援一主多從的架構,要搭建MHA,要求一個複製叢集中必須最少有三臺資料庫伺服器,一主二從,即一臺充當master,一臺充當備用master,另外一臺充當從庫,因為至少需要三臺伺服器,出於機器成本的考慮,淘寶也在該基礎上進行了改造,目前淘寶TMHA已經支援一主一從。

3.2.MHA架構圖

正常工作時架構圖:

主庫down機時架構:

3.3.故障轉移過程

(1)從當機崩潰的master儲存二進位制日誌事件(binlog events);

(2)識別含有最新更新的slave;

(3)應用差異的中繼日誌(relay log)到其他的slave;

(4)應用從master儲存的二進位制日誌事件(binlog events);

(5)提升一個slave為新的master;

(6)使其他的slave連線新的master進行復制;

(7)在新的master啟動vip地址,保證前端請求可以傳送到新的master。

3.4.MHA優點

(1)不需要備份伺服器

(2)不改變現有環境

(3)操作非常簡單

(4)可以進行日誌的差異修復

(5)可以將任意slave提升為master

3.5.MHA缺點

(1)需要全部節點做ssh祕鑰

(2)MHA出現故障後配置檔案會被修改,如果再次故障轉移需要重新修改配置檔案。

(3)自帶的指令碼還需要進一步補充完善,且用perl開發,二次開發困難。

4.DRBD+(heartbeat,corosync)


4.1.方案簡介

本方案採用Heartbeat或者corosync雙機熱備軟體來保證資料庫的高穩定性和連續性,資料的一致性由DRBD這個工具來保證(如果可以儘量放到分散式儲存上面)。預設情況下只有一臺mysql在工作,當主mysql伺服器出現問題後,系統將自動切換到備機上繼續提供服務,當主資料庫修復完畢,又將服務切回繼續由主mysql提供服務。

4.2.元件

Heartbeat,corosync作為心跳檢測機制,監控primary節點的狀態。當主節點宕掉之後,迅速提升secondary節點為新的主節點,並切換IP;

drbd負責資料同步

4.3.架構圖

4.4.資料同步過程

mysql進行刷盤時,會通過不同的sync方式,最終將資料寫入disk;

drbd收到刷盤成功的資訊後,將對應的磁碟塊位置,和變更動作,通過網路傳遞至secondary節點;

secondary的drbd接收到變更資訊後,將這些資訊落盤;

4.5.切換過程

前提:secondary節點的mysql服務不啟動;

heartbeat檢測到primary的mysql服務停止,則摘掉IP、umount掉資料盤、將primary切換為secondary;

在原來的secondary上,提升drbd同步為primary,掛載資料盤,啟動mysql服務、繫結IP;

從庫跟著IP和埠自動進行遷移;

4.6.方案優點

(1)歷史悠久、安全性高、穩定性高、可用性高、出現故障自動切換。

(2)資料一致性強

4.7.方案缺點

(1)需要一臺備份伺服器,浪費資源

(2)不方便擴充套件

(3)無論drbd還是headbetart,corosync都可能發生裂腦

5.Mysql route介紹


5.1.什麼是mysql route

MySQL Router是處於應用client和dbserver之間的輕量級代理程式,它能檢測,分析和轉發查詢到後端資料庫例項,並把結果返回給client。是mysql-proxy的一個替代品。其架構圖和功能如下。

(1)Router實現讀寫分離,程式不是直接連線資料庫IP,而是固定連線到mysql router。MySQL Router對前端應用是透明的。應用程式把MySQL Router當作是普通的mysql例項,把查詢發給MySQL Router,而MySQL Router會把查詢結果返回給前端的應用程式。

(2)從資料庫伺服器故障,業務可以正常執行。由MySQL Router來進行自動下線不可用伺服器。程式配置不需要任何修改。

(3)主資料庫故障,由MySQL Router來決定主從自動切換,業務可以正常訪問。程式配置不需要做任何修改。

5.2.讀寫分離原理

MySQL Router接受前端應用程式請求後,根據不同的埠來區分讀寫,把連線讀寫埠的所有查詢發往主庫,把連線只讀埠的select查詢以輪詢方式發往多個從庫,從而實現讀寫分離的目的。讀寫返回的結果會交給MySQL Router,由MySQL Router返回給客戶端的應用程式。

5.3.Mysql router用途

MySQL Router的主要用途是讀寫分離,主主故障自動切換,負載均衡,連線池等。

5.4.Mysql router主主故障自動切換的坑

Mysql router主主故障切換功能經過測試沒有問題,但是有一個比較大的坑需要注意,主庫發生切換之後,從庫的連線的master伺服器地址不會發生改變,需要自己寫指令碼進行判斷。

5.5.優點

(1)基於DAL層實現mysql的高可用。

(2)可以同時實現主主故障切換和讀寫分離。

(3)外掛式架構允許使用者進行額外的功能擴充套件。

5.6.缺點

(1)高可用功能需要進一步完善:存在主庫切換之後,從庫不會自動切換主庫地址的坑。

(2)讀寫情況使用不同埠,需要修改應用程式。

6.mysql Cluster


國內用的非常少,主要因為一下三點:

(1)需要更改儲存引擎

(2)付費

(3)國內幾乎沒有使用案例

優點:

高可用,可用率達99.999%

7.結束語

上面的高可用方案,只是我自己比較熟悉的,而且也是應用比較多的。mysql畢竟發展了有20多年了,各種高可用方案還是很多的,其他的高可用方案各位鑰匙有興趣,可以自己研究。

相關文章