HA叢集中的腦裂問題解決方案
在“雙機熱備”高可用(HA)系統中,當聯絡2個節點的“心跳線”斷開時,本來為一整體、動作協調的HA系統,就分裂成為2個獨立的個體。由於相互失去了聯絡,都以為是對方出了故障,
2個節點上的HA軟體像“裂腦人”一樣,“本能”地爭搶“共享資源”、爭起“應用服務”,就會發生嚴重後果:或者共享資源被瓜分、2邊“服務”都起不來了;或者2邊“服務”都起來了,
但同時讀寫“共享儲存”,導致資料損壞(常見如資料庫輪詢著的聯機日誌出錯)。
對付HA系統“腦裂”的對策,大概有以下幾條:
1)新增冗餘的心跳線,例如雙線條線。儘量減少“腦裂”發生機會。
2)啟用磁碟鎖。正在服務一方鎖住共享磁碟,“腦裂”發生時,讓對方完全“搶不走”共享磁碟資源。但使用鎖磁碟也會有一個不小的問題,如果佔用共享盤的一方不主動“解鎖”,另一方
就永遠得不到共享磁碟。現實中假如服務節點突然當機或崩潰,就不可能執行解鎖命令。後備節點也就接管不了共享資源和應用服務。於是有人在HA中設計了“智慧”鎖。即,正在服務的一方
只在發現心跳線全部斷開(察覺不到對端)時才啟用磁碟鎖。平時就不上鎖了。
3)設定仲裁機制。例如設定參考IP(如閘道器IP),當心跳線完全斷開時,2個節點都各自ping一下 參考IP,不通則表明斷點就出在本端,不僅“心跳”、還兼對外“服務”的本端網路鏈路斷了,
即使啟動(或繼續)應用服務也沒有用了,那就主動放棄競爭,讓能夠ping通參考IP的一端去起服務。更保險一些,ping不通參考IP的一方乾脆就自我重啟,以徹底釋放有可能還佔用著的那些
共享資源。
2個節點上的HA軟體像“裂腦人”一樣,“本能”地爭搶“共享資源”、爭起“應用服務”,就會發生嚴重後果:或者共享資源被瓜分、2邊“服務”都起不來了;或者2邊“服務”都起來了,
但同時讀寫“共享儲存”,導致資料損壞(常見如資料庫輪詢著的聯機日誌出錯)。
對付HA系統“腦裂”的對策,大概有以下幾條:
1)新增冗餘的心跳線,例如雙線條線。儘量減少“腦裂”發生機會。
2)啟用磁碟鎖。正在服務一方鎖住共享磁碟,“腦裂”發生時,讓對方完全“搶不走”共享磁碟資源。但使用鎖磁碟也會有一個不小的問題,如果佔用共享盤的一方不主動“解鎖”,另一方
就永遠得不到共享磁碟。現實中假如服務節點突然當機或崩潰,就不可能執行解鎖命令。後備節點也就接管不了共享資源和應用服務。於是有人在HA中設計了“智慧”鎖。即,正在服務的一方
只在發現心跳線全部斷開(察覺不到對端)時才啟用磁碟鎖。平時就不上鎖了。
3)設定仲裁機制。例如設定參考IP(如閘道器IP),當心跳線完全斷開時,2個節點都各自ping一下 參考IP,不通則表明斷點就出在本端,不僅“心跳”、還兼對外“服務”的本端網路鏈路斷了,
即使啟動(或繼續)應用服務也沒有用了,那就主動放棄競爭,讓能夠ping通參考IP的一端去起服務。更保險一些,ping不通參考IP的一方乾脆就自我重啟,以徹底釋放有可能還佔用著的那些
共享資源。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/15498/viewspace-1990057/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- HA腦裂問題解決方案
- Redis運維實戰之叢集中的腦裂Redis運維
- ZooKeeper 05 - ZooKeeper 叢集的腦裂問題(Split Brain)AI
- 終於解決 k8s 叢集中部署 nodelocaldns 的問題K8SDNS
- 【Redis叢集原理專題】分析一下相關的Redis叢集模式下的腦裂問題!Redis模式
- Kubernetes EKS 叢集中的 IP 地址分配問題
- 如何預防keepalived腦裂問題
- 教你解決CCE叢集中容器出網
- LB與HA解決方案:nginx+keepalivedNginx
- LB與HA解決方案:haproxy+keepalived
- 解決叢集 Yellow 與 Red 的問題
- Oracle 19C RAC腦裂問題分析Oracle
- 輕鬆解決Github連線緩慢、圖裂問題Github
- 跨域問題,解決方案 – CORS方案跨域CORS
- Mycat分片方案需要解決的問題
- 玩Deno遇到問題的解決方案
- Kafka常見的問題及解決方案Kafka
- 跨域問題及解決方案跨域
- SpringBoot跨域問題解決方案Spring Boot跨域
- 求解決 Laravel with () limit 的問題 附帶解決方案LaravelMIT
- PostgreSQL-HA 高可用叢集在 Rainbond 上的部署方案SQLAI
- pyinstaller 生成 exe 的閃退問題解決方案
- 資源限制類問題的常用解決方案
- JS中toFixed()方法的問題及解決方案JS
- 前端跨域問題及其解決方案前端跨域
- WordPress:常見問題及解決方案
- Flutter Web 跨域問題解決方案FlutterWeb跨域
- vue許可權問題解決方案Vue
- nginx /Java 解決跨域問題方案NginxJava跨域
- 記錄一次解決App崩潰問題的解決方案APP
- 【前端詞典】滾動穿透問題的解決方案前端穿透
- Wampserver圖示是橙色的【問題與解決方案】Server
- 適配移動端的問題以及解決方案
- Spring Boot幾種啟動問題的解決方案Spring Boot
- 多執行緒的安全問題及解決方案執行緒
- mysql8.0插入慢的問題解決方案(一)MySql
- Java 8 的日期與時間問題解決方案Java
- Redis 大key(bigkey)問題的排查與解決方案Redis
- 如何應對Akka叢集出現腦裂故障?- Andrzej