LB與HA解決方案：haproxy+keepalived
haproxy能夠實現的功能
4層負載均衡，透明代理，7層負載均衡（會話保持，動靜分離，多種輪詢演算法）
安裝haproxy
centos7 自帶HA-Proxy version 1.5 yum update -y && yum install epel* -y && yum update -y && yum install haproxy -y
配置使其能夠進行轉發（haproxy是基於nat模式的負載均衡需要開啟系統的轉發功能）
vim /etc/sysctl.conf net.ipv4.ip_forward = 1 sysctl -p #重新整理配置
編輯haproxy的配置
vim /etc/haproxy/haproxy.conf,待會兒將詳細介紹各種引數，現完成以下案例
1：利用tcp模式，實現ssl的代理與負載均衡 2：利用http模式，實現簡單的web負載均衡，（後面會介紹利用frontend，backend實現負載的負載均衡，比如動靜分離） 3：利用listen模組，實現配置整體監控頁面
配置檔案haproxy.conf的內容
################################# global maxconn 20480 #預設最大連線數 log 127.0.0.1 local3 notice chroot /var/lib/haproxy #注意，這裡的路徑與1.4,1.3版本的路徑不太一樣 user haproxy group haproxy daemon #以後臺形式執行haproxy nbproc 1 #程式數量(可以設定多個程式提高效能) pidfile /var/run/haproxy.pid #haproxy的pid存放路徑,啟動程式的使用者必須有許可權訪問此檔案 ulimit-n 65535 #ulimit的數量限制 defaults log global mode http #所處理的類別 (#7層 http;4層tcp ) maxconn 20480 #最大連線數 option httplog #日誌類別http日誌格式 option httpclose #每次請求完畢後主動關閉http通道 option dontlognull #不記錄健康檢查的日誌資訊 option forwardfor #如果後端伺服器需要獲得客戶端真實ip需要配置的引數，可以從Http Header中獲得客戶端ip option redispatch #當serverid對應的伺服器掛掉後，強制定向到其他健康伺服器 #當使用了cookie時，haproxy將會將其請求的後端伺服器的serverID插入到cookie中，以保證會話的SESSION永續性；而此時，如果後端的伺服器宕掉了，但是客戶端的cookie是不會重新整理的，如果設定此引數，將會將客戶的請求強制定向到另外一個後端server上，以保證服務的正常。 option abortonclose #當伺服器負載很高的時候，自動結束掉當前佇列處理比較久的連線 stats refresh 30 #統計頁面重新整理間隔 retries 3 #3次連線失敗就認為服務不可用，也可以透過後面設定 balance roundrobin #預設的負載均衡的方式,輪詢方式 #balance source #預設的負載均衡的方式,類似nginx的ip_hash #balance leastconn #預設的負載均衡的方式,最小連線 timeout connect 10s #連線超時，注意這裡的關鍵詞與1.3,1.4版本不一樣 timeout client 1m #客戶端超時 timeout server 1m #伺服器超時 timeout http-keep-alive 10s timeout check 10s #心跳檢測超時 listen jiankong *:80 #利用listen模組，實現配置整體監控頁面 description web-jiqun mode http #http的7層模式 log 127.0.0.1 local3 err #錯誤日誌記錄 stats refresh 5s #每隔5秒自動重新整理監控頁面 stats uri /admin #監控頁面的url stats realm itnihao\ itnihao #監控頁面的提示資訊 stats auth admin:admin #監控頁面的使用者和密碼admin,可以設定多個使用者名稱 stats auth admin1:admin1 #監控頁面的使用者和密碼admin1 stats hide-version #隱藏統計頁面上的HAproxy版本資訊 stats admin if TRUE #手工啟用/禁用,後端伺服器(haproxy-1.4.9以後版本) ########HAProxy的日誌記錄內容設定########## capture request header Host len 40 capture request header Content-Length len 10 capture request header Referer len 200 capture response header Server len 40 capture response header Content-Length len 10 capture response header Cache-Control len 8 listen web *:100 #利用http模式，實現簡單的web負載均衡 description web mode http balance roundrobin server web1 192.168.10.188:80 check inter 1500 rise 3 fall 3 weight 1 server web2 192.168.10.153:80 check inter 1500 rise 3 fall 3 weight 1 listen ssl *:200 #利用tcp模式，實現ssl的代理與負載均衡 description ssl-web mode tcp balance roundrobin server web1 192.168.10.188:22 server web2 192.168.10.153:22 **********************************
為haproxy配置log，實現記錄日誌的功能
vim /etc/rsyslog.conf #在這個檔案裡追加一行 local3.* /var/log/haproxy.log
重啟rsyslog服務
systemctl restart rsyslog
haproxy -f /etc/haproxy/haproxy.cfg -c #檢查指定配置是否正確 haproxy -f /etc/haproxy/haproxy.cfg -D #指定配置檔案啟動
在啟動haproxy後，檢視是否有/var/log/haproxy.log這個檔案，若是沒有，可以考慮禁止se
安裝keepalived
keepalived不僅可以實現高可用（控制vip的漂移），還能實現負載均衡，我們這裡只需要它實現vip漂移;keepalived採用官網下載的原始碼方式安裝
先安裝依賴 yum install openssl-devel.x86_64 -y 下載地址： ./configure #若是這步出錯，很可能是沒安裝openssl-devel.x86_64 make -j4 make install
(注意：編譯時儘量別新增prefix引數，因為keepalived啟動是預設的配置檔案路徑是/etc/keepalived/keepalived.conf,若路徑或檔案不存在，就無法實現vip的繫結)
安裝完成後需要把配置檔案cp /usr/local/etc/keepalived /etc -r
keepalived實現HA的原理
利用vrrp協議；（MASTER一直髮送心跳給BACKUP，backup若收不到心跳則會接管vip）
keepalived配置檔案vim /etc/keepalived/keepalived.conf（主與備）-（注意：主與備節點，只需改動state MASTER和priority 100這兩個地方）
keepalived在啟動時並不檢查語法的正確性，需要特別注意，配置語法別錯
#全域性定義部分
global_defs {
notification_email {
root@wsfnk.com #設定郵件報警地址，可以設定多個，每行一個
112323250@qq.com
}
notification_email_from Alexandre.Cassen@firewall.loc #設定郵件的傳送地址
smtp_server 192.168.200.1 #設定smtp server
smtp_connect_timeout 30 #設定連線smtp server的超時時間
router_id LVS_DEVEL #表示執行keepalived伺服器的一個標示，傳送郵件時顯示在郵件主題中的資訊
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_script chk_http_port { #定義一個檢查haproxy的指令碼
script "/root/check_haproxy.sh"
interval 2
weight 2
}
#vrrp例項定義部分
vrrp_instance VI_1 {
state MASTER #指定角色為主MASTER，備為BACKUP
interface eth0 #指定HA監測網路的介面,注意網路裝置的名字，要與系統一致
virtual_router_id 51 #虛擬路由標示，這個標示是一個數字，同一個vrrp例項使用唯一的標示
priority 100 #主權值必須設得比 back 高，數字越大越高
advert_int 1 #設定keepalived-master與備節點的心跳間隔時間，單位是秒
authentication { #設定驗證型別和密碼
auth_type PASS #設定驗證型別，由PASS與HA兩種
auth_pass 1111 #設定驗證密碼，同一vrrp例項下，keepalived-master與backup節點必須使用相同的密碼才能正常通訊
}
track_script { #呼叫上面定義檢查haproxy的指令碼
chk_http_port
}
virtual_ipaddress { #設定虛擬ip，可以設定多個虛擬的vip，每行一個
192.168.200.16
192.168.200.18
}
}
******************************************
keepalived控制haproxy的啟動
下面指令碼的意思是，當主備啟動keepalived時，會分別啟動haproxy，只要keepalived不停，haproxy程式就殺不死,用vip承載業務，兩邊haproxy都啟動沒有影響，只需要做好監控，當然完善一下也可以
cd /root vim check_haproxy.sh #!/bin/bash if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -D fi sleep 2 if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then keepalived stop fi
chmod +x check_haproxy.sh 啟動keepalived keepalived start
*************************************** ★★★stop若要深入研究haproxy與keepalived，下面是他們的配置示例 以下是haproxy的配置講解,主要講listen，acl，frontend，backend ##################全域性配置資訊##################### #######引數是程式級的，通常和作業系統（OS）相關######### global ###################預設的全域性設定################### ##這些引數可以被利用配置到frontend，backend，listen元件## defaults ##################網站監測listen配置################ #########此用法主要是監控haproxy後端伺服器的監控狀態####### listen site_status bind 0.0.0.0:1081 #監聽埠 mode http #http的7層模式 log 127.0.0.1 local3 err #[err warning info debug] monitor-uri /site_status #網站健康檢測URL，用來檢測HAProxy管理的網站是否可以用，正常返回200，不正常返回503 acl site_dead nbsrv(server_web) lt 2 #定義網站down時的策略當掛在負載均衡上的指定backend的中有效機器數小於1臺時返回true acl site_dead nbsrv(server_blog) lt 2 acl site_dead nbsrv(server_bbs) lt 2 monitor fail if site_dead #當滿足策略的時候返回503，網上文件說的是500，實際測試為503 monitor-net 192.168.16.2/32 #來自192.168.16.2的日誌資訊不會被記錄和轉發 monitor-net 192.168.16.3/32 ########frontend配置############ #####注意，frontend配置裡面可以定義多個acl進行匹配操作######## frontend http_80_in bind 0.0.0.0:80 #監聽埠，即haproxy提供web服務的埠，和lvs的vip埠類似 mode http #http的7層模式 log global #應用全域性的日誌配置 option httplog #啟用http的log option httpclose #每次請求完畢後主動關閉http通道，HA-Proxy不支援keep-alive模式 option forwardfor #如果後端伺服器需要獲得客戶端的真實IP需要配置次引數，將可以從Http Header中獲得客戶端IP ########acl策略配置############# acl itnihao_web hdr_reg(host) -i ^(|ww1.itnihao.cn)$ #如果請求的域名滿足正規表示式中的2個域名返回true -i是忽略大小寫 acl itnihao_blog hdr_dom(host) -i blog.itnihao.cn #如果請求的域名滿足返回true -i是忽略大小寫 #acl itnihao hdr(host) -i itnihao.cn #如果請求的域名滿足itnihao.cn返回true -i是忽略大小寫 #acl file_req url_sub -i killall= #在請求url中包含killall=，則此控制策略返回true,否則為false #acl dir_req url_dir -i allow #在請求url中存在allow作為部分地址路徑，則此控制策略返回true,否則返回false #acl missing_cl hdr_cnt(Content-length) eq 0 #當請求的header中Content-length等於0時返回true acl url_static path_beg -i /static /images /javascript /stylesheets acl url_static path_end -i .jpg .gif .png .css .js #use_backend static if url_static #default_backend app ########acl策略匹配相應############# #block if missing_cl #當請求中header中Content-length等於0阻止請求返回403 #block if !file_req || dir_req #block表示阻止請求，返回403錯誤，當前表示如果不滿足策略file_req，或者滿足策略dir_req，則阻止請求 use_backend server_web if itnihao_web #當滿足itnihao_web的策略時使用server_web的backend use_backend server_blog if itnihao_blog #當滿足itnihao_blog的策略時使用server_blog的backend #redirect prefix http://blog.itniaho.cn code 301 if itnihao #當訪問itnihao.cn的時候，用http的301挑轉到http://192.168.16.3 default_backend server_bbs #以上都不滿足的時候使用預設server_bbs的backend ##########backend的設定############## #下面我將設定三組伺服器 server_web，server_blog，server_bbs #############backend server_web############## backend server_web mode http #http的7層模式 balance roundrobin #負載均衡的方式，roundrobin平均方式 cookie SERVERID #允許插入serverid到cookie中，serverid後面可以定義 option httpchk GET /index.html #心跳檢測的檔案 server web1 192.168.16.2:80 cookie web1 check inter 1500 rise 3 fall 3 weight 1 #伺服器定義，cookie 1表示serverid為web1，check inter 1500是檢測心跳頻率rise 3是3次正確認為伺服器可用， #fall 3是3次失敗認為伺服器不可用，weight代表權重 server web2 192.168.16.3:80 cookie web2 check inter 1500 rise 3 fall 3 weight 2 #伺服器定義，cookie 1表示serverid為web2，check inter 1500是檢測心跳頻率rise 3是3次正確認為伺服器可用， #fall 3是3次失敗認為伺服器不可用，weight代表權重 ##############backend server_blog############## backend server_blog mode http #http的7層模式 balance roundrobin #負載均衡的方式，roundrobin平均方式 cookie SERVERID #允許插入serverid到cookie中，serverid後面可以定義 option httpchk GET /index.html #心跳檢測的檔案 server blog1 192.168.16.2:80 cookie blog1 check inter 1500 rise 3 fall 3 weight 1 #伺服器定義，cookie 1表示serverid為blog1，check inter 1500是檢測心跳頻率rise 3是3次正確認為伺服器可用，fall 3是3次失敗認為伺服器不可用，weight代表權重 server blog2 192.168.16.3:80 cookie blog2 check inter 1500 rise 3 fall 3 weight 2 #伺服器定義，cookie 1表示serverid為blog2，check inter 1500是檢測心跳頻率rise 3是3次正確認為伺服器可用，fall 3是3次失敗認為伺服器不可用，weight代表權重 ###########backend server_bbs################# backend server_bbs mode http #http的7層模式 balance roundrobin #負載均衡的方式，roundrobin平均方式 cookie SERVERID #允許插入serverid到cookie中，serverid後面可以定義 option httpchk GET /index.html #心跳檢測的檔案 server bbs1 192.168.16.2:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1 #伺服器定義，cookie 1表示serverid為bbs1，check inter 1500是檢測心跳頻率rise 3是3次正確認為伺服器可用，fall 3是3次失敗認為伺服器不可用，weight代表權重 server bbs2 192.168.16.3:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2 #伺服器定義，cookie 1表示serverid為bbs2，check inter 1500是檢測心跳頻率rise 3是3次正確認為伺服器可用，fall 3是3次失敗認為伺服器不可用，weight代表權重 ***************************************
下面是keepalived的詳細引數介紹
#全域性定義部分
global_defs {
notification_email {
root@wsfnk.com #設定郵件報警地址，可以設定多個，每行一個
1123323230@qq.com
}
notification_email_from Alexandre.Cassen@firewall.loc #設定郵件的傳送地址
smtp_server 192.168.200.1 #設定smtp server
smtp_connect_timeout 30 #設定連線smtp server的超時時間
router_id LVS_DEVEL #表示執行keepalived伺服器的一個標示，傳送郵件時顯示在郵件主題中的資訊
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_script chk_http_port { #定義一個檢查haproxy的指令碼
script "/root/check_haproxy.sh"
interval 2
weight 2
}
#vrrp例項定義部分
vrrp_instance VI_1 {
state MASTER #指定角色為主MASTER，備為BACKUP
interface eth0 #指定HA監測網路的介面,注意網路裝置的名字，要與系統一致
virtual_router_id 51 #虛擬路由標示，這個標示是一個數字，同一個vrrp例項使用唯一的標示
priority 100 #主權值必須設得比 back 高，數字越大越高
advert_int 1 #設定keepalived-master與備節點的心跳間隔時間，單位是秒
authentication { #設定驗證型別和密碼
auth_type PASS #設定驗證型別，由PASS與HA兩種
auth_pass 1111 #設定驗證密碼，同一vrrp例項下，keepalived-master與backup節點必須使用相同的密碼才能正常通訊
}
track_script { #呼叫上面定義檢查haproxy的指令碼
chk_http_port
}
virtual_ipaddress { #設定虛擬ip，可以設定多個虛擬的vip，每行一個
192.168.200.16
192.168.200.18
}
}
#虛擬伺服器定義部分
virtual_server 192.168.200.100 443 { #設定虛擬伺服器，需要指定虛擬ip，埠，用空格分開
delay_loop 6 #設定執行情況檢查時間間隔，單位是秒
lb_algo rr #設定負載排程演算法，rr是輪詢演算法
lb_kind NAT #設定lvs實現負載均衡的機制，有NAT，TUN，DR
persistence_timeout 50 #會話保持時間，單位是秒，這個選項對動態網頁非常有用，為叢集中的session共享提供了一個很好的解決方案
#有了這個會話保持功能，使用者的請求會被一直分發到一臺伺服器上，直到超過這個會話保持時間，需要注意的是
#這個會話保持時間是最大無響應超時時間，也就是說，使用者在操作動態頁面時，如果在50秒內沒有執行任何操作
#那麼就會認為超時，以後的操作會被分發到別的節點上，以此類推
protocol TCP #指定轉發的協議型別，有TCP，UDP兩種
real_server 192.168.201.100 443 { #配置服務節點1，需要指定real_server的真實ip，埠
weight 1 #配置權重，數字越大，權重越高，效能好的伺服器可以設大些
SSL_GET {
url {
path /
digest ff20ad2481f97b1754ef3e12ecd3a9cc
}
url {
path /mrtg/
digest 9b3a0c85a887a256d6939da88aabd8cd
}
connect_timeout 3 #存活檢測，表示3秒內無響應超時，單位是秒
nb_get_retry 3 #表示檢測次數
delay_before_retry 3 #表示檢測的時間間隔
}
}
}
virtual_server 10.10.10.3 1358 {
delay_loop 3
lb_algo rr
lb_kind NAT
persistence_timeout 50
protocol TCP
real_server 192.168.200.4 1358 {
weight 1
HTTP_GET {
url {
path /testurl/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334d
}
url {
path /testurl2/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334d
}
url {
path /testurl3/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334d
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.200.5 1358 {
weight 1
HTTP_GET {
url {
path /testurl/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334d
}
url {
path /testurl2/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334d
}
url {
path /testurl3/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334d
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/31559985/viewspace-2654029/，如需轉載，請註明出處，否則將追究法律責任。
相關文章
- LB與HA解決方案：nginx+keepalivedNginx
- HA腦裂問題解決方案
- 非同步解決方案—-Promise與Await非同步PromiseAI
- 非同步解決方案----Promise與Await非同步PromiseAI
- Zabbix 6.0：原生高可用(HA)方案部署
- 網路安全解決方案與智慧城市
- 解決方案| anyRTC金融音視訊解決方案
- Cilium Socket LB 特性
- Java謎題6：雞與蛋-解決方案Java
- LTE語音解決方案與最佳化
- 微社群與PC社群最佳解決方案
- MySQL字符集亂碼與解決方案MySql
- UnexpectedRollbackException解決方案Exception
- 【Hadoop】SNN與HA的區別Hadoop
- 智慧製造與數字化工廠解決方案
- 移動端事件穿透的原理與解決方案事件穿透
- 儲存解決方案DAS、NAS與SAN比較
- Spring Boot 容器化踩坑與解決方案（1）Spring Boot
- 多語言與多時區的解決方案
- 高併發解決方案詳解(9大常見解決方案)
- 【智慧工地解決方案】工業物聯網閘道器開發與整體解決方案架構架構
- Redis 大key（bigkey）問題的排查與解決方案Redis
- 在雲中部署MES：挑戰與解決方案(二)
- 在雲中部署MES：挑戰與解決方案(一)
- Wampserver圖示是橙色的【問題與解決方案】Server
- 犀思雲—混合雲解決方案的使用與解析
- 舊專案 TypeScript 改造問題與解決方案記TypeScript
- Java 8 的日期與時間問題解決方案Java
- Feast on Amazon 解決方案AST
- Redis bigkey解決方案Redis
- 前端整合解決方案前端
- 高可用解決方案
- 資料安全與風控解決方案測試實踐與思考
- minikube配置代理：解決方案以及解決思路
- HDFS HA 高可用機制詳解
- Hadoop2之NameNode HA詳解Hadoop
- 智慧停車場解決方案，反向尋車系統解決方案
- 伺服器群集—Haproxy+keepalived群集伺服器