LB與HA解決方案：haproxy+keepalived

安全劍客發表於2019-08-18
haproxy能夠實現的功能

4層負載均衡，透明代理，7層負載均衡（會話保持，動靜分離，多種輪詢演算法）

安裝haproxy 
centos7 自帶HA-Proxy version 1.5
yum update -y && yum install epel* -y && yum update -y && yum install haproxy -y

配置使其能夠進行轉發（haproxy是基於nat模式的負載均衡需要開啟系統的轉發功能） 

vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
sysctl -p #重新整理配置
編輯haproxy的配置

vim /etc/haproxy/haproxy.conf,待會兒將詳細介紹各種引數，現完成以下案例 

1：利用tcp模式，實現ssl的代理與負載均衡
2：利用http模式，實現簡單的web負載均衡，（後面會介紹利用frontend，backend實現負載的負載均衡，比如動靜分離）
3：利用listen模組，實現配置整體監控頁面
配置檔案haproxy.conf的內容 
#################################
global
  maxconn 20480 #預設最大連線數
  log 127.0.0.1 local3 notice
  chroot /var/lib/haproxy  #注意，這裡的路徑與1.4,1.3版本的路徑不太一樣
  user haproxy
  group haproxy
  daemon #以後臺形式執行haproxy
  nbproc 1 #程式數量(可以設定多個程式提高效能)
  pidfile /var/run/haproxy.pid #haproxy的pid存放路徑,啟動程式的使用者必須有許可權訪問此檔案
  ulimit-n 65535 #ulimit的數量限制
defaults
  log global
  mode http #所處理的類別 (#7層 http;4層tcp )
  maxconn 20480 #最大連線數
  option httplog #日誌類別http日誌格式
  option httpclose #每次請求完畢後主動關閉http通道
  option dontlognull #不記錄健康檢查的日誌資訊
  option forwardfor #如果後端伺服器需要獲得客戶端真實ip需要配置的引數，可以從Http Header中獲得客戶端ip
  option redispatch #當serverid對應的伺服器掛掉後，強制定向到其他健康伺服器
  #當使用了cookie時，haproxy將會將其請求的後端伺服器的serverID插入到cookie中，以保證會話的SESSION永續性；而此時，如果後端的伺服器宕掉了，但是客戶端的cookie是不會重新整理的，如果設定此引數，將會將客戶的請求強制定向到另外一個後端server上，以保證服務的正常。
  option abortonclose #當伺服器負載很高的時候，自動結束掉當前佇列處理比較久的連線
  stats refresh 30 #統計頁面重新整理間隔
  retries 3 #3次連線失敗就認為服務不可用，也可以透過後面設定
  balance roundrobin #預設的負載均衡的方式,輪詢方式
  #balance source #預設的負載均衡的方式,類似nginx的ip_hash
  #balance leastconn #預設的負載均衡的方式,最小連線
  timeout connect 10s #連線超時，注意這裡的關鍵詞與1.3,1.4版本不一樣
  timeout client 1m #客戶端超時
  timeout server 1m #伺服器超時
  timeout http-keep-alive 10s
  timeout check 10s #心跳檢測超時
listen jiankong *:80 #利用listen模組，實現配置整體監控頁面
  description web-jiqun
  mode http #http的7層模式
  log 127.0.0.1 local3 err #錯誤日誌記錄
  stats refresh 5s #每隔5秒自動重新整理監控頁面
  stats uri /admin #監控頁面的url
  stats realm itnihao\ itnihao #監控頁面的提示資訊
  stats auth admin:admin #監控頁面的使用者和密碼admin,可以設定多個使用者名稱
  stats auth admin1:admin1 #監控頁面的使用者和密碼admin1
  stats hide-version #隱藏統計頁面上的HAproxy版本資訊
  stats admin if TRUE #手工啟用/禁用,後端伺服器(haproxy-1.4.9以後版本)
########HAProxy的日誌記錄內容設定##########
  capture request header Host len 40
  capture request header Content-Length len 10
  capture request header Referer len 200
  capture response header Server len 40
  capture response header Content-Length len 10
  capture response header Cache-Control len 8
listen web *:100 #利用http模式，實現簡單的web負載均衡
  description web
  mode http
  balance roundrobin
  server web1 192.168.10.188:80 check inter 1500 rise 3 fall 3 weight 1
  server web2 192.168.10.153:80 check inter 1500 rise 3 fall 3 weight 1
listen ssl *:200 #利用tcp模式，實現ssl的代理與負載均衡
  description ssl-web
  mode tcp
  balance roundrobin
  server web1 192.168.10.188:22
  server web2 192.168.10.153:22
**********************************

為haproxy配置log，實現記錄日誌的功能 

vim /etc/rsyslog.conf #在這個檔案裡追加一行
local3.* /var/log/haproxy.log

重啟rsyslog服務 

systemctl restart rsyslog

haproxy -f /etc/haproxy/haproxy.cfg -c #檢查指定配置是否正確
haproxy -f /etc/haproxy/haproxy.cfg -D #指定配置檔案啟動

在啟動haproxy後，檢視是否有/var/log/haproxy.log這個檔案，若是沒有，可以考慮禁止se

安裝keepalived

keepalived不僅可以實現高可用（控制vip的漂移），還能實現負載均衡，我們這裡只需要它實現vip漂移;keepalived採用官網下載的原始碼方式安裝 

先安裝依賴
yum install openssl-devel.x86_64 -y
下載地址：
./configure #若是這步出錯，很可能是沒安裝openssl-devel.x86_64
make -j4
make install

(注意：編譯時儘量別新增prefix引數，因為keepalived啟動是預設的配置檔案路徑是/etc/keepalived/keepalived.conf,若路徑或檔案不存在，就無法實現vip的繫結) 

安裝完成後需要把配置檔案cp /usr/local/etc/keepalived /etc -r
keepalived實現HA的原理

利用vrrp協議；（MASTER一直髮送心跳給BACKUP，backup若收不到心跳則會接管vip）

keepalived配置檔案vim /etc/keepalived/keepalived.conf（主與備）-（注意：主與備節點，只需改動state MASTER和priority 100這兩個地方）

keepalived在啟動時並不檢查語法的正確性，需要特別注意，配置語法別錯 

#全域性定義部分
global_defs {
   notification_email {
     root@wsfnk.com		#設定郵件報警地址，可以設定多個，每行一個
     112323250@qq.com
   }
   notification_email_from Alexandre.Cassen@firewall.loc	#設定郵件的傳送地址
   smtp_server 192.168.200.1					#設定smtp server
   smtp_connect_timeout 30					#設定連線smtp server的超時時間
   router_id LVS_DEVEL						#表示執行keepalived伺服器的一個標示，傳送郵件時顯示在郵件主題中的資訊
   vrrp_skip_check_adv_addr
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}
vrrp_script chk_http_port {					#定義一個檢查haproxy的指令碼
                script "/root/check_haproxy.sh"
                interval 2
                weight 2
}
#vrrp例項定義部分
vrrp_instance VI_1 {
    state MASTER		#指定角色為主MASTER，備為BACKUP
    interface eth0		#指定HA監測網路的介面,注意網路裝置的名字，要與系統一致
    virtual_router_id 51	#虛擬路由標示，這個標示是一個數字，同一個vrrp例項使用唯一的標示
    priority 100		#主權值必須設得比 back 高，數字越大越高
    advert_int 1		#設定keepalived-master與備節點的心跳間隔時間，單位是秒
    authentication {		#設定驗證型別和密碼
        auth_type PASS		#設定驗證型別，由PASS與HA兩種
        auth_pass 1111		#設定驗證密碼，同一vrrp例項下，keepalived-master與backup節點必須使用相同的密碼才能正常通訊
    }
    track_script {		#呼叫上面定義檢查haproxy的指令碼
        chk_http_port
    }
    virtual_ipaddress {		#設定虛擬ip，可以設定多個虛擬的vip，每行一個
        192.168.200.16
        192.168.200.18
    }
}
******************************************
keepalived控制haproxy的啟動

下面指令碼的意思是，當主備啟動keepalived時，會分別啟動haproxy，只要keepalived不停，haproxy程式就殺不死,用vip承載業務，兩邊haproxy都啟動沒有影響，只需要做好監控，當然完善一下也可以 

cd /root
vim check_haproxy.sh
#!/bin/bash
if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then
        /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -D
fi
sleep 2
if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then
       keepalived stop
fi

chmod +x check_haproxy.sh
啟動keepalived
keepalived start

***************************************
★★★stop若要深入研究haproxy與keepalived，下面是他們的配置示例
以下是haproxy的配置講解,主要講listen，acl，frontend，backend
##################全域性配置資訊#####################
#######引數是程式級的，通常和作業系統（OS）相關#########
global
###################預設的全域性設定###################
##這些引數可以被利用配置到frontend，backend，listen元件##
defaults
##################網站監測listen配置################
#########此用法主要是監控haproxy後端伺服器的監控狀態#######
listen site_status
  bind 0.0.0.0:1081 #監聽埠
  mode http #http的7層模式
  log 127.0.0.1 local3 err #[err warning info debug]
  monitor-uri /site_status #網站健康檢測URL，用來檢測HAProxy管理的網站是否可以用，正常返回200，不正常返回503
  acl site_dead nbsrv(server_web) lt 2 #定義網站down時的策略當掛在負載均衡上的指定backend的中有效機器數小於1臺時返回true
  acl site_dead nbsrv(server_blog) lt 2
  acl site_dead nbsrv(server_bbs) lt 2
  monitor fail if site_dead #當滿足策略的時候返回503，網上文件說的是500，實際測試為503
  monitor-net 192.168.16.2/32 #來自192.168.16.2的日誌資訊不會被記錄和轉發
  monitor-net 192.168.16.3/32
########frontend配置############
#####注意，frontend配置裡面可以定義多個acl進行匹配操作########
frontend http_80_in
  bind 0.0.0.0:80 #監聽埠，即haproxy提供web服務的埠，和lvs的vip埠類似
  mode http #http的7層模式
  log global #應用全域性的日誌配置
  option httplog #啟用http的log
  option httpclose #每次請求完畢後主動關閉http通道，HA-Proxy不支援keep-alive模式
  option forwardfor #如果後端伺服器需要獲得客戶端的真實IP需要配置次引數，將可以從Http Header中獲得客戶端IP
########acl策略配置#############
  acl itnihao_web hdr_reg(host) -i ^(|ww1.itnihao.cn)$
  #如果請求的域名滿足正規表示式中的2個域名返回true -i是忽略大小寫
  acl itnihao_blog hdr_dom(host) -i blog.itnihao.cn
  #如果請求的域名滿足返回true -i是忽略大小寫
  #acl itnihao hdr(host) -i itnihao.cn
  #如果請求的域名滿足itnihao.cn返回true -i是忽略大小寫
  #acl file_req url_sub -i killall=
  #在請求url中包含killall=，則此控制策略返回true,否則為false
  #acl dir_req url_dir -i allow
  #在請求url中存在allow作為部分地址路徑，則此控制策略返回true,否則返回false
  #acl missing_cl hdr_cnt(Content-length) eq 0
  #當請求的header中Content-length等於0時返回true
  acl url_static path_beg -i /static /images /javascript /stylesheets
  acl url_static path_end -i .jpg .gif .png .css .js
  #use_backend static if url_static
  #default_backend app
########acl策略匹配相應#############
  #block if missing_cl
  #當請求中header中Content-length等於0阻止請求返回403
  #block if !file_req || dir_req
  #block表示阻止請求，返回403錯誤，當前表示如果不滿足策略file_req，或者滿足策略dir_req，則阻止請求
  use_backend server_web if itnihao_web
  #當滿足itnihao_web的策略時使用server_web的backend
  use_backend server_blog if itnihao_blog
  #當滿足itnihao_blog的策略時使用server_blog的backend
  #redirect prefix http://blog.itniaho.cn code 301 if itnihao
  #當訪問itnihao.cn的時候，用http的301挑轉到http://192.168.16.3
  default_backend server_bbs
  #以上都不滿足的時候使用預設server_bbs的backend
##########backend的設定##############
#下面我將設定三組伺服器 server_web，server_blog，server_bbs
#############backend server_web##############
backend server_web
  mode http #http的7層模式
  balance roundrobin #負載均衡的方式，roundrobin平均方式
  cookie SERVERID #允許插入serverid到cookie中，serverid後面可以定義
  option httpchk GET /index.html #心跳檢測的檔案
  server web1 192.168.16.2:80 cookie web1 check inter 1500 rise 3 fall 3 weight 1
  #伺服器定義，cookie 1表示serverid為web1，check inter 1500是檢測心跳頻率rise 3是3次正確認為伺服器可用，
  #fall 3是3次失敗認為伺服器不可用，weight代表權重
  server web2 192.168.16.3:80 cookie web2 check inter 1500 rise 3 fall 3 weight 2
  #伺服器定義，cookie 1表示serverid為web2，check inter 1500是檢測心跳頻率rise 3是3次正確認為伺服器可用，
  #fall 3是3次失敗認為伺服器不可用，weight代表權重
##############backend server_blog##############
backend server_blog
  mode http #http的7層模式
  balance roundrobin #負載均衡的方式，roundrobin平均方式
  cookie SERVERID #允許插入serverid到cookie中，serverid後面可以定義
  option httpchk GET /index.html #心跳檢測的檔案
  server blog1 192.168.16.2:80 cookie blog1 check inter 1500 rise 3 fall 3 weight 1
  #伺服器定義，cookie 1表示serverid為blog1，check inter 1500是檢測心跳頻率rise 3是3次正確認為伺服器可用，fall 3是3次失敗認為伺服器不可用，weight代表權重
  server blog2 192.168.16.3:80 cookie blog2 check inter 1500 rise 3 fall 3 weight 2
  #伺服器定義，cookie 1表示serverid為blog2，check inter 1500是檢測心跳頻率rise 3是3次正確認為伺服器可用，fall 3是3次失敗認為伺服器不可用，weight代表權重
###########backend server_bbs#################
backend server_bbs
  mode http #http的7層模式
  balance roundrobin #負載均衡的方式，roundrobin平均方式
  cookie SERVERID #允許插入serverid到cookie中，serverid後面可以定義
  option httpchk GET /index.html #心跳檢測的檔案
  server bbs1 192.168.16.2:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1
  #伺服器定義，cookie 1表示serverid為bbs1，check inter 1500是檢測心跳頻率rise 3是3次正確認為伺服器可用，fall 3是3次失敗認為伺服器不可用，weight代表權重
  server bbs2 192.168.16.3:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2
  #伺服器定義，cookie 1表示serverid為bbs2，check inter 1500是檢測心跳頻率rise 3是3次正確認為伺服器可用，fall 3是3次失敗認為伺服器不可用，weight代表權重
***************************************

下面是keepalived的詳細引數介紹 

#全域性定義部分
global_defs {
   notification_email {
     root@wsfnk.com		#設定郵件報警地址，可以設定多個，每行一個
     1123323230@qq.com
   }
   notification_email_from Alexandre.Cassen@firewall.loc	#設定郵件的傳送地址
   smtp_server 192.168.200.1					#設定smtp server
   smtp_connect_timeout 30					#設定連線smtp server的超時時間
   router_id LVS_DEVEL						#表示執行keepalived伺服器的一個標示，傳送郵件時顯示在郵件主題中的資訊
   vrrp_skip_check_adv_addr
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}
vrrp_script chk_http_port {					#定義一個檢查haproxy的指令碼
                script "/root/check_haproxy.sh"
                interval 2
                weight 2
}
#vrrp例項定義部分
vrrp_instance VI_1 {
    state MASTER		#指定角色為主MASTER，備為BACKUP
    interface eth0		#指定HA監測網路的介面,注意網路裝置的名字，要與系統一致
    virtual_router_id 51	#虛擬路由標示，這個標示是一個數字，同一個vrrp例項使用唯一的標示
    priority 100		#主權值必須設得比 back 高，數字越大越高
    advert_int 1		#設定keepalived-master與備節點的心跳間隔時間，單位是秒
    authentication {		#設定驗證型別和密碼
        auth_type PASS		#設定驗證型別，由PASS與HA兩種
        auth_pass 1111		#設定驗證密碼，同一vrrp例項下，keepalived-master與backup節點必須使用相同的密碼才能正常通訊
    }
	track_script {		#呼叫上面定義檢查haproxy的指令碼
        chk_http_port
    		}
    virtual_ipaddress {		#設定虛擬ip，可以設定多個虛擬的vip，每行一個
        192.168.200.16
        192.168.200.18
    }
}
#虛擬伺服器定義部分
virtual_server 192.168.200.100 443 {	#設定虛擬伺服器，需要指定虛擬ip，埠，用空格分開
    delay_loop 6			#設定執行情況檢查時間間隔，單位是秒
    lb_algo rr				#設定負載排程演算法，rr是輪詢演算法
    lb_kind NAT				#設定lvs實現負載均衡的機制，有NAT，TUN，DR
    persistence_timeout 50		#會話保持時間，單位是秒，這個選項對動態網頁非常有用，為叢集中的session共享提供了一個很好的解決方案
					#有了這個會話保持功能，使用者的請求會被一直分發到一臺伺服器上，直到超過這個會話保持時間，需要注意的是
					#這個會話保持時間是最大無響應超時時間，也就是說，使用者在操作動態頁面時，如果在50秒內沒有執行任何操作
					#那麼就會認為超時，以後的操作會被分發到別的節點上，以此類推
    protocol TCP			#指定轉發的協議型別，有TCP，UDP兩種
    real_server 192.168.201.100 443 {	#配置服務節點1，需要指定real_server的真實ip，埠
        weight 1			#配置權重，數字越大，權重越高，效能好的伺服器可以設大些
        SSL_GET {
            url {
              path /
              digest ff20ad2481f97b1754ef3e12ecd3a9cc
            }
            url {
              path /mrtg/
              digest 9b3a0c85a887a256d6939da88aabd8cd
            }
            connect_timeout 3		#存活檢測，表示3秒內無響應超時，單位是秒
            nb_get_retry 3		#表示檢測次數
            delay_before_retry 3	#表示檢測的時間間隔
        }
    }
}
virtual_server 10.10.10.3 1358 {
    delay_loop 3
    lb_algo rr
    lb_kind NAT
    persistence_timeout 50
    protocol TCP
	real_server 192.168.200.4 1358 {
        weight 1
        HTTP_GET {
            url {
              path /testurl/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334d
            }
            url {
              path /testurl2/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334d
            }
            url {
              path /testurl3/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334d
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
	real_server 192.168.200.5 1358 {
        weight 1
        HTTP_GET {
            url {
              path /testurl/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334d
            }
            url {
              path /testurl2/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334d
            }
            url {
              path /testurl3/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334d
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}


來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/31559985/viewspace-2654029/，如需轉載，請註明出處，否則將追究法律責任。

相關文章