LVS的DR模型配置+Keepalive部署
介紹
下圖為DR模型的通訊過程，圖中的IP不要被撲結構中的IP迷惑，圖裡只是為了說明DR的通訊原理，應用到本例中的拓撲上其工作原理不變。
拓撲結構
| 伺服器 | IP地址 | 角色 |
|---|---|---|
| Srv01 | 172.16.42.100 VIP: 172.16.42.111 |
LVS+Keepalive |
| Srv02 | 172.16.42.101 VIP: 192.168.100.1 |
LVS+Keepalive |
| Srv03 | 172.16.42.102 VIP: 172.16.42.111 |
Nginx |
| Srv04 | 172.16.42.103 VIP: 172.16.42.111 |
Nginx |
另外，我這4臺主機都是2個網路卡， 其中有ens33是172.16.42.0/24這個網路，ens34是192.168.100.0/24網路，這個網路在本例中沒有用，請忽略。
設定後端伺服器
ARP的核心引數
由於LVS伺服器和後端伺服器的網路卡上都配置了VIP，那麼當客戶端聯絡VIP的時候肯定是和LVS伺服器的VIP進行通訊，然後由LVS伺服器基於規則進行排程，我們知道2層通訊是基於MAC地址的，那麼首次通訊時客戶端可能並不知道LVS伺服器的MAC地址，那麼就需要進行ARP廣播來解析出VIP所在的伺服器的MAC地址，那麼顯然對客戶端進行ARP應答的只能是LVS伺服器不能是後端伺服器，所以我們就要在後端上修改核心引數來禁止ARP應答和宣告。那麼有2個核心參數列示這兩個設定：
arp_ignore：表示接收到ARP廣播時的響應級別，預設值為0
-
0，預設值，表示響應所有，只要對方查詢的IP配置在我自己這臺主機上且無論ARP請求從哪個網路卡進來，該主機都會響應
-
1，收到該ARP請求的網路卡IP與ARP請求的IP一致，該主機才響應
arp_announce：定義將自己的地址向外通告的級別，預設是0
-
0，表示將本機所有的MAC地址都向外通告
-
1，多網路卡主機且都配置了IP地址，那麼該主機接入到網路時，無論哪個網路卡接入到網路，該網路卡都會向外宣告自己所有的MAC地址，所以1表示如果IP不在這個介面上，就避免向外通告，但是不保證一定不會下外通告。
-
2，僅向網路卡IP直連的網路進行通告
為什麼會有這些級別呢？因為主機可以有多個網路卡，每個網路卡都對應一個網段，預設情況下這個多網路卡主機只要接入網路它就會把自己所在的所有網路地址都向外進行通告。
所以對於後端伺服器，也就是本例子中的Nginx，我們應該在lo上配置子介面，且設定arp_ignore為1，arp_announce為2。
設定後端伺服器
後端伺服器的所有操作都是一樣，我這裡就演示一臺。首先要保證2臺後端伺服器都安裝了Nginx，我用Nginx只是為了後端提供一個Web服務而已，你使用Tomcat也是一樣的。
透過這個命令檢視當前伺服器設定sysctl -a | egrep "arp_ignore|arp_announce"
可以看到這裡每個網路卡都有這2個引數還有一個All也有，那應該配置在哪裡呢？all表示全域性，理論上來說在all上配置就可以，但是為了保險我們在ens33上也配置。
記住arp_announce配置為2；apr_ignore配置為1。
sysctl -w net.ipv4.conf.all.arp_announce=2
sysctl -w net.ipv4.conf.ens33.arp_announce=2
我使用sysctl -w來修改只是臨時生效，重啟就沒有了，為了永久有效請修改
/etc/sysctl.conf檔案。
現在在說以為什麼arp_announce配置為2，我這個主機有2個網路卡，每個網路卡所連線的是不同網段。我要使用的是ens33上面這個172.16.42.0/24這個網段，且VIP也是這個網段，當我把ens33的apr_announce配置為2 的時候，這就意味著當這個ens33接入網路時它不會對外宣告ens34的網路設定，也不會對外宣告lo的網路設定（因為我們要在lo上配置一個子介面，該介面的IP就是VIP），下面配置apr_ignore
sysctl -w net.ipv4.conf.all.arp_ignore=1
sysctl -w net.ipv4.conf.ens33.arp_ignore=1
下面設定lo的子介面，這裡為什麼要32位呢？因為要把廣播地址設定為自己，這樣它的廣播就不會廣播到其他地方。
ifconfig lo:0 172.16.42.111 netmask 255.255.255.255 broadcast 172.16.42.111 up
下面我們在Srv01上ping一下這個地址，發現沒有人應答，所以ping不通。
接下來新增一條路由，其目的是由於後端伺服器是直接應答客戶端請求的，所以就需要確保應答是其源IP一定是VIP（因為客戶端請求的就是VIP），但是當LVS修改完資料包傳送給後端伺服器時，使用的是後端伺服器的真實IP地址進行通訊的，而網路通訊是請求入棧是哪個介面，響應出棧還走哪個介面，這就勢必導致後端伺服器會使用自己的真實IP而不是VIP對客戶端響應，這肯定是不對的，所以我們要透過這一條路由設定讓ens33網路卡收到資料包後轉發給lo:0這個子介面，這樣響應出棧的時候就會經過lo:0，這樣也就會把響應報文的源IP設定為VIP了。
route add -host 172.16.42.111 dev lo:0
這條命令的含義是如果目標地址是172.16.42.111就要送到lo:0，這樣就保證了入棧經過lo:0，那麼出棧自然會經過。如果你不理解，那麼就要好好看看最上面的圖，二層通訊是使用mac地址，而此時後端伺服器收到這個資料包的時候，IP報文中源IP是客戶端的IP，而目標IP則是VIP，只是資料鏈路層報文mac地址資訊被LVS替換了。
之後啟動後端服務的Nginx服務，兩臺後端伺服器上都做上面的修改。
安裝keepalive
之間透過yum安裝即可yum install -y keepalived。我這裡使用的是阿里雲的源，它預設就在裡面，如下圖：
在2個節點都安裝。
| 檔案 | 說明 |
|---|---|
| /usr/sbin/keepalived | 二進位制程式 |
| /etc/keepalived/keepalived.conf | 配置檔案 |
| /usr/lib/systemd/system/keepalived.service | 服務檔案 |
Keepalive配置檔案說明
# 全域性配置
global_defs {
# 郵件通知資訊
notification_email {
# 定義收件人
acassen@firewall.loc
}
# 定義發件人
notification_email_from Alexandre.Cassen@firewall.loc
# SMTP伺服器地址
smtp_server 192.168.200.1
smtp_connect_timeout 30
# 路由器標識，一般不用改，也可以寫成每個主機自己的主機名
router_id LVS_DEVEL
# VRRP的ipv4和ipv6的廣播地址，配置了VIP的網路卡向這個地址廣播來宣告自己的配置資訊，下面是預設值
vrrp_mcast_group4 224.0.0.18
vrrp_mcast_group6 ff02::12
}
# 定義用於例項執行的指令碼內容，比如可以線上降低優先順序，用於強制切換
vrrp_script SCRIPT_NAME {
}
# 一個vrrp_instance就是定義一個虛擬路由器的，例項名稱
vrrp_instance VI_1 {
# 定義初始狀態，可以是MASTER或者BACKUP
state MASTER
# 工作介面，通告選舉使用哪個介面進行
interface ens33
# 虛擬路由ID，如果是一組虛擬路由就定義一個ID，如果是多組就要定義多個，而且這個虛擬
# ID還是虛擬MAC最後一段地址的資訊，取值範圍0-255
virtual_router_id 51
# 使用哪個虛擬MAC地址
use_vmac XX:XX:XX:XX:XX
# 監控本機上的哪個網路卡，網路卡一旦故障則需要把VIP轉移出去
track_interface {
eth0
ens33
}
# 如果你上面定義了MASTER,這裡的優先順序就需要定義的比其他的高
priority 100
# 通告頻率，單位為秒
advert_int 1
# 通訊認證機制，這裡是明文認證還有一種是加密認證
authentication {
auth_type PASS
auth_pass 1111
}
# 設定虛擬VIP地址，一般就設定一個，在LVS中這個就是為LVS主機設定VIP的，這樣你就不用自己手動設定了
virtual_ipaddress {
# IP/掩碼 dev 配置在哪個網路卡
192.168.200.16/24 dev eth1
# IP/掩碼 dev 配置在哪個網路卡的哪個別名上
192.168.200.17/24 dev label eth1:1
}
# 虛擬路由，在需要的情況下可以設定lvs主機 資料包在哪個網路卡進來從哪個網路卡出去
virtual_routes {
192.168.110.0/24 dev eth2
}
# 工作模式，nopreempt表示工作在非搶佔模式，預設是搶佔模式 preempt
nopreempt|preempt
# 如果是搶佔預設則可以設定等多久再搶佔，預設5分鐘
preempt delay 300
# 追蹤指令碼，通常用於去執行上面的vrrp_script定義的指令碼內容
track_script {
}
# 三個指令，如果主機狀態變成Master|Backup|Fault之後會去執行的通知指令碼，指令碼要自己寫
notify_master ""
notify_backup ""
notify_fault ""
}
# 定義LVS叢集服務，可以是IP+PORT；也可以是fwmark 數字，也就是防火牆規則
# 所以透過這裡就可以看出來keepalive天生就是為ipvs而設計的
virtual_server 10.10.10.2 1358 {
delay_loop 6
# 演算法
lb_algo rr|wrr|lc|wlc|lblc|sh|dh
# LVS的模式
lb_kind NAT|DR|TUN
# 子網掩碼，這個掩碼是VIP的掩碼
net_mask 255.255.255.0
# 持久連線超時時間
persistence_timeout 50
# 定義協議
protocol TCP
# 如果後端應用伺服器都不可用，就會定向到那個伺服器上
sorry_server 192.168.200.200 1358
# 後端應用伺服器 IP PORT
real_server 192.168.200.2 1358 {
# 權重
weight 1
# 應用伺服器UP或者DOWN，就執行那個指令碼
notify_up "這裡寫的是路徑，如果指令碼後有引數，整體路徑+引數引起來"
notify_down "/PATH/SCRIPTS.sh 引數"
# MSIC_CHECK|SMTP_CHEKC|TCP_CHECK|SSL_GET|HTTP_GET這些都是
# 針對應用伺服器做健康檢查的方法
MISC_CHECK {}
# 用於檢查SMTP伺服器的
SMTP_CHEKC {}
# 如果應用伺服器不是WEB伺服器，就用TCP_CHECK檢查
TCP_CHECK {
# 向哪一個埠檢查，如果不指定預設使用上面定義的埠
connect_port <PORT>
# 向哪一個IP檢測，如果不指定預設使用上面定義的IP地址
bindto <IP>
# 連線超時時間
connect_timeout 3
}
# 如果對方是HTTPS伺服器就用SSL_GET方法去檢查，裡面配置的內容和HTTP_GET一樣
SSL_GET {}
# 使用HTTP_GET方法去檢查
HTTP_GET {
# 檢測URL
url {
# 具體檢測哪一個URL
path /testurl/test.jsp
# 檢測內容的雜湊值，也就是網頁的md5值
digest 640205b7b0fc66c1ea91c463fac6334d
# 除了檢測雜湊值還可以檢測狀態碼，比如HTTP的200 表示正常，兩種方法二選一即可
status_code 200
}
url {
path /testurl2/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334d
}
url {
path /testurl3/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334d
}
# 向哪一個埠檢查，如果不指定預設使用上面定義的埠
connect_port <PORT>
# 向哪一個IP檢測，如果不指定預設使用上面定義的IP地址
bindto <IP>
# 連線超時時間
connect_timeout 3
# 嘗試次數
nb_get_retry 3
# 每次嘗試之間間隔幾秒
delay_before_retry 3
}
}
real_server 192.168.200.3 1358 {
weight 1
HTTP_GET {
url {
path /testurl/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334c
}
url {
path /testurl2/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334c
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
配置Srv01和Srv02
配置VRRP部分
Srv01上的keepalived.conf
global_defs {
notification_email {
acassen@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id srv01
}
vrrp_instance VI_1 {
state MASTER
interface ens33
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.16.42.111/24 brd 172.16.42.111 dev ens33 label ens33:0
}
preempt delay 60
}
Srv02上的keepalived.conf，唯一不同的就是state、priority以及router_id。
global_defs {
notification_email {
acassen@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id srv02
}
vrrp_instance VI_1 {
state BACKUP
interface ens33
virtual_router_id 51
priority 90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.16.42.111/24 brd 172.16.42.111 dev ens33 label ens33:0
}
preempt delay 60
}
啟動2個節點，啟動後會自動配置ens33:0這個子介面的虛擬IP
在主節點上你透過systemctl status keepalived看不到它到底是什麼角色，不過在BACKUP節點上你可以看到，但是你在主節點日誌中cat /var/log/message裡可以看到Srv01進入到MASTER狀態，如下圖：
檢視Srv02的狀態
那麼你透過停止Srv01上的keepalived服務就看到MASTER會被轉移到Srv02上。
使用該命令檢視VRRP通告tcpdum -i ens33 -nn host 224.0.0.18，你在2臺主機都會看到相同的資訊。
Srv01使用真實物理IP對該地址進行傳送通告，那麼Srv02也會收到，如果Srv01當機，那麼Srv02就會使用自己的物理IP向該地址傳送通告，由於Srv01已經當機那麼此時Srv02的優先順序就是最高的，所以Srv02就變成了MASTER。
配置LVS部分
在keepalived.conf檔案中增加下面的內容，2臺伺服器增加的內容一致，所以這裡就寫一份。
virtual_server 172.16.42.111 80 {
delay_loop 6
lb_algo rr
lb_kind DR
nat_mask 255.255.255.0
persistence_timeout 0
protocol TCP
sorry_server 192.168.200.200 1358
# 後端應用伺服器 IP PORT
real_server 172.16.42.102 80 {
weight 1
# 應用伺服器UP或者DOWN，就執行那個指令碼
notify_up "/usr/local/notify.sh 172.16.42.102 up"
notify_down "/usr/local/notify.sh 172.16.42.102 down"
HTTP_GET {
# 檢測URL
url {
path /index.html
# 除了檢測雜湊值還可以檢測狀態碼，比如HTTP的200 表示正常，兩種方法二選一即可
status_code 200
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 172.16.42.103 80 {
weight 1
# 應用伺服器UP或者DOWN，就執行那個指令碼
notify_up "/usr/local/notify.sh 172.16.42.103 up"
notify_down "/usr/local/notify.sh 172.16.42.103 down"
HTTP_GET {
# 檢測URL
url {
path /index.html
# 除了檢測雜湊值還可以檢測狀態碼，比如HTTP的200 表示正常，兩種方法二選一即可
status_code 200
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
這裡的notify_up|down指令碼我寫的很簡單就是為了使用一下這個功能，內容如下：
#!/bin/bash
if [ $2 == "up" ]; then
echo "Real server ${1} is UP" > /tmp/notify.txt
elif [ $2 == "down" ]; then
echo "Real server ${1} is DOWN" > /tmp/notify.txt
fi
重啟Keepalived服務之後你就可以透過ipvsadm -Ln檢視ipvs規則了，這些規則在2臺伺服器上都會有，如下圖：
測試訪問
使用下面的命令快速訪問for i in {1..20}; do curl http://172.16.42.111/ | grep "Srv0" --color ; done
可以看到2臺伺服器交替，因為我們使用的rr排程演算法。
故障轉移測試
連續訪問VIP，然後停止Srv01上面的keepalived服務，這就意味著Srv01也就是失去了VIP，然後觀察請求情況以及是否觸發之前設定的指令碼。
檢視Srv02上面的日誌
總結
為了提供一個Nginx或者某種後端伺服器的負載均衡功能，那麼我們需要一個LVS來做排程，但是一臺LVS存在單點故障，為了解決LVS單點故障我們使用Keepalived來組建一個LVS的高可用叢集。