Keepalived部署與配置詳解

昀溪發表於2019-04-27

Keepalive詳解

工作原理

Keepalived本質就是為ipvs服務的，它也不需要共享儲存。IPVS其實就是一些規則，Keepalived主要的任務就是去呼叫ipvsadm命令，來生成規則，並自動實現將使用者需要訪問的地址轉移到可用LVS節點實現。所以keepalive的高可用是屬於具有很強針對性的高可用，它和corosync這種通用性HA方案不同。

Keepalived的主要目的就是它自身啟動為一個服務，它工作在多個LVS主機節點上，當前活動的節點叫做Master備用節點叫做Backup，Master會不停的向Backup節點通告自己的心跳，這種通告是基於VRRP協議的。Backup節點一旦接收不到Master的通告資訊，它就會把LVS的VIP拿過來，並且把ipvs的規則也拿過來，在自己身上生效，從而替代Master節點。

Keepalived除了可以監控和轉移LVS資源之外，它還可以直接配置LVS而不需要直接使用ipvsadm命令，因為它可以呼叫，也就是說在LVS+KEEPALIVED模型中，你所有的工作在Keepalived中配置就可以了，而且它還有對後端應用伺服器健康檢查的功能。

直接一句話Keepalived就是VRRP協議的實現，該協議是虛擬冗餘路由協議。

VRRP工作原理簡述

那麼這個VRRP協議是幹嘛用呢？傳統上來說我們透過一個路由器上網，如果故障那就不能用了，如果使用2個路由器，有一個故障你就需要手動的設定客戶端切換到另外的路由器上，或者使用ARP客戶端也可以實現，但總之部署比較麻煩不利於管理，就像下圖：

有沒有一種辦法可以自動轉移而省去手動配置呢？我們就可以透過VRRP協議來實現路由器的故障轉移。如下圖：

這裡有個問題，VRRP提供一個VIP，它可以來設定那個路由器是活動節點，然後出現故障進行切換，VIP也隨之對應到新的路由器上，但是內網是用過MAC地址來定址的，雖然VIP對應到了新的路由器上，可是MAC變了，客戶端的ARP表也沒有更新，所以還是用不了，為了解決這個問題VRRP不但提供VIP還提供VMAC地址，這個VMAC地址是VRRP單獨申請的，大家都可以正常使用。

故障切換的時候雖然改變了後端路由器，但是由於客戶端使用的是VIP和VMAC地址，這樣就不會有任何影響了。

所以Keepalived就是在Linux系統上提供了VRRP功能，當然還提供了服務監控功能，比如監控後端伺服器的健康檢查、LVS服務可用性檢查。

VRRP的工作過程是這樣的：

虛擬路由器中的路由器根據優先順序選舉出Master，Master路由器透過傳送免費ARP報文，將自己的虛擬MAC地址通告給與它連線的裝置。
Master路由器週期性傳送VRRP報文，以公佈自己的配置資訊（優先順序等）和工作狀態
如果Master故障，虛擬路由器中的Backup路由器將根據優先順序重新選舉新的Master
虛擬路由器狀態切換時，Master路由器由一臺裝置切換會另外一臺裝置，新的Master路由器只是簡單的傳送一個攜帶虛擬MAC地址和虛擬IP的免費ARP報文，這樣就可以更新其他裝置中快取的ARP資訊
Backup路由器的優先順序高於Master時，由Backup的工作方式（搶佔式或者非搶佔式）決定是否重新選舉Master。

VRRP還支援認證，就是為了防止隨意一個VRRP裝置加入到當前的虛擬路由組離來，它提供無認證、簡單8位字串認證和MD5認證（該認證方式Keepalive不支援）。

Keepalive軟體結構

Keepalived啟動後以後會有一個主程式Master，它會生成還有2個子程式，一個是VRRP Stack負責VRRP（也就是VRRP協議的實現）、一個是Checkers負責IPVS的後端的應用伺服器的健康檢查，當檢測失敗就會呼叫IPVS規則刪除後端伺服器的IP地址，檢測成功了再加回來。當檢測後端有失敗的情況可以使用SMTP通知管理員。另外VRRP如果檢測到另外一個Keepalive失敗也可以透過SMTP通知管理員。

Control Plane：這個就是主程式，主程式的功能是分析配置檔案，讀取、配置和生效配置檔案，指揮那2個子程式工作。

WatchDog：看門狗，這個是Linux系統核心的一個模組，它的作用是幫助主程式盯著那2個子程式，因為主程式並不負責具體工作，具體工作都是子程式完成的。如果子程式掛了，那Keepalived就不完整了，所以那2個子程式會定期的向主程式開啟的一個內部Unix Socket檔案寫心跳資訊。如果有某個子程式不寫資訊了，它就會重啟子程式，主程式就是讓WatchDog來監控子程式的。下面我們就使用Keepalive來做LVS的高可用講解。關於後端伺服器上的設定我這裡就不說了請看另外一篇博文。

Keepalive安裝和配置

伺服器	IP地址	角色
Srv01	172.16.42.100 VIP: 172.16.42.111	LVS+Keepalive
Srv02	172.16.42.101 VIP: 192.168.100.1	LVS+Keepalive
Srv03	172.16.42.102 VIP: 172.16.42.111	Nginx
Srv04	172.16.42.103 VIP: 172.16.42.111	Nginx

先決條件

禁用SElinux、清除iptables規則、關閉防火牆。就算因某種原因不能清除iptables規則，那麼你需要增加一條規則放行多播
各個節點時間同步，啟用時間同步服務systemctl start chronyd
確保Keepalive使用的網路卡開啟了多播，如下圖：

如果沒有開啟，可以使用該命令開啟ip link set multicast on dev ens33，ens33是網路卡名稱。

安裝keepalive

之間透過yum安裝即可yum install -y keepalived。我這裡使用的是阿里雲的源，它預設就在裡面，如下圖：

在2個節點都安裝。

檔案	說明
/usr/sbin/keepalived	二進位制程式
/etc/keepalived/keepalived.conf	配置檔案
/usr/lib/systemd/system/keepalived.service	服務檔案

Keepalive配置檔案說明


# 全域性配置
global_defs {
   # 郵件通知資訊
   notification_email {
     # 定義收件人
     acassen@firewall.loc
   }
   # 定義發件人
   notification_email_from Alexandre.Cassen@firewall.loc
   # SMTP伺服器地址
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   # 路由器標識，一般不用改，也可以寫成每個主機自己的主機名
   router_id LVS_DEVEL
   # VRRP的ipv4和ipv6的廣播地址，配置了VIP的網路卡向這個地址廣播來宣告自己的配置資訊，下面是預設值
   vrrp_mcast_group4 224.0.0.18
   vrrp_mcast_group6 ff02::12
}

# 定義用於例項執行的指令碼內容，比如可以線上降低優先順序，用於強制切換
vrrp_script SCRIPT_NAME {

}

# 一個vrrp_instance就是定義一個虛擬路由器的，例項名稱
vrrp_instance VI_1 {
    # 定義初始狀態，可以是MASTER或者BACKUP
    state MASTER
    # 工作介面，通告選舉使用哪個介面進行
    interface ens33
    # 虛擬路由ID，如果是一組虛擬路由就定義一個ID，如果是多組就要定義多個，而且這個虛擬
    # ID還是虛擬MAC最後一段地址的資訊，取值範圍0-255
    virtual_router_id 51
    # 使用哪個虛擬MAC地址
    use_vmac XX:XX:XX:XX:XX
    # 監控本機上的哪個網路卡，網路卡一旦故障則需要把VIP轉移出去
    track_interface {
        eth0
        ens33
    }
    # 如果你上面定義了MASTER,這裡的優先順序就需要定義的比其他的高
    priority 100
    # 通告頻率，單位為秒
    advert_int 1
    # 通訊認證機制，這裡是明文認證還有一種是加密認證
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    # 設定虛擬VIP地址，一般就設定一個，在LVS中這個就是為LVS主機設定VIP的，這樣你就不用自己手動設定了
    virtual_ipaddress {
        # IP/掩碼 dev 配置在哪個網路卡
        192.168.200.16/24 dev eth1
        # IP/掩碼 dev 配置在哪個網路卡的哪個別名上
        192.168.200.17/24 dev label eth1:1
    }
    # 虛擬路由，在需要的情況下可以設定lvs主機 資料包在哪個網路卡進來從哪個網路卡出去
    virtual_routes {
        192.168.110.0/24 dev eth2
    }
    # 工作模式，nopreempt表示工作在非搶佔模式，預設是搶佔模式 preempt
    nopreempt|preempt
    # 如果是搶佔預設則可以設定等多久再搶佔，預設5分鐘
    preempt delay 300
    # 追蹤指令碼，通常用於去執行上面的vrrp_script定義的指令碼內容
    track_script {

    }
    # 三個指令，如果主機狀態變成Master|Backup|Fault之後會去執行的通知指令碼，指令碼要自己寫
    notify_master ""
    notify_backup ""
    notify_fault ""
}

# 定義LVS叢集服務，可以是IP+PORT；也可以是fwmark 數字，也就是防火牆規則
# 所以透過這裡就可以看出來keepalive天生就是為ipvs而設計的
virtual_server 10.10.10.2 1358 {
    delay_loop 6
    # 演算法
    lb_algo rr|wrr|lc|wlc|lblc|sh|dh 
    # LVS的模式
    lb_kind NAT|DR|TUN
    # 子網掩碼，這個掩碼是VIP的掩碼
    nat_mask 255.255.255.0
    # 持久連線超時時間
    persistence_timeout 50
    # 定義協議
    protocol TCP
    # 如果後端應用伺服器都不可用，就會定向到那個伺服器上
    sorry_server 192.168.200.200 1358

    # 後端應用伺服器 IP PORT
    real_server 192.168.200.2 1358 {
        # 權重
        weight 1
        # MSIC_CHECK|SMTP_CHEKC|TCP_CHECK|SSL_GET|HTTP_GET這些都是
        # 針對應用伺服器做健康檢查的方法
        MISC_CHECK {}
        # 用於檢查SMTP伺服器的
        SMTP_CHEKC {}

        # 如果應用伺服器不是WEB伺服器，就用TCP_CHECK檢查
        TCP_CHECK {
          # 向哪一個埠檢查，如果不指定預設使用上面定義的埠
          connect_port <PORT>
          # 向哪一個IP檢測，如果不指定預設使用上面定義的IP地址
          bindto <IP>
          # 連線超時時間
          connect_timeout 3
        }

        # 如果對方是HTTPS伺服器就用SSL_GET方法去檢查，裡面配置的內容和HTTP_GET一樣
        SSL_GET {}

        # 應用伺服器UP或者DOWN，就執行那個指令碼
        notify_up "這裡寫的是路徑，如果指令碼後有引數，整體路徑+引數引起來"
        notify_down "/PATH/SCRIPTS.sh 引數"

        # 使用HTTP_GET方法去檢查
        HTTP_GET {
            # 檢測URL
            url { 
              # 具體檢測哪一個URL
              path /testurl/test.jsp
              # 檢測內容的雜湊值
              digest 640205b7b0fc66c1ea91c463fac6334d
              # 除了檢測雜湊值還可以檢測狀態碼，比如HTTP的200 表示正常，兩種方法二選一即可
              status_code 200
            }
            url { 
              path /testurl2/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334d
            }
            url { 
              path /testurl3/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334d
            }
            # 向哪一個埠檢查，如果不指定預設使用上面定義的埠
            connect_port <PORT>
            # 向哪一個IP檢測，如果不指定預設使用上面定義的IP地址
            bindto <IP>
            # 連線超時時間
            connect_timeout 3
            # 嘗試次數
            nb_get_retry 3
            # 每次嘗試之間間隔幾秒
            delay_before_retry 3
        }
    }

    real_server 192.168.200.3 1358 {
        weight 1
        HTTP_GET {
            url { 
              path /testurl/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334c
            }
            url { 
              path /testurl2/test.jsp
              digest 640205b7b0fc66c1ea91c463fac6334c
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

配置Srv01和Srv02

配置VRRP部分

Srv01上的keepalived.conf

global_defs {
   notification_email {
     acassen@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id srv01
}


vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }

    virtual_ipaddress {
        172.16.42.111/24 brd 172.16.42.111 dev ens33 label ens33:0
    }
    preempt delay 60
}

Srv02上的keepalived.conf，唯一不同的就是state、priority以及router_id。

global_defs {
   notification_email {
     acassen@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id srv02
}


vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }

    virtual_ipaddress {
        172.16.42.111/24 brd 172.16.42.111 dev ens33 label ens33:0
    }
    preempt delay 60
}

啟動2個節點，啟動後會自動配置ens33:0這個子介面的虛擬IP

在主節點上你透過systemctl status keepalived看不到它到底是什麼角色，不過在BACKUP節點上你可以看到，但是你在主節點日誌中cat /var/log/message裡可以看到Srv01進入到MASTER狀態，如下圖：

檢視Srv02的狀態

那麼你透過停止Srv01上的keepalived服務就看到MASTER會被轉移到Srv02上。

使用該命令檢視VRRP通告tcpdum -i ens33 -nn host 224.0.0.18，你在2臺主機都會看到相同的資訊。

Srv01使用真實物理IP對該地址進行傳送通告，那麼Srv02也會收到，如果Srv01當機，那麼Srv02就會使用自己的物理IP向該地址傳送通告，由於Srv01已經當機那麼此時Srv02的優先順序就是最高的，所以Srv02就變成了MASTER。

配置LVS部分

這裡只是用了LVS來說明如何配置Keepalived，如果要看完整內容請移步使用Keepalived構建LVS高可用叢集

在keepalived.conf檔案中增加下面的內容，2臺伺服器增加的內容一致，所以這裡就寫一份。

virtual_server 172.16.42.111 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
    persistence_timeout 0
    protocol TCP

    sorry_server 192.168.200.200 1358

    # 後端應用伺服器 IP PORT
    real_server 172.16.42.102 80 {
        weight 1
        # 應用伺服器UP或者DOWN，就執行那個指令碼
        notify_up "/usr/local/notify.sh up"
        notify_down "/usr/local/notify.sh down"
        HTTP_GET {
            # 檢測URL
            url { 
              path /index.html
              # 除了檢測雜湊值還可以檢測狀態碼，比如HTTP的200 表示正常，兩種方法二選一即可
              status_code 200
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }

    real_server 172.16.42.103 80 {
        weight 1
        # 應用伺服器UP或者DOWN，就執行那個指令碼
        notify_up "/usr/local/notify.sh up"
        notify_down "/usr/local/notify.sh down"
        HTTP_GET {
            # 檢測URL
            url { 
              path /index.html
              # 除了檢測雜湊值還可以檢測狀態碼，比如HTTP的200 表示正常，兩種方法二選一即可
              status_code 200
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

這裡的notify_up|down指令碼我寫的很簡單就是為了使用一下這個功能，內容如下：

#!/bin/bash

# 不同的是2個主機上的echo部分不一樣，因為主機名不同。
if [ $1 == "up" ]; then
  echo "Srv02 is UP" > /tmp/notify.txt
elif [ $1 == "down" ]; then
  echo "Srv02 is DOWN" > /tmp/notify.txt
fi

重啟Keepalived服務之後你就可以透過ipvsadm -Ln檢視ipvs規則了，這些規則在2臺伺服器上都會有，如下圖：