1 概述
初期的網際網路企業由於業務量較小，所以一般單機部署，實現單點訪問即可滿足業務的需求，這也是最簡單的部署方式，但是隨著業務的不斷擴大，系統的訪問量逐漸的上升，單機部署的模式已無法承載現有的業務量，需要進行服務叢集化部署，本文主要介紹服務端Tomcat多例項部署，以及如何保證web服務的高可用方案。
- Nginx 是一個高效能的 HTTP反向代理伺服器
- Keepalived 是一個基於VRRP協議來實現的LVS服務高可用方案，可以利用其來避免服務的單點故障
- Tomcat 是一個免費的開放原始碼的Web 應用伺服器，屬於輕量級應用伺服器。
2 Nginx的高可用負載均衡架構
如下圖：為典型的Tomcat服務多例項部署的架構圖
（1）使用者通過域名請求到DNS，由DNS解析域名後返回對應的IP地址，該IP及為Keepalived對映伺服器的虛擬IP
（2）通過該虛擬IP訪問到對應的負載均衡器（Nginx），這裡Nginx部署兩個，然後通過Keepalived來保證NG的高可用，正常情況下由Keepalived-M將虛擬IP對映轉發至Nginx-M，如果Nginx-M出現故障，此時Keepalived會切換至Keepalived-S開始工作，從而保證了NG的單點故障問題。
（3）通過Nginx負載均衡器，將請求路由到對應的Tomcat服務。
3 搭建Keepalived + Nginx + Tomcat的高可用負載均衡架構
3.1 需要準備的軟體
（1）apache-tomcat-8.5.16.tar.gz
（2）nginx-1.12.2.tar.gz
（3）keepalived-1.3.9.tar.gz
3.2 伺服器準備
兩臺伺服器如：192.168.10.11，192.168.10.12
3.3 安裝需要的依賴包
|
1 |
$ yum -y install gcc gcc-c++ automake pcre pcre-devel zlib zlib-devel open openssl-devel |
3.4 安裝
3.4.1 安裝Tomcat
（1）分別在兩臺伺服器中安裝Tomcat，解壓apache-tomcat-8.5.16.tar.gz及可完成安裝。
3.4.2 安裝Nginx
（1）解壓安裝包：tar -zxvf nginx-1.12.2.tar.gz
（2）進入到nginx-1.12.2目錄：cd nginx-1.12.2
（3）編譯：
a) ./configure –with-http_stub_status_module –with-http_ssl_module –prefix=/usr/local/nginx
b) sudo make && sudo make install
3.4.3 安裝Keepalived
（1）解壓安裝包：tar -zxvf keepalived-1.3.9.tar.gz
（2）進入到keepalived-1.3.9目錄：cd keepalived-1.3.9
（3）執行編譯：
a）./configure –prefix=/usr/local/keepalived –sysconf=/etc
b）sudo make && sudo make install
3.5 配置
3.5.1 分別配置兩臺伺服器的Nginx
（1）分別修改兩臺伺服器nginx配置檔案，vi /usr/local/nginx/conf/nginx.conf
（2）內容如下：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 |
#nginx程式數 worker_processes 1; #單個程式最大連線數 events { worker_connections 1024; } #http伺服器配置 http { include mime.types; default_type application/octet-stream; sendfile on; #長連線超時時間，單位是秒 keepalive_timeout 65; #upstream負載均衡配置，配置路由到tomcat的服務地址以及權重 upstream localhost{ server 192.168.10.11:8080 weight=2; server 192.168.10.12:8080 weight=2; } #虛擬主機的配置 server { #監聽埠 listen 80; #域名可以有多個，用空格隔開 server_name localhost; location / { root html; index index.html index.htm; #nginx跟後端伺服器連線超時時間(代理連線超時) proxy_connect_timeout 3; #後端伺服器資料回傳時間(代理髮送超時) proxy_send_timeout 30; #連線成功後，後端伺服器響應時間(代理接收超時) proxy_read_timeout 30; proxy_pass http://localhost; } error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } } |
3.5.2 主Keepalived配置
（1）修改11伺服器的keepalived配置檔案，vi /etc/keepalived/keepalived.conf
（2）內容如下：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 |
! Configuration File for keepalived #全域性配置 global_defs { #keepalived切換的時候，發訊息到指定的email，可配置多個email notification_email { feinik1@foxmail.com feinik2@foxmail.com } #通知郵件從哪個地址發出 notification_email_from feinik@foxmail.com #通知郵件的smtp地址 smtp_server smtp.exmail.qq.com #連線smtp伺服器的超時時間，單位秒 smtp_connect_timeout 30 #Keepalived的機器標識，一個網路內保持唯一 router_id nginx-master } #執行指令碼配置 vrrp_script chk_nginx { #指令碼所在路徑 script "/home/project/keepalived/check_nginx.sh" #指令碼執行間隔時間，秒 interval 2 #優先順序 weight 2 } #keepalived例項配置 vrrp_instance VI_1 { #指定例項的初始狀態，MASTER或BACKUP兩種狀態，並且需要大寫 state MASTER #例項繫結的網路卡 interface ens33 #虛擬路由標識，是一個數字，整個VRRP內唯一，如果keepalived配置了主備，需要相同 virtual_router_id 51 #優先順序，數值愈大，優先順序越高 priority 100 #MASTER與BACKUP之間同步檢查的時間間隔，單位為秒 advert_int 1 #通訊驗證 authentication { auth_type PASS auth_pass feinik } #追蹤外圍指令碼 track_script { #這裡配置vrrp_script的名稱 chk_nginx } #虛擬ip配置，可配置多個 virtual_ipaddress { 192.168.10.200 } } |
3.5.3 備Keepalived配置
（1）修改12伺服器的keepalived配置檔案，vi /etc/keepalived/keepalived.conf
（2）內容如下：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 |
! Configuration File for keepalived #全域性配置 global_defs { #keepalived切換的時候，發訊息到指定的email，可配置多個email notification_email { feinik1@foxmail.com feinik2@foxmail.com } #通知郵件從哪個地址發出 notification_email_from feinik@foxmail.com #通知郵件的smtp地址 smtp_server smtp.exmail.qq.com #連線smtp伺服器的超時時間，單位秒 smtp_connect_timeout 30 #Keepalived的機器標識，一個網路內保持唯一 router_id nginx-master } #執行指令碼配置 vrrp_script chk_nginx { #指令碼所在路徑 script "/home/project/keepalived/check_nginx.sh" #指令碼執行間隔時間，秒 interval 2 #優先順序 weight 2 } #keepalived例項配置 vrrp_instance VI_1 { #指定例項的初始狀態，MASTER或BACKUP兩種狀態，並且需要大寫 state BACKUP #例項繫結的網路卡 interface ens33 #虛擬路由標識，是一個數字，整個VRRP內唯一，如果keepalived配置了主備，需要相同 virtual_router_id 51 #優先順序，數值愈大，優先順序越高 priority 99 #MASTER與BACKUP之間同步檢查的時間間隔，單位為秒 advert_int 1 #通訊驗證 authentication { auth_type PASS auth_pass feinik } #追蹤外圍指令碼 track_script { #這裡配置vrrp_script的名稱 chk_nginx } #虛擬ip配置，可配置多個 virtual_ipaddress { 192.168.10.200 } } |
3.5.4 Nginx狀態檢查指令碼建立
（1）新建Nginx的狀態檢查指令碼：check_nginx.sh
（2）內容如下：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
#!/bin/sh NGINX=/usr/common/nginx/sbin/nginx PORT=80 nmap localhost -p $PORT | grep "$PORT/tcp open" #echo $? if [ $? -ne 0 ];then $NGINX -s stop #這裡再次嘗試啟動NG $NGINX sleep 5 nmap localhost -p $PORT | grep "$PORT/tcp open" [ $? -ne 0 ] && cd /usr/common/keepalived/sbin && pkill keepalived echo "stoped" fi |
4 執行測試
（1）為了更直觀的檢視到keepalived切換的效果，將11伺服器中的nginx的upstream服務只配置11的tomcat服務地址，12伺服器中的upstream服務只配置12的tomcat服務地址，這樣只需要觀察將11伺服器中的nginx關閉看使用虛擬ip是否可以訪問到12伺服器的tomcat。
（2）分別啟動兩個伺服器中的tomcat、nginx、keepalived，訪問虛擬ip：192.168.10.200，可以檢視到訪問的是主keepalived伺服器的tomcat
（3）關閉11伺服器的nginx，nginx -s stop，再次訪問虛擬ip，如下：說明主keepalived通過配置的指令碼檢測到了本服務的nginx服務掛掉了，所以立馬切換至了備的keepalived，這時12伺服器的keepalived升為了主，所以就訪問到了12伺服器的tomcat。
