使用Nginx+Keepalived組建高可用負載平衡Web server叢集

版權宣告：本文為博主原創文章，未經博主允許不得轉載。

一，首先說明一下網路拓撲結構：

1，Nginx 反向代理Server（HA）：
   ①Nginx master：192.168.1.157
   ②Nginx backup：192.168.1.158
   虛擬IP統一為：192.168.1.110 　
2，web伺服器：
   192.168.1.160 ，192.168.1.161，192.168.1.162 　即web伺服器，已配置好 Tomcat(Jboss等皆可)和java程式
3，mysql 資料庫Server
   mysql主從伺服器

二，Nginx安裝配置
1，安裝
建議先用yum install yum-fastestmirror更新下源

下載並安裝nginx1.0.9,下載檔案均放到/usr/local/src目錄下
cd /usr/local/src

①update yum
yum -y update

②利用CentOS Linux系統自帶的yum命令安裝、升級所需的程式庫

安裝依賴包
#yum install gcc pcre pcre-devel zlib zlib-devel openssl openssl-devel

下載nginx
#cd /usr/local/src
#wget http://www.nginx.org/download/nginx-1.0.9.tar.gz
#tar zxvf nginx-1.0.9.tar.gz
#cd nginx-1.0.9

配置安裝：
#./configure --prefix=/usr --sbin-path=/usr/sbin/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --pid-path=/var/run/nginx/nginx.pid --lock-path=/var/lock/nginx.lock --user=nginx --group=nginx --with-http_ssl_module --with-http_flv_module --with-http_gzip_static_module --http-log-path=/var/log/nginx/access.log --http-client-body-temp-path=/var/tmp/nginx/client/ --http-proxy-temp-path=/var/tmp/nginx/proxy/ --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/
#make
#make install

建立使用者：
/usr/sbin/groupadd nginx
/usr/sbin/useradd -g nginx -M nginx
mkdir -p /var/tmp/nginx/client
啟動nginx
#/usr/sbin/nginx

ps:如果中途提示缺少庫，直接yum install xxx即可。
即：conf-path=/etc/nginx/nginx.conf，使用者名稱為nginx,所屬的組為nginx

   2，配置
Nginx負載均衡設定：

①修改配置檔案：
vi /etc/nginx/nginx.conf

步驟1，新增負載均衡的http upstream模組
upstream esbwebserver {
server 192.168.1.160:8888;
server 192.168.1.161:8888;
}

步驟2，server指令
server
{
listen 80;
server_name localhost;#注意此處為localhost

location / {
proxy_pass http://esbwebserver;# 新增的tomcat叢集名稱
......
}

②，重啟Nginx,載入修改過的配置檔案：
步驟1，停止nginx引擎
killall -9 nginx

步驟2，啟動nginx
/usr/sbin/nginx

到此為止，我們的負載均衡就實現了，下面實現Nginx的高可用，即雙機熱備。

三，Keepalived 安裝配置
1,下載並安裝keepalived-1.1.15.tar.gz,下載檔案均放到/usr/local/src目錄下
cd /usr/local/src
wget http://www.keepalived.org/software/keepalived-1.1.15.tar.gz

①解壓縮
tar zxvf keepalived-1.1.15.tar.gz

②安裝
cd keepalived-1.1.15
./configure --prefix=/usr/local/keepalived
make && make install

③安裝成功後做成服務模式，方便啟動和關閉
cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/

④ 分別設定主和備Nginx上的安裝Keepalived配置檔案。

配置檔案位置：
/usr/local/keepalived/etc/keepalived/keepalived.conf

步驟一，先配置主Nginx server上的keepalived.conf檔案，如下所示：

! Configuration File for keepalived

global_defs {
notification_email {
644856452@qq.com
}
notification_email_from 644856452@qq.com
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}

vrrp_script check_run {
script "/root/bin/nginx_check.sh"
interval 5
}
vrrp_sync_group VG1 {
group {
VI_1
}
}

vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
mcast_src_ip 192.168.1.157
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}

track_script {
check_run
}

virtual_ipaddress {
192.168.1.110
}
}

步驟二，配置backup 伺服器的keepalived.conf檔案，如下所示：
! Configuration File for keepalived

global_defs {
notification_email {
644856452@qq.com
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}

vrrp_script check_run {
script "/root/bin/nginx_check.sh"
interval 5
}
vrrp_sync_group VG1 {
group {
VI_1
}
}

vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 51
priority 99
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}

track_script {
check_run
}
virtual_ipaddress {
192.168.1.110
}
}

參考下例配置：
-----------------------------------------------------帶註釋的示例----------------------------------------------------
在主伺服器編寫配置檔案
vrrp_script check_run{
   script "/opt/nginx_pid.sh"   ###監控指令碼
   interval 2   ###監控時間
   weight 2 ###如果檢測返回值不為真weight 2 表示減2，權重值降低，backup server權重值>現Master的，切換
}

vrrp_instance VI_1 {
   state MASTER ### 設定為主
   interface eth0 ### 監控網路卡
   virtual_router_id 51 ### 這個兩臺伺服器必須一樣
   priority 101 ### 權重值 MASTRE 一定要高於 BAUCKUP
   authentication {
   auth_type PASS ### 加密
   auth_pass 1111      ###加密的密碼，兩臺伺服器一定要一樣，不然會出錯
}

   track_script {
   check_run   ### 執行監控的服務
   }

   virtual_ipaddress {
   192.168.1.110 ### VIP 地址
   }
}

6.在backup server 伺服器 keepalived 配置
vrrp_script check_run{
   script "/opt/nginx_pid.sh"
   interval 2
   weight 2
}

vrrp_instance VI_1 {
   state BACKUP ### 設定為輔機
   interface eth0
   virtual_router_id 51 ### 與 MASTRE 設定值一樣
   priority 100 ### 比 MASTRE權重值低

   authentication {
   auth_type PASS
   auth_pass eric ### 密碼與 MASTRE 一樣
   }

   track_script {
   check_run
   }

   virtual_ipaddress {
   192.168.1.110
   }
}
----------------------------------------------over-------------------------------------------------------------------

說明：
1，繫結虛擬IP：
  ifconfig eth0:1 192.168.1.110 broadcast 192.168.1.255 netmask 255.255.255.0 up
  route add -host 192.168.1.110 dev eth0:1

2，啟動，關閉keepalived ：
service keepalived start
service keepalived stop

3，測試可用性：
①主Nginx停止Nginx或直接斷網情況下（backup正常），訪問虛擬IP：192.168.1.110的相關Web服務，正常，測試通過
②backup Nginx停止Nginx或直接斷網情況下（Master正常），訪問虛擬IP：192.168.1.110的相關Web服務，正常，測試通過

4，監控
可用安裝Nagios監控服務，詳細請網路搜尋，很多這種資料的。
也可以參考：
http://blog.csdn.net/luxiaoyu_sdc/article/details/7333416

使用Nginx+Keepalived組建高可用負載平衡Web server叢集

相關文章