Nginx+Tomcat+Keepalived+Memcache 負載均衡動靜分離技術

sunney發表於2014-05-13

NginxTomcat負載

一、概述

Nginx 作負載均衡器的優點許多，簡單概括為:

①實現了可彈性化的架構，在壓力增大的時候可以臨時新增Tomcat伺服器新增到這個架構裡面去;

②upstream具有負載均衡能力，可以自動判斷下面的機器，並且自動踢出不能正常提供服務的機器；

Keepalived 可實現 Nginx負載均衡器雙機互備，任意一臺機器發生故障，對方都能夠將虛擬IP接管過去。

Memcache可以實現Tomcat伺服器的Sission共享整個拓補如下：

注意：

1、由於伺服器有限，IP相同的為同一臺機。只是埠不一樣。

2、mysql部分本文不再描述，請看之前的文章MYSQL + MHA +keepalive + VIP安裝配置.

二、環境

伺服器：192.168.1.201 安裝軟體：Keepalived1、Memcache1、Nginx1(反向代理)
伺服器：192.168.1.205 安裝軟體：Keepalived2、Memcache2、Nginx2(反向代理)
伺服器：192.168.1.231 安裝軟體：Tomcat1、Nginx1(靜態處理)
伺服器：192.168.1.232 安裝軟體：Tomcat2、Nginx2(靜態處理)

三、Nginx的安裝

1、下載最新有穩定包：

shell>wget http://nginx.org/download/nginx-1.4.7.tar.gz

2、安裝相關元件

#先安裝環境
shell>yum -y install gcc openssl-devel zlib-devel pcre-devel
shell>yum -y install gcc gcc-c++ autoconf automake         //安裝編譯gcc環境
shell>useradd -s /sbin/nologin -M nginx        //新增nginx 使用者，沒有登入shell，沒有家目錄.
shell>wget http://jaist.dl.sourceforge.net/project/pcre/pcre/8.35/pcre-8.35.zip //下載依賴元件，當然還有其它元件。
shell>unzip pcre-8.35.zip
shell>cd pcre-8.35
shell>./configure --prefix=/opt/pcre/
shell>make && make install

　注意：可能還有其它元件要安裝，請看：Linux Nginx 安裝配置

3、安裝Nginx

shell>tar -zxvf nginx-1.4.7.tar.gz
shell>#./configure \ 
  --prefix=/opt/nginx \                             //安裝路徑
  --sbin-path=/usr/sbin/nginx \                           //可執行檔案路徑
  --conf-path=/etc/nginx/nginx.conf \                //預設為<prefix>/conf/nginx.conf 最好定義到/etc下
  --pid-path=/var/run/nginx/nginx.pid  \                  //pid檔案存放位置，後面將會用到
  --error-log-path=/var/log/nginx/error.log \             //錯誤日誌檔案,預設為<prefix>/logs/error.log
  --http-log-path=/var/log/nginx/access.log \             //訪問日誌,預設為<prefix>/logs/access.log
  --lock-path=/var/lock/nginx.lock \           
  --user=nginx \
  --group=nginx \ 
  --with-http_stub_status_module \                        //以取得一些nginx的執行狀態
  --with-http_ssl_module \                                //支援https加密連線
  --with-http_gzip_static_module \                        //靜態快取模組
  --with-http_realip_module  \                            //讓Nginx透明獲取客戶端IP
  --http-client-body-temp-path=/var/tmp/nginx/client/ \   //指定http客戶端請求快取檔案存放目錄
  --http-proxy-temp-path=/var/tmp/nginx/proxy/ \          //指定http反向代理快取檔案存放目錄
  --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/         //指定FastCGI快取檔案存放目錄
   --with-pcre=/opt/pcre/
shell>make 
shell>make install

　注意：./configure 中很多註解，執行時多注意。

4、讓Nginx以服務形式啟動

vim /etc/init.d/nginx

#!/bin/bash
# nginx Startup script for the Nginx HTTP Server
# it is v.0.0.2 version.
# chkconfig: - 85 15
# description: Nginx is a high-performance web and proxy server.
#              It has a lot of features, but it's not for everyone.
# processname: nginx
# pidfile: /var/run/nginx.pid
# config: /usr/local/nginx/conf/nginx.conf
nginxd=/usr/sbin/nginx
nginx_config=/etc/nginx/nginx.conf
nginx_pid=/var/run/nginx/nginx.pid
RETVAL=0
prog="nginx"
# Source function library.
. /etc/rc.d/init.d/functions
# Source networking configuration.
. /etc/sysconfig/network
# Check that networking is up.
[ ${NETWORKING} = "no" ] && exit 0
[ -x $nginxd ] || exit 0
# Start nginx daemons functions.
start() {
if [ -e $nginx_pid ];then
   echo "nginx already running...."
   exit 1
fi
   echo -n $"Starting $prog: "
   daemon $nginxd -c ${nginx_config}
   RETVAL=$?
   echo
   [ $RETVAL = 0 ] && touch /var/lock/subsys/nginx
   return $RETVAL
}
# Stop nginx daemons functions.
stop() {
        echo -n $"Stopping $prog: "
        killproc $nginxd
        RETVAL=$?
        echo
        [ $RETVAL = 0 ] && rm -f /var/lock/subsys/nginx /var/run/nginx.pid
}
# reload nginx service functions.
reload() {
    echo -n $"Reloading $prog: "
    #kill -HUP `cat ${nginx_pid}`
    killproc $nginxd -HUP
    RETVAL=$?
    echo
}
# See how we were called.
case "$1" in
start)
        start
        ;;
stop)
        stop
        ;;
reload)
        reload
        ;;
restart)
        stop
        start
        ;;
status)
        status $prog
        RETVAL=$?
        ;;
*)
        echo $"Usage: $prog {start|stop|restart|reload|status|help}"
        exit 1
esac
exit $RETVAL

注意：nginx各檔案的安裝路徑要與實際安裝的一致。

儲存nginxd指令碼,賦予執行許可權，新增服務和開機啟動
#chmod +x /etc/init.d/nginx
#chkconfig --add nginx

5、啟動

shell>service nginx start
shell>service nginx restart
shell>service nginx stop

訪問:http://127.0.0.1/ 　

注意:iptables 是否開放80埠

6、Nginx 負載均衡的配置

vim /etc/nginx/nginx.conf

(1)、在http{}中增加：

gzip  on;
 gzip_min_length  1100;
 gzip_buffers     4 8k;
 gzip_types       text/plain text/css application/x-javascript image/bmp application/javascript;
 
 upstream tomcat_server{  #tomcat負載均衡配置
       server 192.168.1.231:8080 weight=1;  
       server 192.168.1.232:8080 weight=1;
 }
 upstream nginx_server { #nginx負載均衡配置
       server 192.168.1.231 weight=1;
       server 192.168.1.232 weight=1;
 }

(2)、在http中的server如下：

server {
        listen       80;
        server_name  localhost;
        #charset koi8-r;
 
        #access_log  logs/host.access.log  main;
 
        <span style="color: #ff0000;">location ~ .*\.    (htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|wma)$  {
           expires      30d;
           proxy_pass http://nginx_server;   #反向代理，靜態的由nginx來處理。
        }</span>
       <span style="color: #ff0000;"> location ~ .*\.(js|css)?$ {
           expires      1h;
           proxy_pass http://nginx_server;   #反向代理，靜態的由nginx來處理。
        }
      
        location / {
           proxy_set_header  Host $host;
           proxy_set_header  X-Real-IP  $remote_addr;
           proxy_pass http://tomcat_server; #反向代理，其它的由tomcat來處理。
        }</span>
        
        #error_page  404              /404.html;
 
        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
       # proxy the PHP scripts to Apache listening on 127.0.0.1:80
        #
        #location ~ \.php$ {
        #    proxy_pass   http://127.0.0.1;
        #}
 
        # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
        #
        #location ~ \.php$ {
        #    root           html;
        #    fastcgi_pass   127.0.0.1:9000;
        #    fastcgi_index  index.php;
        #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
        #    include        fastcgi_params;
        #}
 
        # deny access to .htaccess files, if Apache's document root
        # concurs with nginx's one
        #
        #location ~ /\.ht {
        #    deny  all;
        #}
}

7、反射代理兩臺(192.168.1.201\205)Nginx　配製如上。

8、靜態處理兩臺(192.168.1.231\232)Nginx 不用配置第6步：Nginx 負載均衡的配置就可以了。

四、Keepalived安裝

1、Keepalived安裝部分參考：MYSQL + MHA +keepalive + VIP安裝配置(三)-----keepalived安裝配置

注意：只安裝在192.168.1.201\205兩臺伺服器上。

2、Keepalived配置，這裡實現兩臺互為熱備。為了不浪費資源，提供了兩個VIP(207\208)可以同時執行兩個專案。

(1)、伺服器：192.168.1.201的配製如下：

! Configuration File for keepalived
 
global_defs {
   notification_email {
     licm@hyxt.com
   }
   notification_email_from sunney888@qq.com
   smtp_server smtp.qq.com
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
vrrp_script check_nginx {
   script "/root/check_nginx.sh"
   interval 2
   weight 2
}
vrrp_sync_group VG1 {
     group {
          VI_1
     }
}
vrrp_instance VI_1 {
    state MASTER
    interface eth1
    virtual_router_id 61
    mcast_src_ip 192.168.1.201
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
 
    virtual_ipaddress {
        192.168.1.208
    }
    track_script {
      check_nginx
    }
}
vrrp_instance VI_2 {
    state SLAVE
    interface eth1
    virtual_router_id 60
    mcast_src_ip 192.168.1.201
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
 
    virtual_ipaddress {
        192.168.1.207
    }
    track_script {
      check_nginx
    }
}

(2)、伺服器：192.168.1.205的配製如下：

! Configuration File for keepalived
 
global_defs {
   notification_email {
     licm@hyxt.com
   }
   notification_email_from sunney888@qq.com
   smtp_server smtp.qq.com
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
vrrp_script check_nginx {
   script "/root/check_nginx.sh"
   interval 2
   weight 2
}
vrrp_sync_group VG1 {
     group {
          VI_1
     }
}
vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 60
    mcast_src_ip 192.168.1.205
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.1.207
    }
    track_script {
      check_nginx
    }
}
vrrp_instance VI_2 {
    state SLAVE
    interface eth0
    virtual_router_id 61
    mcast_src_ip 192.168.1.205
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
  }
    virtual_ipaddress {
        192.168.1.208
    }
    track_script {
      check_nginx
    }
}

注意：這不說明每個引數的意義，請檢視：　MYSQL + MHA +keepalive + VIP安裝配置(三)-----keepalived安裝配置只是配置不一樣。

五、Tomcat安裝

1、Tomcat下載，下載最新的吧。

shell>http://apache.fayea.com/apache-mirror/tomcat/tomcat-7/v7.0.53/bin/apache-tomcat-7.0.53.tar.gz
shell>tar -zxvf apache-tomcat-7.0.53.tar.gz

注意：這裡解壓就可以不用安裝。

2、啟動與停止

shell>/usr/local/apache-tomcat-7.0.53/bin/startup.sh 
shell>/usr/local/apache-tomcat-7.0.53/bin/shutdown.sh

注意：tomcat預設埠是8080，確保 iptable是否開通埠。

當然你也可以配置成以服務的形式來啟動/停止。這不在處理。

六、Memcache安裝與配置

1、memcache安裝，詳細安裝請看這：linux MemCache安裝手冊這不在說明。

伺服器(192.168.1.201/205)安裝方法一樣。

注意：memcache預設埠是11211，確保 iptable是否開通埠。

2、memcache的啟動

/usr/local/bin/memcached -d -m 50 -u root -l 192.168.1.201 -p 11211 -c 2048 -P /tmp/memcached.pid
沒錯誤提示的話，證明安裝成功並且啟動了Memcached服務了。
Memcached基本說明：
啟動引數：
-d選項是啟動一個守護程式，
-m是分配給Memcache使用的記憶體數量，單位是MB
-u是執行Memcache的使用者
-l是監聽的伺服器IP地址
-p是設定Memcache監聽的埠
-c選項是最大執行的併發連線數，預設是1024
-P是設定儲存Memcache的pid檔案
結束Memcached程式使用如下語句：
kill `cat /tmp/memcached.pid`

3、memcache測試連線

telnet 192.168.1.201 11211 連線成功後

七、配置session共享

1、tomcat的context.xml

vim /usr/local/apache-tomcat-7.0.53/conf/context.xml

增加如下內容：

<Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager" 
    memcachedNodes="n1:192.168.1.201:11211,n2:192.168.1.205:11211"           
    requestUriIgnorePattern=".*\.(png|gif|jpg|css|js)$"
    sessionBackupAsync="false" 
    sessionBackupTimeout="1800000" 
    copyCollectionsForSerialization="false" 
    transcoderFactoryClass="de.javakaffee.web.msm.serializer.javolution.JavolutionTranscoderFactory"/>

　注意：memcachedNodes是memcached的節點。可以有多點。

2、增加jar包

(1)、下載包，地址：http://repo1.maven.org/maven2/de/javakaffee/msm/

memcached-session-manager-1.8.1.jar
memcached-session-manager-tc7-1.8.1.jar
msm-flexjson-serializer-1.8.1.jar
msm-javolution-serializer-1.8.1.jar
msm-kryo-serializer-1.8.1.jar
msm-serializer-benchmark-1.8.1.jar
msm-xstream-serializer-1.8.1.jar

　 (2)、javolution-5.4.3.1.jar、spymemcached-2.8.4.jar這兩個包要另外下載。

(3)、把下載的這9個包放到兩臺tomcat伺服器上的lib目錄下。

九、測試

把馬有安裝的服務都啟動。把一個要測試的專案同時放到。兩個tomcat伺服器上及兩個Nginx靜態處理伺服器上。訪問VIP:http://192.168.1.207/專案名稱。

注意：

1、測試方法先確證兩臺tomcat的專案能用他自己的IP能正常訪問。

2、再訪問VIP:http://192.168.1.207/專案名稱。測試一下圖片、JS及JSP是從哪個伺服器上呼叫的。

3、時間有限這不把測試有具體內容放出來。

十、完成

寫的比較急。如有不正確之處請指出。讓我們一起學習。謝謝。

Nginx—tomcat負載均衡動靜分離群集
2020-12-14
NginxTomcat負載
Nginx 動靜分離與負載均衡的實現
2021-09-09
Nginx負載
Nginx + Tomcat 動靜分離實現負載均衡
2015-12-01
NginxTomcat負載
nginx反向代理負載均衡與動靜頁面分離
2017-11-08
Nginx負載
Nginx作為動靜分離、快取與負載均衡初探
2017-11-15
Nginx快取負載
Nginx+Tomcat負載均衡，動靜分離群集部署解析
2020-12-13
NginxTomcat負載
負載均衡技術（一）———負載均衡技術介紹
2018-11-15
負載
帶你瞭解Nginx+Tomcat負載均衡，動靜分離群集
2020-12-14
NginxTomcat負載
Nginx+Tomcat實現負載均衡、動靜分離叢集部署
2022-03-09
NginxTomcat負載
Tomcat＋Nginx實現動靜分離和負載均衡架構部署
2020-12-14
TomcatNginx負載架構
伺服器群集—Nginx+Tomcat+keepalived負載均衡、動靜分離群集
2020-12-14
伺服器NginxTomcat負載
Linux下Nginx+Tomcat負載均衡和動靜分離配置要點
2015-12-14
LinuxNginxTomcat負載
解密負載均衡技術和負載均衡演算法
2022-11-10
解密負載演算法
負載均衡技術介紹
2007-03-28
負載
負載均衡技術(二）———常用負載均衡服務介紹
2018-11-15
負載
負載均衡和動態負載均衡分別是什麼?-VeCloud
2020-09-25
負載Cloud
簡述負載均衡&CDN技術
2015-04-17
負載
【Mycat】Mycat讀寫分離與負載均衡2
2017-04-17
負載
《Nginx系列》之青銅入門篇反向代理負載均衡動靜分離就是這麼簡單
2020-01-04
Nginx負載
簡述負載均衡和CDN技術
2015-04-24
負載
Mycat實現mysql的負載均衡讀寫分離
2020-12-26
MySql負載
資料庫的讀寫分離與負載均衡策略
2019-02-18
資料庫負載
分離mysql和儲存實現雙web負載均衡
2017-11-22
MySqlWeb負載
六種實現負載均衡技術的方式
2019-11-16
負載
架構文摘：LSV負載均衡技術筆記
2018-06-01
架構負載筆記
MySQL Route負載均衡與讀寫分離Docker環境使用
2018-05-02
MySql負載Docker
openGauss JDBC客戶端負載均衡與讀寫分離
2024-03-28
JDBC客戶端負載
docker+mysql叢集+讀寫分離+mycat管理+垂直分庫+負載均衡
2021-01-14
DockerMySql負載
超實用：實現負載均衡技術的方式
2019-12-07
負載
Nginx+Tomcat+Redis實現負載均衡、資源分離、session共享
2016-07-26
NginxTomcatRedis負載Session
伺服器端負載均衡技術的本質原理
2014-11-06
伺服器負載
負載均衡
2020-10-11
負載
11，nginx動靜分離
2019-02-01
Nginx
gRPC負載均衡（客戶端負載均衡）
2020-05-18
RPC負載客戶端
gRPC負載均衡（自定義負載均衡策略）
2020-05-20
RPC負載
nginx負載均衡原理分析到手動編寫簡易負載均衡器
2021-04-15
Nginx負載
【Tony 老師】基於 Maxscale 實現讀寫分離和負載均衡
2019-09-25
負載
採用Atlas+Keepalived實現MySQL讀寫分離、讀負載均衡
2016-12-13
MySql負載

Nginx+Tomcat+Keepalived+Memcache 負載均衡動靜分離技術

相關文章