nginx+tomcat+session共享

1 起因
 
最近對新開發的web系統進行了壓力測試，發現tomcat預設配置下壓到600人的併發登入首頁響應速度就有比較嚴重的影響，一輪出現2000多個的500和502錯誤。我把登入的時間統計做了一下，把伺服器處理總時間列印出來，看了一下發現有個別響應確實在20秒，但平均時間和lr測試出來的還是相差很遠。所以可以斷定不是程式處理處理花費了這麼多時間，由於在區域網測試，所以也可以排除網路問題。這就把問題圈定在tomcat的請求響應能力上了。先把tomcat執行緒數提升到1000，發現500和502的報錯降到幾十個，但是響應時間上還沒什麼提高。後來啟動了2個tomcat，用 nginx做負載均衡，響應時間下降了40%，兩個tomcat的處理時長都保持在1秒左右。
 
看來tomcat效能確實是系統的一個瓶頸，很有必要假設多個伺服器來加強響應能力。之前由於只是測試登入，多個tomcat還不用共享session，但真正使用時是必須要能一起工作的。現記錄一下負載均衡的安裝配置過程。
 
 
 
2 解決方案的選擇
 
多個tomcat要一起協同工作有幾種辦法，可以考慮的方案有以下幾個：
 
1. 使用tomcat自帶的cluster方式，多個tomcat見自動實時複製session資訊，配置起來很簡單。但這個方案的效率比較低，在大併發下表現並不好。
 
2. 利用nginx的基於訪問ip的hash路由策略，保證訪問的ip始終被路由到同一個tomcat上，這個配置更簡單。但是我們的應用很可能是某一個區域網大量使用者同時登入，這樣負載均衡就沒什麼作用了。
 
3. 利用memcached把多個tomcat的session集中管理，這是最直接的解決方案，但是操作起來也最為複雜。
 
我們的系統既要求效能，又要比較好的利用上負載均衡，所以第3個方案是首選。接下來就是安裝搭建之路了。
 
 
 
3 安裝配置
 
3.1 memcached的安裝
 
1）先下載libevent-1.4.14b-stable.tar.gz和memcached-1.4.7.tar.gz的原始碼包，前者是後者的依賴包，就是一個事件驅動的包。
 
2）安裝非常順利，還是經典的那幾個編譯安裝命令：
 
1.tar zxvf libevent-1.4.14b-stable.tar.gz 
2.cd libevent-1.4.14b-stable 
3../configure --prefix=/usr/local/libevent-1.4.14b 
4.make 
5.make install 
6. 
7.tar zxvf memcached-1.4.7.tar.gz 
8.cd memcached-1.4.7 
9../configure --prefix=/usr/local/memcached-1.4.7 --with-libevent=/usr/local/libevent-1.4.14b/ 
10.make 
11.make install 
 
3）啟動memcached：
 
./bin/memcached -d -m 256 -u root -p 11211 -c 1024 -P /tmp/memcached.pid
 
 
 
3.2 memcached-session-manager配置
 
讓tomcat呼叫memcached來儲存session早就是一個很成熟的解決方案了，開源的msm就可以解決這個問題。比較折騰的就是要用到的jar包，官方文件說的也比較含糊，我這裡用的是kryo的序列化方案，所以用到的包多一些，分別是：
 
kryo-1.03.jar
 
kryo-serializers-0.8.jar
 
memcached-2.5.jar（我在官方看最新已經到2.7了，但是msm官方說用2.5，可能新包沒測試過，特別是2.6版本changelog裡面提到api有調整，還是不要亂升的好）
 
memcached-session-manager-1.5.1.jar
 
memcached-session-manager-tc7-1.5.1.jar
 
minlog-1.2.jar
 
msm-kryo-serializer-1.5.1.jar
 
reflectasm-0.9.jar
 
以上這些包都放在$CATALINA_HOME/lib目錄下。
 
另外提一下，官方給出的4種序列化方案，其中kryo是效率最高的，具體比較看。
 
 
 
接下來是修改tomcat的配置檔案$CATALINA_HOME/conf/context.xml，調整成新的session儲存方式。配置檔案中加入以下內容：
 
1.     2.      memcachedNodes="n1:127.0.0.1:11211" 
3.      sticky="false" 
4.      lockingMode="auto" 
5.      sessionBackupAsync="false"   
6.      sessionBackupTimeout="1000"  
7.      transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory" 
8.      /> 
 
 
 
在$CATALINA_HOME/conf/logging.properties檔案中新增de.javakaffee.web.msm.level=FINE，就可以在catalina.out的日誌中看到詳細的session存取情況。
 
 
 
另外在Manager配置中加上requestUriIgnorePattern=".*\.(png|gif|jpg|css|js)$"，用 chrome瀏覽器測試發現居然sessionID會突然變掉，然後就被攔截器給跳回首頁了。去掉就一切正常，但攔截器只會去檢測action的，按理說應該完全沒關係，望高人指點！
 
 
 
3.3 nginx配置
 
nginx非常簡單，只要在upstream裡面多配置幾個server就可以了，這裡把我的配置貼出來：
 
1.#user  nobody; 
2.worker_processes  16; 
3. 
4. 
5.events { 
6.    use epoll; 
7.    worker_connections  65535; 
8.} 
9. 
10. 
11.http { 
12.    include       mime.types; 
13.    default_type  application/octet-stream; 
14. 
15.    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" ' 
16.    #                  '$status $body_bytes_sent "$http_referer" ' 
17.    #                  '"$http_user_agent" "$http_x_forwarded_for"'; 
18. 
19.    #access_log  logs/access.log  main; 
20. 
21.    client_header_buffer_size 32k; 
22.    large_client_header_buffers 4 32k; 
23.    client_max_body_size 8m; 
24.    client_body_buffer_size 128k; 
25. 
26.    sendfile        on; 
27.    tcp_nopush     on; 
28. 
29.    #keepalive_timeout  0; 
30.    keepalive_timeout  65; 
31. 
32.    gzip  on; 
33.    gzip_types       text/javascript text/plain text/css application/xml application/x-javascript;
34.    gzip_disable     "MSIE [1-6]\.(?!.*SV1)"; 
35. 
36.    proxy_connect_timeout 300; 
37.    proxy_send_timeout 300; 
38.    proxy_read_timeout 300; 
39.    proxy_buffer_size 16k; 
40.    proxy_buffers 4 32k; 
41. 
42.    proxy_set_header X-Forwarded-For $remote_addr; 
43.    proxy_set_header Connection Close; 
44.    server_names_hash_max_size 1024; 
45.    server_names_hash_bucket_size 1024; 
46. 
47.    # Default cache parameters for use by virtual hosts 
48.    # Set the cache path to tmpfs mounted disk, and the zone name 
49.    # Set the maximum size of the on disk cache to less than the tmpfs file system size 
50.    proxy_cache_path  ./cache  levels=1:2  keys_zone=pscms:100m max_size=800m; 
51.    proxy_temp_path   ./proxy; 
52. 
53.    #配置後端伺服器資訊 
54.    upstream web_server { 
55.        #ip_hash; 
56.        server localhost:8080 max_fails=3  fail_timeout=30s; 
57.        server localhost:8180 max_fails=3  fail_timeout=30s; 
58.    } 
59. 
60.    server { 
61.        listen   8888; ## listen for ipv4 
62.        #listen   [::]:80 default ipv6only=on; ## listen for ipv6 
63.        server_name  localhost; 
64. 
65.        charset utf-8; 
66.        log_format  main  '$remote_addr - $remote_user [$time_local] "$request" ' 
67.                          '$status $body_bytes_sent "$http_referer" ' 
68.                          '"$http_user_agent" "$http_x_forwarded_for"'; 
69.        access_log  logs/host.access.log  main; 
70.        #access_log off; 
71. 
72.        location ~ .*\.(jsp|action)?$ { 
73.            proxy_set_header Host $http_host; 
74.            proxy_redirect     off; 
75.            proxy_pass        
76.            proxy_set_header   Host             $host; 
77.            proxy_set_header   X-Real-IP        $remote_addr; 
78.            proxy_set_header   X-Forwarded-For $proxy_add_x_forwarded_for; 
79.        } 
80. 
81.        location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|js|css)$ { 
82.            #如果後端的伺服器返回502、504、執行超時等錯誤，自動將請求轉發到upstream負載均衡池中的另一臺伺服器，實現故障轉移。 
83.            proxy_next_upstream http_502 http_504 error timeout invalid_header; 
84. 
85.            proxy_cache pscms;                   #進行快取，使用Web快取區cache_one 
86.            proxy_cache_valid 200 304 1h;           #對不同的HTTP狀態碼設定不同的快取時間 
87.            proxy_cache_valid 301 302 5m; 
88.            proxy_cache_valid any 1m; 
89.            proxy_set_header  Host $host; 
90.            proxy_set_header  X-Real-IP  $remote_addr; 
91.            proxy_set_header X-Forwarded-For $remote_addr; 
92.            proxy_set_header Accept-Encoding "";  #（或是後臺伺服器關閉gzip），這樣這臺機器才不會快取被壓縮的檔案，造成亂碼 
93.            proxy_ignore_headers "Cache-Control" "Expires"; #這段配置加上後，proxy_cache就能支援後臺設定的expires。 
94.            proxy_pass
95.            expires  15m; 
96.        } 
97. 
98.        location / { 
99.            proxy_set_header Host $http_host; 
100.            proxy_redirect     off; 
101.            proxy_pass        
102.            proxy_set_header   Host             $host; 
103.            proxy_set_header   X-Real-IP        $remote_addr; 
104.            proxy_set_header   X-Forwarded-For $proxy_add_x_forwarded_for; 
105.        } 
106. 
107.    } 
108. 
109.} 
 
 
 
參考文件：
 
1.
 
2. http://wangrui.iteye.com/blog/500921