【Nginx】面試官：給我講講Nginx如何實現四層負載均衡？

冰河團隊發表於2020-09-06
Nginx面試負載

寫在前面

這次又被問到Nginx四層負載均衡的問題了，別慌，我們一起來細細分析這個看似簡單的問題。

如果文章對你有點幫助，請關注 冰河技術 微信公眾號，點贊、在看、留言和轉發，大家的四連是我持續創作的最大動力。

負載均衡可以分為靜態負載均衡和動態負載均衡，接下來，我們就一起來分析下Nginx如何實現四層靜態負載均衡和四層動態負載均衡。

靜態負載均衡

Nginx的四層靜態負載均衡需要啟用ngx_stream_core_module模組，預設情況下，ngx_stream_core_module是沒有啟用的，需要在安裝Nginx時，新增--with-stream配置引數啟用，如下所示。

./configure --prefix=/usr/local/nginx-1.17.2 --with-openssl=/usr/local/src/openssl-1.0.2s --with-pcre=/usr/local/src/pcre-8.43 --with-zlib=/usr/local/src/zlib-1.2.11 --with-http_realip_module --with-http_stub_status_module --with-http_ssl_module --with-http_flv_module --with-http_gzip_static_module --with-cc-opt=-O3 --with-stream  --with-http_ssl_module

配置四層負載均衡

配置HTTP負載均衡時，都是配置在http指令下，配置四層負載均衡，則是在stream指令下，結構如下所示.

stream {
	upstream mysql_backend {
		......
	}
	server {
		......
	}
}

配置upstream

upstream mysql_backend {
	server 192.168.175.201:3306 max_fails=2 fail_timeout=10s weight=1;
	server 192.168.175.202:3306 max_fails=2 fail_timeout=10s weight=1;
	least_conn;
}

配置server

server {
	#監聽埠，預設使用的是tcp協議，如果需要UDP協議，則配置成listen 3307 udp;
	listen 3307;
	#失敗重試
	proxy_next_upstream on;
	proxy_next_upstream_timeout 0;
	proxy_next_upstream_tries 0;
	#超時配置
	#配置與上游伺服器連線超時時間，預設60s
	proxy_connect_timeout 1s;
	#配置與客戶端上游伺服器連線的兩次成功讀/寫操作的超時時間，如果超時，將自動斷開連線
	#即連線存活時間，通過它可以釋放不活躍的連線，預設10分鐘
	proxy_timeout 1m;
	#限速配置
	#從客戶端讀資料的速率，單位為每秒位元組數，預設為0，不限速
	proxy_upload_rate 0;
	#從上游伺服器讀資料的速率，單位為每秒位元組數，預設為0，不限速
	proxy_download_rate 0;
	#上游伺服器
	proxy_pass mysql_backend;
}

配置完之後，就可以連線Nginx的3307埠，訪問資料庫了。

Nginx完整配置

完整的Nginx配置如下：

user  hadoop hadoop;
worker_processes  auto;
 
error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;
 
#pid        logs/nginx.pid;
 
 
events {
	use epoll;
    worker_connections  1024;
}
 
stream {
	upstream mysql_backend {
		server 192.168.175.100:3306 max_fails=2 fail_timeout=10s weight=1;
		least_conn;
	}
	server {
		#監聽埠，預設使用的是tcp協議，如果需要UDP協議，則配置成listen 3307 udp;
		listen 3307;
		#失敗重試
		proxy_next_upstream on;
		proxy_next_upstream_timeout 0;
		proxy_next_upstream_tries 0;
		#超時配置
		#配置與上游伺服器連線超時時間，預設60s
		proxy_connect_timeout 1s;
		#配置與客戶端上游伺服器連線的兩次成功讀/寫操作的超時時間，如果超時，將自動斷開連線
		#即連線存活時間，通過它可以釋放不活躍的連線，預設10分鐘
		proxy_timeout 1m;
		#限速配置
		#從客戶端讀資料的速率，單位為每秒位元組數，預設為0，不限速
		proxy_upload_rate 0;
		#從上游伺服器讀資料的速率，單位為每秒位元組數，預設為0，不限速
		proxy_download_rate 0;
		#上游伺服器
		proxy_pass mysql_backend;
	}
}

動態負載均衡

配置Nginx四層靜態負載均衡後，重啟Nginx時，Worker程式一直不退出，會報錯，如下所示。

nginx: worker process is shutting down;

這是因為Worker程式維持的長連線一直在使用，所以無法退出，只能殺掉程式。可以使用Nginx的四層動態負載均衡解決這個問題。

使用Nginx的四層動態負載均衡有兩種方案：使用商業版的Nginx和使用開源的nginx-stream-upsync-module模組。
注意：四層動態負載均衡可以使用nginx-stream-upsync-module模組，七層動態負載均衡可以使用nginx-upsync-module模組。

使用如下命令為Nginx新增nginx-stream-upsync-module模組和nginx-upsync-module模組，此時，Nginx會同時支援四層動態負載均衡和HTTP七層動態負載均衡。

git clone https://github.com/xiaokai-wang/nginx-stream-upsync-module.git
git clone https://github.com/weibocom/nginx-upsync-module.git
git clone https://github.com/CallMeFoxie/nginx-upsync.git
cp -r nginx-stream-upsync-module/* nginx-upsync/nginx-stream-upsync-module/
cp -r nginx-upsync-module/* nginx-upsync/nginx-upsync-module/
 
./configure --prefix=/usr/local/nginx-1.17.2 --with-openssl=/usr/local/src/openssl-1.0.2s --with-pcre=/usr/local/src/pcre-8.43 --with-zlib=/usr/local/src/zlib-1.2.11 --with-http_realip_module --with-http_stub_status_module --with-http_ssl_module --with-http_flv_module --with-http_gzip_static_module --with-cc-opt=-O3 --with-stream --add-module=/usr/local/src/nginx-upsync --with-http_ssl_module

配置四層負載均衡

配置HTTP負載均衡時，都是配置在http指令下，配置四層負載均衡，則是在stream指令下，結構如下所示，

stream {
	upstream mysql_backend {
		......
	}
	server {
		......
	}
}

配置upstream

upstream mysql_backend {
	server 127.0.0.1:1111;	#佔位server
	upsync 192.168.175.100:8500/v1/kv/upstreams/mysql_backend upsync_timeout=6m upsync_interval=500ms upsync_type=consul strong_dependency=off;
	upsync_dump_path /usr/local/nginx-1.17.2/conf/mysql_backend.conf;
}
  • upsync指令指定從consul哪個路徑拉取上游伺服器配置；
  • upsync_timeout配置從consul拉取上游伺服器配置的超時時間；
  • upsync_interval配置從consul拉取上游伺服器配置的間隔時間；
  • upsync_type指定使用consul配置伺服器；
  • strong_dependency配置nginx在啟動時是否強制依賴配置伺服器，如果配置為on，則拉取配置失敗時Nginx啟動同樣失敗。
  • upsync_dump_path指定從consul拉取的上游伺服器後持久化到的位置，這樣即使consul伺服器出現問題，本地還有一個備份。

配置server

server {
	#監聽埠，預設使用的是tcp協議，如果需要UDP協議，則配置成listen 3307 udp;
	listen 3307;
	#失敗重試
	proxy_next_upstream on;
	proxy_next_upstream_timeout 0;
	proxy_next_upstream_tries 0;
	#超時配置
	#配置與上游伺服器連線超時時間，預設60s
	proxy_connect_timeout 1s;
	#配置與客戶端上游伺服器連線的兩次成功讀/寫操作的超時時間，如果超時，將自動斷開連線
	#即連線存活時間，通過它可以釋放不活躍的連線，預設10分鐘
	proxy_timeout 1m;
	#限速配置
	#從客戶端讀資料的速率，單位為每秒位元組數，預設為0，不限速
	proxy_upload_rate 0;
	#從上游伺服器讀資料的速率，單位為每秒位元組數，預設為0，不限速
	proxy_download_rate 0;
	#上游伺服器
	proxy_pass mysql_backend;
}

從Consul新增上游伺服器

curl -X PUT -d "{\"weight\":1, \"max_fails\":2, \"fail_timeout\":10}" http://192.168.175.100:8500/v1/kv/upstreams/mysql_backend/192.168.175.201:3306
curl -X PUT -d "{\"weight\":1, \"max_fails\":2, \"fail_timeout\":10}" http://192.168.175.100:8500/v1/kv/upstreams/mysql_backend/192.168.175.202:3306

從Consul刪除上游伺服器

curl -X DELETE http://192.168.175.100:8500/v1/kv/upstreams/mysql_backend/192.168.175.202:3306

配置upstream_show

server {
	listen 13307;
	upstream_show;
}

配置upstream_show指令後，可以通過curl http://192.168.175.100:13307/upstream_show檢視當前動態負載均衡上游伺服器列表。

Nginx完整配置

Nginx的完整配置如下：

user  hadoop hadoop;
worker_processes  auto;
 
error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;
 
#pid        logs/nginx.pid;
 
 
events {
	use epoll;
    worker_connections  1024;
}
 
stream {
	upstream mysql_backend {
		server 127.0.0.1:1111;	#佔位server
		upsync 192.168.175.100:8500/v1/kv/upstreams/mysql_backend upsync_timeout=6m upsync_interval=500ms upsync_type=consul strong_dependency=off;
		upsync_dump_path /usr/local/nginx-1.17.2/conf/mysql_backend.conf;
	}
	server {
		#監聽埠，預設使用的是tcp協議，如果需要UDP協議，則配置成listen 3307 udp;
		listen 3307;
		#失敗重試
		proxy_next_upstream on;
		proxy_next_upstream_timeout 0;
		proxy_next_upstream_tries 0;
		#超時配置
		#配置與上游伺服器連線超時時間，預設60s
		proxy_connect_timeout 1s;
		#配置與客戶端上游伺服器連線的兩次成功讀/寫操作的超時時間，如果超時，將自動斷開連線
		#即連線存活時間，通過它可以釋放不活躍的連線，預設10分鐘
		proxy_timeout 1m;
		#限速配置
		#從客戶端讀資料的速率，單位為每秒位元組數，預設為0，不限速
		proxy_upload_rate 0;
		#從上游伺服器讀資料的速率，單位為每秒位元組數，預設為0，不限速
		proxy_download_rate 0;
		#上游伺服器
		proxy_pass mysql_backend;
	}
	server {
		listen 13307;
		upstream_show;
	}
}

重磅福利

關注「 冰河技術 」微信公眾號，後臺回覆 “設計模式” 關鍵字領取《深入淺出Java 23種設計模式》PDF文件。回覆“Java8”關鍵字領取《Java8新特性教程》PDF文件。回覆“限流”關鍵字獲取《億級流量下的分散式限流解決方案》PDF文件，三本PDF均是由冰河原創並整理的超硬核教程，面試必備！！

好了，今天就聊到這兒吧！別忘了點個贊，給個在看和轉發，讓更多的人看到，一起學習，一起進步！！

寫在最後

如果你覺得冰河寫的還不錯，請微信搜尋並關注「 冰河技術 」微信公眾號，跟冰河學習高併發、分散式、微服務、大資料、網際網路和雲原生技術，「 冰河技術 」微信公眾號更新了大量技術專題，每一篇技術文章乾貨滿滿！不少讀者已經通過閱讀「 冰河技術 」微信公眾號文章，吊打面試官，成功跳槽到大廠；也有不少讀者實現了技術上的飛躍，成為公司的技術骨幹！如果你也想像他們一樣提升自己的能力，實現技術能力的飛躍，進大廠，升職加薪，那就關注「 冰河技術 」微信公眾號吧，每天更新超硬核技術乾貨，讓你對如何提升技術能力不再迷茫！

相關文章