利用 consul+nginx-upsync 實現動態負載

13sai發表於2019-12-01

這是前一段時間學習的課程上面的，自己實際操作了一下，詳細操作及說明如下。

如果Nginx遇到大流量和高負載，修改配置檔案重啟可能並不總是那麼方便，因為恢復Nginx並過載配置會進一步增加系統負載，並很可能暫時降低效能。而一個個修改配置檔案也是很容易出錯和費時間的操作。

這時候不妨試試consul+nginx-upsync-module實現Nginx的動態負載。

nginx-upsync-module

nginx-upsync-module 提供了動態的負載均衡，它可以從consul或etcd同步upstreams，動態修改後端伺服器屬性（weight，max_fails，down…），而不需要重新載入nginx。這樣我們通過它實現平滑伸縮，而不嚴重地影響效能。

利用docker安裝

我已經基於centos7構建了一個映象 13sai/nginx-lua-upsync ，你可以使用下面的命令啟動一個容器

docker run -itd --name=nginx-upsync -p 8008:80 -p 9501:9501 -p 9502:9502 -p 9503:9503 -p 8500:8500 13sai/nginx-lua-upsync

當然，你也可以不使用docker自行搭建，新增nginx-upsync-module模組可以參考nginx模組lua模組。

nginx-upsync-module的git地址

進入容器配置

docker exec -it nginx-upsync /bin/bash

cd /usr/local/nginx/conf

echo "server host.docker.internal:9501 weight=1 fail_timeout=10 max_fails=3;" >> servers.conf

vi nginx.conf

 #nginx.conf 主要配置
 ...

 upstream 13sai{
    upsync 192.168.65.2:8500/v1/kv/upstreams/test-server upsync_timeout=6m upsync_interval=500ms upsync_type=consul strong_dependency=off;
    upsync_dump_path /usr/local/nginx/conf/servers.conf;
    include /usr/local/nginx/conf/servers.conf;
}

server {
    listen       80;

    location / {
        proxy_pass http://13sai;
    }

    ...

}

...

upsync語法說明

語法：syntax: upsync $consul/etcd.api.com:$port/v1/kv/upstreams/$upstream_name/ [upsync_type=consul/etcd] [upsync_interval=second/minutes] [upsync_timeout=second/minutes] [strong_dependency=off/on]
預設值：無，如果省略引數，則預設引數為upsync_interval = 5s upsync_timeout = 6m strong_dependency = off
描述：從 consul/etcd 中拉取upstreams

upsync 定義從consul/etcd拉取最新的upstream資訊並存到本地的操作
upsync_timeout 定義從consul/etcd拉取配置的超時時間
upsync_interval 定義從consul/etc拉取配置的間隔時間
upsync_type 定義使用配置服務型別
strong_dependency 啟動時是否強制依賴配置伺服器，如果配置為on,則拉取失敗，nginx同樣會啟用失敗
upsync_dump_path 定義從consul/etcd拉取配置後持久化到的本地的檔案路徑，這樣即使 consul/etcd出問題了，本地同樣會有備份檔案

注意下面這個檔案必須要有，檔案路徑和名稱可以自定義，nginx-upsync-module會將負載資訊快取到此檔案，否則Nginx啟動會報錯。

#servers.conf，192.168.x.xxx是我的宿主機ip
server 192.168.x.xxx:9501 weight=20 max_fails=1 fail_timeout=5s;

重啟nginx

/usr/local/nginx/sbin/nginx -t

/usr/local/nginx/sbin/nginx -s reload

這裡雖然我們還未啟動consul，但沒有什麼影響，upsync會去拉取，也必然會失敗，servers.conf就不會更新，Nginx的error日誌會有資訊。

利用swoole啟動3個http服務

// 可啟動3個server，埠分別為9501，9502，9503，輸出也做對應修改
$http = new Swoole\Http\Server("127.0.0.1", 9501);
$http->on('request', function ($request, $response) {
    $response->end("9501");
});