## 一、HTTP動態負載均衡

**動態負載均衡**

動態負載均衡策略類似於加權輪詢策略，可以透過對於後端伺服器叢集的狀態監測，量化不同伺服器的效能差異，來週期性調整伺服器的比重來實現權重的動態調整。

在nginx中傳統的負載均衡，如果Upstream引數發生變化，每次都需要重新載入nginx.conf檔案，因此擴充套件性不是很高，所以我們可以採用動態負載均衡，實現Upstream可配置化、動態化，無需人工重新載入nginx.conf。這類似分散式的配置中心。

**動態負載均衡實現方案**

- Consul+Consul-template 每次發現配置更改需要raload nginx，重啟Nginx。
 - Consul+OpenResty 實現無需raload動態負載均衡。
 - Consul+upsync+Nginx 實現無需raload動態負載均衡。

**常用伺服器註冊與發現框架**

1.常見服務發現框架 Consul、Eureka、ZooKeeper以及Etcd，ZooKeeper是這種型別的專案中歷史最悠久的之一，它起源於Hadoop。它非常成熟、可靠，被許多大公司（YouTube、eBay、雅虎等）使用。

2.Consul 是 HashiCorp 公司推出的開源工具，用於實現分散式系統的服務發現與配置。Consul 使用 Go 語言編寫，因此具有天然可移植性（支援Linux、windows和Mac OS X）。Consul採用主從模式的設計，使得叢集的數量可以大規模擴充套件，叢集間透過RPC的方式呼叫(HTTP和DNS)。Consul 內建了服務註冊與發現框架、分佈一致性協議實現、健康檢查、Key/Value 儲存、多資料中心方案，不再需要依賴其他工具（比如 ZooKeeper 等），使用起來也較為簡單。

3.etcd是一個採用HTTP協議的健/值對儲存系統，它是一個分散式和功能層次配置系統，可用於構建服務發現系統。其很容易部署、安裝和使用，提供了可靠的資料持久化特性。它是安全的並且文件也十分齊全。

**對於nginx下要實現動態負載均衡，目前有三個選擇方式：**

1.Tengine 的Dyups模組。

2.微博的Upsync+Consul 實現動態負載均衡。

3.OpenResty的balancer_by_lua(又拍雲使用其開源的slardar(Consul balancer_by_lua))。

文章下面介紹怎麼使用upsync模組和consul來實現nginx的動態負載均衡。

## 二、CONSUL快速入門

Consul是一款開源的分散式服務註冊與發現系統，透過HTTP API可以使得服務註冊、發現實現起來非常簡單，它支援如下特性。

- 服務註冊：服務實現者可以透過HTTP API或DNS方式，將服務註冊到Consul。
 - 服務發現：服務消費者可以透過HTTP API或DNS方式，從Consul獲取服務的IP和PORT。故障檢測：支援如TCP、HTTP等方式的健康檢查機制，從而當服務有故障時自動摘除。
 - K/V儲存：使用K/V儲存實現動態配置中心，其使用HTTP長輪詢實現變更觸發和配置更改。
 - 多資料中心：支援多資料中心，可以按照資料中心註冊和發現服務，即支援只消費本地機房服務，使用多資料中心叢集還可以避免單資料中心的單點故障。
 - Raft演算法：Consul使用Raft演算法實現叢集資料一致性。
 - 透過Consul可以管理服務註冊與發現，接下來需要有一個與Nginx部署在同一臺機器的Agent來實現Nginx配置更改和Nginx重啟功能。我們有Confd或者Consul-template兩個選擇，而Consul-template是Consul官方提供的，我們就選擇它了。其使用HTTP長輪詢實現變更觸發和配置更改（使用Consul的watch命令實現）。也就是說，我們使用Consul-template實現配置模板，然後拉取Consul配置渲染模板來生成Nginx實際配置。

**CONSUL環境搭建**

1.下載consul_1.13.1_linux_amd64.zip

```
wget https://releases.hashicorp.com/consul/1.13.1/consul_1.13.1_linux_amd64.zip
```

2.解壓consul_0.7.5_linux_amd64.zip

```
unzip consul_0.7.5_linux_amd64.zip
#如果解壓出現該錯誤
-bash: unzip: #未找到命令
#centos解決辦法
yum -y install unzip
#ubuntu解決辦法
apt-get -y install unzip
```

3.執行 ./consul 出現以下資訊就說明安裝成功

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/f2ebcbd95c6842508a40536431cfd833.png)

4.啟動consul ,我的linux ip地址192.168.199.104

```
./consul agent -dev -ui -node=consul-dev -client=192.168.199.104
```

5.臨時關閉防火牆

```
systemctl stop firewalld
```

6.瀏覽器訪問192.168.199.104:8500,會出現如下頁面

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/fcbc92226c7244a59b76bc28866e612f.png)

7.使用PostMan 註冊HTTP服務

```
//此處ip地址為ConsulServer所在伺服器的地址
//http://192.168.199.104:8500/v1/catalog/register/
//引數1
{
    "Datacenter": "dc1",
    "Node": "go-http",
    "Address": "192.168.199.104", //本地地址
    "Service": {
        "Id": "192.168.199.104:8080", # 8080
        "Service": "helloword",
        "tags": [
            "dev"
        ],
        "Port": 8080
    }
}
//引數2
{
    "Datacenter": "dc1",
    "Node": "go-http",
    "Address": "192.168.199.104",
    "Service": {
        "Id": "192.168.199.104:8081",//8081
        "Service": "helloword",
        "tags": [
            "dev"
        ],
        "Port": 8081
    }
}
```

Datacenter指定資料中心，
Address指定服務IP，
Service.Id指定服務唯一標識，
Service.Service指定服務分組，
Service.tags指定服務標籤（如測試環境、預發環境等），
Service.Port指定服務埠。

8.發現HTTP服務

```
http://192.168.199.104:8500/v1/catalog/service/helloword
```

## 三、NGINX-UPSYNC-MODULE

注意：清除之前Nginx環境，重新安裝。

**NGINX-UPSYNC-MODULE簡介**

Upsync是新浪微博開源的基於Nginx實現動態配置的三方模組。Nginx-Upsync-Module的功能是拉取Consul的後端server的列表，並動態更新Nginx的路由資訊。此模組不依賴於任何第三方模組。Consul作為Nginx的DB，利用Consul的KV服務，每個Nginx Work程式獨立的去拉取各個upstream的配置，並更新各自的路由。

**NGINX-UPSYNC-MODULE安裝及配置整個流程**

安裝Nginx

```
wget http://nginx.org/download/nginx-1.23.1.tar.gz
#作用:實現反向代理、負載負載庫
```

安裝consul

```
wget https://releases.hashicorp.com/consul/1.13.1/consul_1.13.1_linux_amd64.zip
#作用:對動態負載均衡均配置實現註冊
```

安裝nginx-upsync-module

```
wget https://github.com/weibocom/nginx-upsync-module/archive/master.zip
#作用:nginx動態獲取最新upstream資訊
#解壓安裝
unzip master.zip
unzip consul_1.13.1_linux_amd64.zip
#如果解壓出現該錯誤
-bash: unzip: 未找到命令
#centos解決辦法
yum -y install unzip
#ubuntu解決辦法
apt-get -y install unzip

#安裝Nginx
#解壓Nginx
tar -zxvf nginx-1.23.1.tar.gz
#配置Nginx
groupadd nginx
useradd -g nginx -s /sbin/nologin nginx
mkdir -p /var/tmp/nginx/client/
mkdir -p /usr/local/nginx
```

編譯Nginx

```
cd nginx-1.23.1
./configure   --prefix=/usr/local/nginx   --user=nginx   --group=nginx   --with-http_ssl_module   --with-http_flv_module   --with-http_stub_status_module   --with-http_gzip_static_module   --with-http_realip_module   --http-client-body-temp-path=/var/tmp/nginx/client/   --http-proxy-temp-path=/var/tmp/nginx/proxy/   --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/   --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi   --http-scgi-temp-path=/var/tmp/nginx/scgi   --with-pcre --add-module=../nginx-upsync-module-master
make && make install

編譯的是報錯
./configure: error: SSL modules require the OpenSSL library.
centos解決辦法
yum -y install openssl openssl-devel
ubuntu解決辦法
apt-get -y install openssl openssl-devel
```

建立upsync_dump_path

```
mkdir /usr/local/nginx/conf/servers/
#upsync_dump_path指定從consul拉取的上游伺服器後持久化到的位置，這樣即使consul伺服器出問題了，本地還有一個備份。
```

Upstream 動態配置

```
http {
    upstream helloworld{
        server 127.0.0.1:1111;
        #連線Consul Server 動態獲取 配置負載均衡資訊，間隔0.5s獲取資訊
        upsync 192.168.199.104:8500/v1/kv/upstreams/helloworld upsync_timeout=6m upsync_interval=500ms upsync_type=consul strong_dependency=off;
        #動態的拉去ConsulServer 相關負載均衡資訊持久化到硬碟上
        upsync_dump_path /usr/local/nginx/conf/servers/servers_test.conf;
    }
    server {
        listen       80;
        server_name  localhost;
        location / {
            proxy_pass http://helloword;
            index  index.html index.htm;
        }
    }
}
```

1.upsync指令指定從consul哪個路徑拉取上游伺服器配置；
upsync_timeout配置從consul拉取上游伺服器配置的超時時間；upsync_interval配置從consul拉取上游伺服器配置的間隔時間；upsync_type指定使用consul配置伺服器；
strong_dependency配置nginx在啟動時是否強制依賴配置伺服器，如果配置為on，則拉取配置失敗時nginx啟動同樣失敗。
upsync_dump_path指定從consul拉取的上游伺服器後持久化到的位置，這樣即使consul伺服器出問題了，本地還有一個備份。

2.注意:替換 consul 註冊中心地址
啟動consul

```
臨時關閉防火牆systemctl stop firewalld
我的linux Ip地址192.168.199.104
    ./consul agent -dev -ui -node=consul-dev -client=192.168.199.104
```

新增nginx Upstream服務

```
1.使用linux命令方式傳送put請求
curl -X PUT http://192.168.199.104:8500/v1/kv/upstreams/helloworld/192.168.199.104:8080
curl -X PUT http://192.168.199.104:8500/v1/kv/upstreams/helloworld/192.168.199.104:8081
2.使用postmen 傳送put請求
http://192.168.199.104:8500/v1/kv/upstreams/helloworld/192.168.199.104:8080 http://192.168.199.104:8500/v1/kv/upstreams/helloworld/192.168.199.104:8081
負載均衡資訊引數
{"weight":1, "max_fails":2, "fail_timeout":10, "down":0}
```

啟動Nginx

## 參考文件

[nginx-proxy_pass官網](http://nginx.org/en/docs/http/ngx_http_proxy_module.html#proxy_pass)
[Full Example Configuration](https://www.nginx.com/resources/wiki/start/topics/examples/full/) 
[nginx-upsync-module](https://github.com/weibocom/nginx-upsync-module)
[【NGINX】基於CONSUL+UPSYNC+NGINX實現動態負載均衡](https://www.freesion.com/article/96911043342)

Linux下玩轉nginx系列（八）---如何使用upsync模組實現動態負載均衡

相關文章