使用Nginx配置TCP負載均衡

Nginx是比較不錯的開源Web伺服器之一，但它也可以用作TCP和UDP負載均衡器。使用Nginx作為HAProxy的負載均衡器的主要好處之一是，它還可以負載均衡基於UDP的流量。在本文中，我們將演示如何將NGINX配置為Kubernetes叢集中部署的應用程式的負載均衡。

假設Kubernetes叢集已經配置好，我們將基於 為Nginx建立一個虛擬機器。

以下是實驗種設定的詳細資訊：

• Nginx (CenOS8 Minimal) - 192.168.1.50
• Kube Master - 192.168.1.40
• Kube Worker 1 - 192.168.1.41
• Kube Worker 2 - 192.168.1.42

因為nginx軟體包在CentOS系統預設倉庫裡面沒有，所以需要安裝epel倉庫：

[root@nginxlb ~]# dnf install epel-release -y

執行以下 安裝nginx：

[root@nginxlb ~]# dnf install nginx -y

使用rpm 驗證Nginx包的詳細資訊：

[root@nginxlb ~]# rpm -qi nginx

配置防火牆，允許訪問nginx的http和https服務：

[root@nginxlb ~]# firewall-cmd --permanent --add-service=http
[root@nginxlb ~]# firewall-cmd --permanent --add-service=https
[root@nginxlb ~]# firewall-cmd –reload

使用以下命令將SE 設定為permissive模式，並重啟系統使selinux關閉生效：

[root@nginxlb ~]# sed -i s/^SELINUX=.*$/SELINUX=permissive/ /etc/selinux/config
[root@nginxlb ~]# reboot

[kadmin@k8s-master ~]$  kubectl get all -n ingress-nginx

從上面的輸出中可以看到，每個工作節點的NodePort 32760對映到埠80，NodePort 32375對映到443埠。我們將在Nginx配置檔案中使用這些節點埠來做負載均衡。

編輯nginx配置檔案，並新增以下內容：

[root@nginxlb ~]# vim /etc/nginx/nginx.conf

註釋掉“server”部分（從38到57行）：

並新增以下幾行：

upstream backend {
   server 192.168.1.41:32760; 
   server 192.168.1.42:32760;
}
server {
   listen 80;
   location / {
       proxy_read_timeout 1800;
       proxy_connect_timeout 1800;
       proxy_send_timeout 1800;
       send_timeout 1800;
       proxy_set_header        Accept-Encoding   "";
       proxy_set_header        X-Forwarded-By    $server_addr:$server_port;
       proxy_set_header        X-Forwarded-For   $remote_addr;
       proxy_set_header        X-Forwarded-Proto $scheme;
       proxy_set_header Host $host;
       proxy_set_header X-Real-IP $remote_addr;
       proxy_pass 
   }
    location /nginx_status {
        stub_status;
    }
}

儲存配置檔案，並退出。

根據上述更改，所有向nginx的80埠的請求，都將被路由到的Kubernetes工作節點（192.168.1.41和192.168.1.42）的NodePort（32760）埠上。

使用以下命令啟用Nginx服務：

[root@nginxlb ~]# systemctl start nginx
[root@nginxlb ~]# systemctl enable nginx

要測試nginx作為Kubernetes的TCP負載均衡是否工作正常，請部署基於nginx的deployment，將deployment的埠暴露為80埠，併為nginx 的deployment定義入口資源。我已經使用以下命令來部署這些Kubernetes物件：

[kadmin@k8s-master ~]$ kubectl create deployment nginx-deployment --image=nginx
deployment.apps/nginx-deployment created
[kadmin@k8s-master ~]$ kubectl expose deployments nginx-deployment  --name=nginx-deployment --type=NodePort --port=80
service/nginx-deployment exposed

執行以下命令以獲取deployments，svc和ingress詳細資訊：

更新本地主機的hosts檔案，以便nginx-lb.example.com指向nginx伺服器的IP地址（192.168.1.50）

[root@localhost ~]# echo "192.168.1.50  nginx-lb.example.com" >> /etc/hosts

嘗試透過瀏覽器訪問nginx-lb.example.com

上面證實了Nginx作為TCP負載均衡器可以正常工作，因為它可以負載平衡K8s工作節點之間埠80上的TCP通訊量。