KubeSphere 最佳實戰：Kubernetes 部署叢集模式 Nacos 實戰指南

kubesphere發表於2024-10-22

Nacos 是 Dynamic Naming and Configuration Service 的首字母簡稱，一個更易於構建雲原生應用的動態服務發現、配置管理和服務管理平臺。

Nacos 是構建以服務為中心的現代應用架構 (例如微服務正規化、雲原生正規化) 的服務基礎設施。更多的功能特性介紹請檢視 Nacos 概覽。

在本文中，我將為您提供一份全面的實戰指南，詳細地指導您如何在 Kubernetes 叢集中部署以叢集模式執行的 Nacos 服務。

實戰伺服器配置(架構1:1復刻小規模生產環境，配置略有不同)

主機名	IP	CPU	記憶體	系統盤	資料盤	用途
ksp-registry	192.168.9.90	4	8	40	200	Harbor 映象倉庫
ksp-control-1	192.168.9.91	4	8	40	100	KubeSphere/k8s-control-plane
ksp-control-2	192.168.9.92	4	8	40	100	KubeSphere/k8s-control-plane
ksp-control-3	192.168.9.93	4	8	40	100	KubeSphere/k8s-control-plane
ksp-worker-1	192.168.9.94	8	16	40	100	k8s-worker/CI
ksp-worker-2	192.168.9.95	8	16	40	100	k8s-worker
ksp-worker-3	192.168.9.96	8	16	40	100	k8s-worker
ksp-storage-1	192.168.9.97	4	8	40	400+	ElasticSearch/Longhorn/Ceph/NFS
ksp-storage-2	192.168.9.98	4	8	40	300+	ElasticSearch/Longhorn/Ceph
ksp-storage-3	192.168.9.99	4	8	40	300+	ElasticSearch/Longhorn/Ceph
ksp-gpu-worker-1	192.168.9.101	4	16	40	100	k8s-worker(GPU NVIDIA Tesla M40 24G)
ksp-gpu-worker-2	192.168.9.102	4	16	40	100	k8s-worker(GPU NVIDIA Tesla P100 16G)
ksp-gateway-1	192.168.9.103	2	4	40		自建應用服務代理閘道器/VIP：192.168.9.100
ksp-gateway-2	192.168.9.104	2	4	40		自建應用服務代理閘道器/VIP：192.168.9.100
ksp-mid	192.168.9.105	4	8	40	100	部署在 k8s 叢集之外的服務節點（Gitlab 等）
合計	15	68	152	600	2100+

實戰環境涉及軟體版本資訊

作業系統：openEuler 22.03 LTS SP3 x86_64
KubeSphere：v3.4.1
Kubernetes：v1.28.8
KubeKey: v3.1.1
MySQL：v5.7.44
Nacos： v2.4.2.1

1. 部署方案規劃

1.1 部署架構圖

1.2 準備 Nacos 部署資源

mkdir /srv/nacos
cd /srv/nacos

獲取官方資源配置清單

# wget 方式（推薦）
wget https://codeload.github.com/nacos-group/nacos-k8s/zip/refs/heads/master -O nacos-k8s-master.zip

# git 方式
git clone https://github.com/nacos-group/nacos-k8s.git

獲取初始化資料庫檔案

wget https://raw.githubusercontent.com/alibaba/nacos/refs/heads/master/distribution/conf/mysql-schema.sql

1.3 準備 MySQL

Nacos 需要使用 MySQL，本文使用更加貼近生產的 MySQL 主從複製方案部署 MySQL，具體可以參考一文搞定，在 Kubernetes 叢集上部署主從複製 MySQL 。

提示： 也可以使用官方提供的資源清單 deploy/mysql/mysql-nfs.yaml ，部署單機版的 MySQL 服務。

Step 1：匯入 MySQL 初始化資料

進入 MySQL 主節點容器內部。

$ kubectl exec -it mysql-source-0 -- mysql -u root -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 2
Server version: 5.7.44-log MySQL Community Server (GPL)

Copyright (c) 2000, 2023, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>

建立資料庫及 Nacos 使用者。

-- 建立資料庫
mysql> CREATE DATABASE IF NOT EXISTS `nacos` DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;

-- 建立使用者
mysql> CREATE USER 'nacos'@'%' IDENTIFIED BY 'ChangeMe';

-- 賦予許可權
mysql> GRANT ALL PRIVILEGES ON `nacos`.* TO 'nacos'@'%';

-- 重新整理許可權
mysql> FLUSH PRIVILEGES;

匯入資料（無需登入容器內部）。

# 進入資料庫初始化 sql 檔案目錄
$ cd /srv/nacos/

# 匯入資料
kubectl exec -i mysql-source-0 -- mysql -S /var/lib/mysql/mysql.sock -u nacos -pChangeMe nacos < mysql-schema.sql

Step 2：檢視匯入的資料

登陸 MySQL 主節點容器內部。

$ kubectl exec -it mysql-source-0 -- mysql -u nacos -p
Enter password:

檢視資料庫。

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| nacos              |
+--------------------+
2 rows in set (0.01 sec)

檢視錶。

# 切換資料庫
mysql> use nacos;
Database changed

# 檢視錶
mysql> show tables;
+----------------------+
| Tables_in_nacos      |
+----------------------+
| config_info          |
| config_info_aggr     |
| config_info_beta     |
| config_info_tag      |
| config_tags_relation |
| group_capacity       |
| his_config_info      |
| permissions          |
| roles                |
| tenant_capacity      |
| tenant_info          |
| users                |
+----------------------+
12 rows in set (0.00 sec)

從結果中可以看到執行 mysql-schema.sql 後，自動建立了 Nacos 服務的相關表和資料。

1.4 準備持久化儲存

本實戰環境使用 NFS 作為 K8s 叢集的持久化儲存，如果是新叢集可以參考《探索 Kubernetes 持久化儲存之 NFS 終極實戰指南》部署 NFS 儲存。

提示： 也可以使用官方提供的 deploy/nfs/ 目錄下的資源清單，部署單機版的 NFS 服務。

2. 叢集模式 Nacos 部署

2.1 修改配置檔案

解壓部署程式碼。

$ cd /srv/nacos
$ unzip nacos-k8s-master.zip
$ cd nacos-k8s-master/deploy/nacos

編輯 nacos-pvc-nfs.yaml，修改資料庫配置。

data:
  mysql.host: "mysql-source-headless.default.svc.cluster.local"		# 資料庫地址，本文使用 MySQL 服務在 k8s 叢集內的 DNS 域名
  mysql.db.name: "nacos"
  mysql.port: "3306"
  mysql.user: "nacos"
  mysql.password: "ChangeMe"

修改 StoreClass 名稱（可選，自建 NFS 儲存時使用）。

預設的配置檔案使用的 StoreClass 名稱為 managed-nfs-storage，使用下面的命令修改為實際的值。

$ sed -i 's/managed-nfs-storage/nfs-sc/g' nacos-pvc-nfs.yaml

刪除 serviceAccountName（可選，自建 NFS 儲存時使用）。

sed -i '/serviceAccountName/d' nacos-pvc-nfs.yaml

修改映象地址（可選，映象下載受限或是離線部署時可用）。

sed -i 's#nacos/nacos-peer-finder-plugin:1.1#registry.opsxlab.cn:8443/nacos/nacos-peer-finder-plugin:1.1#g' nacos-pvc-nfs.yaml
sed -i 's#nacos/nacos-server:latest#registry.opsxlab.cn:8443/nacos/nacos-server:v2.4.2.1#g' nacos-pvc-nfs.yaml

開啟鑑權配置（建議）。

Nacos 預設配置沒有開啟鑑權，生產環境建議開啟。在 containers.env 部分增加下面的內容：

- name: NACOS_AUTH_ENABLE
  value: "true"
- name: NACOS_AUTH_TOKEN
  value: "SecretKeyYzJlMTMxOTU5ZTljZTkxZGQ2MDcwZGIxMzU1YTFkMjg="
- name: NACOS_AUTH_IDENTITY_KEY
  value: "serverIdentity"
- name: NACOS_AUTH_IDENTITY_VALUE
  value: "ChangeMe"

注意： 自定義 NACOS_AUTH_TOKEN 金鑰時，推薦將配置項設定為Base64 編碼的字串，且原始金鑰長度不得低於32字元。

可以執行下面的命令生成TOKEN 金鑰：

echo -n $(openssl rand -hex 16) | base64 -w0

2.2 部署 Nacos 叢集

執行下面的命令，建立 Nacos。

$ kubectl create -f nacos-pvc-nfs.yaml

正確執行後，輸出結果如下 :

$ kubectl create -f nacos-pvc-nfs.yaml
service/nacos-headless created
configmap/nacos-cm created
statefulset.apps/nacos created

驗證 Nacos 節點狀態。

$ kubectl get pod -l app=nacos -o wide
NAME      READY   STATUS    RESTARTS   AGE   IP              NODE           NOMINATED NODE   READINESS GATES
nacos-0   1/1     Running   0          25s   10.233.96.233   ksp-worker-3   <none>           <none>
nacos-1   1/1     Running   0          25s   10.233.94.125   ksp-worker-1   <none>           <none>
nacos-2   1/1     Running   0          25s   10.233.68.221   ksp-worker-2   <none>           <none>

2.3 配置 K8s 叢集外部訪問

我們採用 NodePort 方式在 Kubernetes 叢集中對外發布 Nacos 服務，以便管理員能夠訪問圖形化控制檯，同時也為叢集外的應用提供服務，指定的埠為 31848。

使用 vi 編輯器，新建 NodePort 服務資源清單檔案 nacos-external.yaml，並輸入以下內容：

kind: Service
apiVersion: v1
metadata:
  name: nacos-external
  labels:
    app: nacos-external
spec:
  ports:
    - protocol: TCP
      port: 8848
      targetPort: 8848
      nodePort: 31848
  selector:
    app: nacos
  type: NodePort

2.4 設定管理員密碼

自 2.4.0 版本開始，Nacos構建時不再提供管理員使用者nacos的預設密碼，需要在首次開啟鑑權後，透過 API 或 Nacos 控制檯進行管理員使用者nacos的密碼初始化。

本文選擇 Nacos 控制檯的方式初始化密碼，當 Nacos 叢集開啟鑑權後，訪問 Nacos 控制檯時，會校驗管理員使用者nacos的密碼是否已經初始化，若發現未初始化密碼時，則會跳轉至初始化密碼的頁面進行初始化。

在該頁面密碼文字框內輸入自定義密碼，然後點選提交即可。

注意： 若密碼文字框內未輸入自定義密碼或輸入空白密碼，Nacos 將會生成隨機密碼，請儲存好生成的隨機密碼。

初始化成功後會彈窗提示初始化成功，並明文展示指定的密碼或隨機生成的密碼，請儲存好此密碼。

點選「確定」後，會跳轉到登入頁面，並彈出許可權認證失敗的提示框。

點選「確定」後，輸入 nacos 使用者名稱和對應的密碼。

登入成功後，進入「配置管理」頁面。

3. 驗證測試 Nacos 服務是否正確配置

使用 curl 命令，在 K8s 叢集外的機器上呼叫 Nacos API 介面，透過 Nacos 對外服務對應的 NodePort 埠，驗證測試 Nacos 服務是否正常。

3.1 獲取 Token

首先，使用使用者名稱和密碼登陸 nacos，若使用者名稱和密碼正確，會返回 Token 資訊。

curl -X POST 'http://192.168.9.91:31848/nacos/v1/auth/login' -d 'username=nacos&password=ChangeMe'

正確執行後，返回的結果如下：

{"accessToken":"eyJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJuYWNvcyIsImV4cCI6MTcyNzcwOTk0Mn0.Ki2kgZyh_dj_Zfb9HKPCkKr1cgWfi3szQS4hlZPIwkI","tokenTtl":18000,"globalAdmin":true,"username":"nacos"}

3.2 服務註冊

curl -X POST 'http://192.168.9.91:31848/nacos/v1/ns/instance?accessToken=eyJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJuYWNvcyIsImV4cCI6MTcyNzcwOTk0Mn0.Ki2kgZyh_dj_Zfb9HKPCkKr1cgWfi3szQS4hlZPIwkI&serviceName=nacos.naming.serviceName&ip=192.168.9.81&port=8080'

3.3 服務發現

curl -X GET 'http://192.168.9.91:31848/nacos/v1/ns/instance/list?accessToken=eyJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJuYWNvcyIsImV4cCI6MTcyNzcwOTk0Mn0.Ki2kgZyh_dj_Zfb9HKPCkKr1cgWfi3szQS4hlZPIwkI&serviceName=nacos.naming.serviceName'

正確執行後，返回的結果如下：

{"name":"DEFAULT_GROUP@@nacos.naming.serviceName","groupName":"DEFAULT_GROUP","clusters":"","cacheMillis":10000,"hosts":[],"lastRefTime":1727692102280,"checksum":"","allIPs":false,"reachProtectionThreshold":false,"valid":true}[

3.4 釋出配置

curl -X POST "http://192.168.9.91:31848/nacos/v1/cs/configs?accessToken=eyJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJuYWNvcyIsImV4cCI6MTcyNzcwOTk0Mn0.Ki2kgZyh_dj_Zfb9HKPCkKr1cgWfi3szQS4hlZPIwkI&dataId=nacos.cfg.dataId&group=test&content=helloWorld"

3.5 獲取配置

curl -X GET "http://192.168.9.91:31848/nacos/v1/cs/configs?accessToken=eyJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJuYWNvcyIsImV4cCI6MTcyNzcwOTk0Mn0.Ki2kgZyh_dj_Zfb9HKPCkKr1cgWfi3szQS4hlZPIwkI&dataId=nacos.cfg.dataId&group=test"

正確執行後，返回的結果如下：

helloWorld

3.6 Nacos 控制檯檢視

配置管理列表

配置詳情

至此，我們完成了在 KubeSphere 管理的 Kubernetes 叢集上手動部署 Nacos 叢集的全過程，後續的配置管理請根據實際應用的需求進行配置。

免責宣告：

筆者水平有限，儘管經過多次驗證和檢查，盡力確保內容的準確性，但仍可能存在疏漏之處。敬請業界專家大佬不吝指教。
本文所述內容僅透過實戰環境驗證測試，讀者可學習、借鑑，但嚴禁直接用於生產環境。由此引發的任何問題，作者概不負責！

本文內容首發：運維有術。

關於 KubeSphere

KubeSphere （https://kubesphere.io）是在 Kubernetes 之上構建的開源容器平臺，提供全棧的 IT 自動化運維的能力，簡化企業的 DevOps 工作流。

KubeSphere 已被 Aqara 智慧家居、本來生活、東方通訊、微宏科技、東軟、華雲、新浪、三一重工、華夏銀行、四川航空、國藥集團、微眾銀行、紫金保險、去哪兒網、中通、中國人民銀行、中國銀行、中國人保壽險、中國太平保險、中國移動、中國聯通、中國電信、天翼雲、中移金科、Radore、ZaloPay 等海內外數萬家企業採用。KubeSphere 提供了開發者友好的嚮導式操作介面和豐富的企業級功能，包括 Kubernetes 多雲與多叢集管理、DevOps (CI/CD)、應用生命週期管理、邊緣計算、微服務治理 (Service Mesh)、多租戶管理、可觀測性、儲存與網路管理、GPU support 等功能，幫助企業快速構建一個強大和功能豐富的容器雲平臺。

✨ GitHub：https://github.com/kubesphere
💻 官網（中國站）：https://kubesphere.io/zh
🙋 論壇：https://ask.kubesphere.io/forum/
👨‍💻‍ 微信群：請搜尋新增群助手微訊號 kubesphere

KubeSphere 部署 Kafka 叢集實戰指南
2024-08-09
Kafka
KubeSphere 最佳實戰：K8s 構建高可用、高效能 Redis 叢集實戰指南
2024-11-20
K8SRedis
Kubernetes實戰：高可用叢集的搭建和部署
2021-07-22
KubeSphere 部署向量資料庫 Milvus 實戰指南
2024-07-30
資料庫
【Redis叢集實戰】Redis Cluster 部署
2024-11-22
Redis
KubeSphere 實戰指南：KubeSphere 和 K8s 叢集徹底解除安裝與重灌全攻略
2024-11-15
K8S
部署rabbitMQ映象叢集實戰測試
2020-06-29
MQ
Nacos實戰一：架構及部署
2021-07-14
架構
京東雲Kubernetes叢集最佳實踐
2019-03-25
Kubernetes叢集健康檢查最佳實踐
2018-08-29
三艾雲 Kubernetes 叢集最佳實踐
2022-10-19
利用 Kubeadm部署 Kubernetes 1.13.1 叢集實踐錄
2018-12-27
微服務實戰之春雲與刀客（四）——dockerswarm叢集實戰
2018-07-24
微服務DockerSwarm
安裝Greenplum 5.2 叢集實戰
2020-04-19
Jenkins叢集下的pipeline實戰
2022-11-10
Jenkins
KubeSphere DevOps 系統功能實戰
2022-03-23
dev
容器化 | 在 KubeSphere 中部署 MySQL 叢集
2022-02-25
MySql
Kubernetes 叢集升級指南：從理論到實踐
2020-10-09
Kubernetes 最佳安全實踐指南
2020-12-15
實踐展示openEuler部署Kubernetes 1.29.4版本叢集
2024-04-22
運維實戰：K8s 上的 Doris 高可用叢集最佳實踐
2024-12-10
運維K8S
eBPF in kubernetes 實戰
2021-11-24
eBPF
Nginx 高階篇（十一）叢集搭建實戰
2020-03-23
Nginx
.NET Core+MongoDB叢集搭建與實戰
2020-10-17
MongoDB
Kubernetes（K8s）部署 SpringCloud 服務實戰
2021-12-02
K8SSpringGCCloud
RabbitMQ實戰：訊息通訊模式和最佳實踐
2018-04-07
MQ模式
Flink Native Kubernetes實戰
2020-11-18
在kubernetes上部署consul叢集
2018-08-20
在 Azure 上部署 Kubernetes 叢集
2019-04-26
拆除kubeadm部署的Kubernetes 叢集
2024-08-14
Kubernetes部署叢集Mysql服務
2023-03-10
MySql
「實戰篇」開源專案docker化運維部署-搭建mysql叢集（四）
2019-03-28
Docker運維MySql
influxDB叢集模式實踐
2022-12-05
UX模式
Kubernetes 持久化儲存之 NFS 終極實戰指南
2024-07-22
持久化NFS
Kubernetes 多叢集在開源專案 KubeSphere 的應用
2020-08-21
SpringCloud微服務實戰——搭建企業級開發框架（三十五）：SpringCloud + Docker + k8s實現微服務叢集打包部署-叢集環境部署
2021-12-23
SpringGCCloud微服務框架DockerK8S
在 Ubuntu 22.04 上安裝 KubeSphere 實戰教程
2023-05-19
Ubuntu
Redis Cluster叢集模式部署
2024-12-09
Redis模式

KubeSphere 最佳實戰：Kubernetes 部署叢集模式 Nacos 實戰指南

實戰伺服器配置(架構1:1復刻小規模生產環境，配置略有不同)

實戰環境涉及軟體版本資訊

1. 部署方案規劃

1.1 部署架構圖

1.2 準備 Nacos 部署資源

1.3 準備 MySQL

1.4 準備持久化儲存

2. 叢集模式 Nacos 部署

2.1 修改配置檔案

2.2 部署 Nacos 叢集

2.3 配置 K8s 叢集外部訪問

2.4 設定管理員密碼

3. 驗證測試 Nacos 服務是否正確配置

3.1 獲取 Token

3.2 服務註冊

3.3 服務發現

3.4 釋出配置

3.5 獲取配置

3.6 Nacos 控制檯檢視

關於 KubeSphere

相關文章