Curve 分散式儲存在 KubeSphere 中的實踐

KubeSphere發表於2023-01-03
分散式

Curve 介紹

Curve 是網易開發的現代儲存系統，目前支援檔案儲存 (CurveFS) 和塊儲存 (CurveBS)。現在它作為一個沙盒專案託管在 CNCF。
Curve 是一個高效能、輕量級操作、本地雲的開源分散式儲存系統。Curve 可以應用於 :

1) 主流雲本地基礎設施平臺 OpenStack 和 Kubernetes;
2) 雲本地資料庫的高效能儲存 ;
3) 使用與 s3 相容的物件儲存作為資料儲存的雲端儲存中介軟體。

實現效果

透過部署 CurveFS 叢集、Helm 部署 Curve-csi 外掛建立 SC 來達到宣告 PVC 時自動建立 PV 的效果

開始部署

K8s 環境可以透過安裝 KubeSphere 進行部署 , 我使用的是高可用方案。
在公有云上安裝 KubeSphere 參考文件：多節點安裝

[root@k8s-master ~]# kubectl get node
NAME         STATUS   ROLES                  AGE   VERSION
k8s-master   Ready    control-plane,master   79d   v1.23.8
k8s-node1    Ready    worker                 79d   v1.23.8
k8s-node2    Ready    worker                 79d   v1.23.8
k8s-node3    Ready    worker                 79d   v1.23.8

使用 Curveadm 工具部署 CurveFS

CurveAdm 是 Curve 團隊為提高系統易用性而設計的工具，其主要用於快速部署和運維 CurveBS/CurveFS 叢集。

硬體環境需求：

宿主機系統IP 地址
Curve（控制節點）Centos7.9192.168.149.169
Curve1（服務節點）Centos7.9192.168.149.177

每臺伺服器都需要安裝 docker：

[root@curve ~]# yum install -y yum-utils
[root@curve ~]# yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
[root@curve ~]# yum install docker-ce docker-ce-cli containerd.io
[root@curve ~]# systemctl start docker

控制節點安裝 Curveadm：

[root@curve ~]# bash -c "$(curl -fsSL https://curveadm.nos-eastchina1.126.net/script/install.sh)"

主機管理

主機模組用來統一管理使用者主機，以減少使用者在各配置檔案中重複填寫主機 SSH 連線相關配置。（此操作在控制節點進行）

準備主機列表：

global:
  user: root
  ssh_port: 22
  private_key_file: /root/.ssh/id_rsa

hosts:
  - host: curve1
    hostname: 192.168.149.169
  - host: curve
    hostname: 192.168.149.177
    forward_agent: true
    become_user: root
    labels:
      - client

說明：

建立 SSH 秘鑰：

[root@curve ~]# ssh-keygen #一路回車即可
[root@curve ~]# ssh-copy-id -i root@192.168.149.177
#傳送私鑰到服務節點

匯入主機列表：

[root@curve ~]#curveadm hosts commit hosts.yaml

檢視主機列表：

[root@curve ~]# curveadm hosts ls

CuveFS 叢集拓撲

叢集拓撲檔案用來描述哪些服務部署在哪些機器上，以及每一個服務例項的配置。
（目前叢集拓撲分為單機部署、多機部署本教程只演示單機部署）

準備單機部署檔案：

說明：此檔案只需要修改一處，target 的值改成服務節點的 hostname，其他全預設不需要修改。

kind: curvefs
global:
  report_usage: true
  data_dir: ${home}/curvefs/data/${service_role}${service_host_sequence}
  log_dir: ${home}/curvefs/logs/${service_role}${service_host_sequence}
  container_image: opencurvedocker/curvefs:latest
  variable:
    home: /tmp
    target: curve1 #這裡需要改成服務節點的hostname

etcd_services:
  config:
    listen.ip: ${service_host}
    listen.port: 2380${service_host_sequence}         # 23800,23801,23802
    listen.client_port: 2379${service_host_sequence}  # 23790,23791,23792
  deploy:
    - host: ${target}
    - host: ${target}
    - host: ${target}

mds_services:
  config:
    listen.ip: ${service_host}
    listen.port: 670${service_host_sequence}        # 6700,6701,6702
    listen.dummy_port: 770${service_host_sequence}  # 7700,7701,7702
  deploy:
    - host: ${target}
    - host: ${target}
    - host: ${target}

metaserver_services:
  config:
    listen.ip: ${service_host}
    listen.port: 680${service_host_sequence}           # 6800,6801,6802
    listen.external_port: 780${service_host_sequence}  # 7800,7801,7802
    global.enable_external_server: true
    metaserver.loglevel: 0
    # whether commit filesystem caches of raft wal to disk.
    # it should be true iff you wants data NEVER lost,
    # of course, it will leads some performance skew.
    braft.raft_sync: false
  deploy:
    - host: ${target}
    - host: ${target}
    - host: ${target}
      config:
        metaserver.loglevel: 0

部署預檢

預檢模組用來提前檢測那些可能導致使用者部署失敗的因素，以提高使用者部署的成功率。

新增自定義命名叢集，並指定拓撲檔案：

[root@curve ~]# curveadm cluster add curve -f topology.yaml

切換 curve 叢集為當前管理叢集：

 [root@curve ~]# curveadm cluster checkout curve

執行預檢：

[root@curve ~]# curveadm precheck

檢視執行結果：

使用 CurveAdm 部署 CurveFS 叢集

[root@curve ~]# curveadm deploy
如果部署成功，將會輸出類似 Cluster 'curve' successfully deployed ^_^. 的字樣

檢視叢集執行情況：

[root@curve ~]#curveadm status
[root@localhost curve]# curveadm status
Get Service Status: [OK]  

cluster name      : curve
cluster kind      : curvefs
cluster mds addr  : 192.168.149.177:6700,192.168.149.177:6701,192.168.149.177:6702
cluster mds leader: 192.168.149.177:6701 / f339fd5e7f3e

Id            Role        Host    Replicas  Container Id  Status       
--            ----        ----    --------  ------------  ------       
724fe98710d0  etcd        curve1  1/1       e3d86591f2dc  Up 50 seconds
d5b08fe05a81  etcd        curve1  1/1       da7932929055  Up 50 seconds
963664e175dd  etcd        curve1  1/1       134d4445542a  Up 50 seconds
83fa9fc656af  mds         curve1  1/1       1f7429cd9822  Up 48 seconds
f339fd5e7f3e  mds         curve1  1/1       2983a89adecf  Up 49 seconds
3d7201165a57  mds         curve1  1/1       b6135408346b  Up 49 seconds
875d7fd126f2  metaserver  curve1  1/1       1983afeed590  Up 44 seconds
9d5fb31b2bd9  metaserver  curve1  1/1       fe920d6b7343  Up 44 seconds
1344d99579c4  metaserver  curve1  1/1       875cb4e5c14d  Up 44 seconds
[root@localhost curve]# curveadm status
Get Service Status: [OK]  

cluster name      : curve
cluster kind      : curvefs
cluster mds addr  : 192.168.149.177:6700,192.168.149.177:6701,192.168.149.177:6702
cluster mds leader: 192.168.149.177:6701 / f339fd5e7f3e

Id            Role        Host    Replicas  Container Id  Status    
--            ----        ----    --------  ------------  ------    
724fe98710d0  etcd        curve1  1/1       e3d86591f2dc  Up 2 hours
d5b08fe05a81  etcd        curve1  1/1       da7932929055  Up 2 hours
963664e175dd  etcd        curve1  1/1       134d4445542a  Up 2 hours
83fa9fc656af  mds         curve1  1/1       1f7429cd9822  Up 2 hours
f339fd5e7f3e  mds         curve1  1/1       2983a89adecf  Up 2 hours
3d7201165a57  mds         curve1  1/1       b6135408346b  Up 2 hours
875d7fd126f2  metaserver  curve1  1/1       1983afeed590  Up 2 hours
9d5fb31b2bd9  metaserver  curve1  1/1       fe920d6b7343  Up 2 hours
1344d99579c4  metaserver  curve1  1/1       875cb4e5c14d  Up 2 hours

KubeSphere 平臺部署 minio

新增 minio 應用倉庫

新增倉庫地址：charts.min.io/。

從應用模板建立 minio 服務

<,,,,>

自定義 root 賬號和密碼：

訪問 minio 介面並設定：

說明：登入的 URL 是叢集宿主機的 IP+NodePort 埠，可以在 service 中檢視對應埠號

點選新建 Bucket：

自定義 Bucket 名稱：

建立 Policies：

自定義 Policy Name：

建立規則：

說明 : 此規則是全域性 Bucket 都可以訪問，生產環境不建議這麼配置
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:DeleteObject",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListAllMyBuckets",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::*"
            ]
        }
    ]
}

建立 Users：

建立 AKSK：

自定義賬號名稱並勾選剛才設定好的規則（也可以全選）：

建立 Group：

KubeSphere 平臺部署 Cruvefs-csi 外掛

建立應用：

選擇應用商店：

選擇 Curvefs-csi 應用進行安裝：

填寫 parameters 資訊。欄位說明 :

  1. mdsAddr 地址可以透過 Curveadm status 輸出後檢視
  2. s3Endpoint 可以透過 K8s 叢集的 service 裡檢視到（要填寫 minio 服務對應的 NodePort，不要填寫 console 的 Nodeport）
  3. AKSK 可以透過剛才 minio 上建立時儲存的檢視
  4. s3Bucket 可以透過剛才建立的 Bucket 檢視

透過 Curve-sc 建立 PV 和 PVC 進行掛載

建立持久卷宣告：

建立工作負載使用儲存卷：

進入容器終端：

切換目錄到 /data 並寫入測試資料：

cd /data
mkdir curve
echo 1111 > curve.txt

驗證檢視 minio 資料：

本文由部落格一文多發平臺 OpenWrite 釋出！

相關文章