kunbernetes-基於NFS的儲存

店家小二發表於2018-12-14

1、NFS介紹

NFS是Network File System的簡寫,即網路檔案系統,NFS是FreeBSD支援的檔案系統中的一種。NFS基於RPC(Remote Procedure Call)遠端過程呼叫實現,其允許一個系統在網路上與它人共享目錄和檔案。通過使用NFS,使用者和程式就可以像訪問本地檔案一樣訪問遠端系統上的檔案。NFS是一個非常穩定的,可移植的網路檔案系統。具備可擴充套件和高效能等特性,達到了企業級應用質量標準。由於網路速度的增加和延遲的降低,NFS系統一直是通過網路提供檔案系統服務的有競爭力的選擇 。

1.1 nfs原理


NFS 使用RPC(Remote Procedure Call)的機制進行實現,RPC使得客戶端可以呼叫服務端的函式。同時,由於有 VFS 的存在,客戶端可以像使用其它普通檔案系統一樣使用 NFS 檔案系統。經由作業系統的核心,將 NFS 檔案系統的呼叫請求通過 TCP/IP 傳送至服務端的 NFS 服務。NFS伺服器執行相關的操作,並將操作結果返回給客戶端。

NFS服務主要程式包括:

  • rpc.nfsd:最主要的NFS程式,管理客戶端是否可登入
  • rpc.mountd:掛載和解除安裝NFS檔案系統,包括許可權管理
  • rpc.lockd:非必要,管理檔案鎖,避免同時寫出錯
  • rpc.statd:非必要,檢查檔案一致性,可修復檔案

nfs的關鍵工具包括:

  • 主要配置檔案:/etc/exports;
  • NFS檔案系統維護命令:/usr/bin/exportfs;
  • 共享資源的日誌檔案: /var/lib/nfs/*tab;
  • 客戶端查詢共享資源命令: /usr/sbin/showmount;
  • 埠配置: /etc/sysconfig/nfs。

1.2 共享配置

在NFS伺服器端的主要配置檔案為/etc/exports時,通過此配置檔案可以設定共享檔案目錄。每條配置記錄由NFS共享目錄、NFS客戶端地址和引數這3部分組成,格式如下:

[NFS共享目錄] [NFS客戶端地址1(引數1,引數2,引數3……)] [客戶端地址2(引數1,引數2,引數3……)]

  • NFS共享目錄:伺服器上共享出去的檔案目錄;
  • NFS客戶端地址:允許其訪問的NFS伺服器的客戶端地址,可以是客戶端IP地址,也可以是一個網段(192.168.64.0/24);
  • 訪問引數:括號中逗號分隔項,主要是一些許可權選項。

1)訪問許可權引數

序號

選項

描述

1 ro 客戶端對於共享檔案目錄為只讀許可權。(預設設定)
2 rw 客戶端對共享檔案目錄具有讀寫許可權。

2)使用者對映引數

序號

選項

描述

1 root_squash 使客戶端使用root賬戶訪問時,伺服器對映為伺服器本地的匿名賬號。
2 no_root_squash 客戶端連線服務端時如果使用的是root的話,那麼也擁有對服務端分享的目錄的root許可權。
3 all_squash 將所有客戶端使用者請求對映到匿名使用者或使用者組(nfsnobody)。
4 no_all_squash 與上相反(預設設定)。
5 anonuid=xxx 將遠端訪問的所有使用者都對映為匿名使用者,並指定該使用者為本地使用者(UID=xxx)。
6 anongid=xxx 將遠端訪問的所有使用者組都對映為匿名使用者組賬戶,並指定該匿名使用者組賬戶為本地使用者組賬戶(GID=xxx)。

3)其它配置引數

序號

選項

描述

1 sync 同步寫操作,資料寫入儲存裝置後返回成功資訊。(預設設定)
2 async 非同步寫操作,資料在未完全寫入儲存裝置前就返回成功資訊,實際還在記憶體。
3 wdelay 延遲寫入選項,將多個寫操請求合併後寫入硬碟,減少I/O次數,NFS非正常關閉資料可能丟失(預設設定)。
4 no_wdelay 與上相反,不與async同時生效,如果NFS伺服器主要收到小且不相關的請求,該選項實際會降低效能。
5 subtree 若輸出目錄是一個子目錄,則nfs伺服器將檢查其父目錄的許可權(預設設定);
6 no_subtree 即使輸出目錄是一個子目錄,nfs伺服器也不檢查其父目錄的許可權,這樣可以提高效率
7 secure 限制客戶端只能從小於1024的tcp/ip埠連線nfs伺服器(預設設定)。
8 insecure 允許客戶端從大於1024的tcp/ip埠連線伺服器。

 

2、nfs服務端配置

在nfs作為網路檔案儲存系統前,首先,需要安裝nfs和rpcbind服務;接著,需要建立使用共享目錄的使用者;然後,需要對共享目錄進行配置,這是其中相對重要和複雜的一個步驟;最後,需要啟動rpcbind和nfs服務,以供應用使用。

2.1 安裝nfs服務

1)通過yum目錄安裝nfs服務和rpcbind服務:

$ yum -y install nfs-utils rpcbind

2)檢查nfs服務是否正常安裝

$ rpcinfo -p localhost

2.2 建立使用者

為NFS服務其新增使用者,並建立共享目錄,以及設定使用者設定共享目錄的訪問許可權:

$ useradd -u nfs
$ mkdir -p /nfs-share 
$ chmod a+w /nfs-share

2.3 配置共享目錄

在nfs伺服器中為客戶端配置共享目錄:

$ echo "/nfs-share *(rw,async,no_root_squash)" >> /etc/exports

通過執行如下命令是配置生效:

$exportfs -r

2.4 啟動服務

1)由於必須先啟動rpcbind服務,再啟動nfs服務,這樣才能讓nfs服務在rpcbind服務上註冊成功:

$ systemctl start rpcbind

2)啟動nfs服務:

$ systemctl start nfs-server

3)設定rpcbind和nfs-server開機啟動:

$ systemctl enable rpcbind

$ systemctl enable nfs-server

2.5 檢查nfs服務是否正常啟動

$ showmount -e localhost

$ mount -t nfs 127.0.0.1:/data /mnt

3、nfs作為volume

nfs可以直接作為儲存卷使用,下面是一個redis部署的YAML配置檔案。在此示例中,redis在容器中的持久化資料儲存在/data目錄下;儲存卷使用nfs,nfs的服務地址為:192.168.8.150,儲存路徑為:/k8s-nfs/redis/data。容器通過volumeMounts.name的值確定所使用的儲存卷。

apiVersion: apps/v1 # for versions before 1.9.0 use apps/v1beta2
kind: Deployment
metadata:
  name: redis
spec:
  selector:
    matchLabels:
      app: redis
  revisionHistoryLimit: 2
  template:
    metadata:
      labels:
        app: redis
    spec:
      containers:
      # 應用的映象
      - image: redis
        name: redis
        imagePullPolicy: IfNotPresent
        # 應用的內部埠
        ports:
        - containerPort: 6379
          name: redis6379
        env:
        - name: ALLOW_EMPTY_PASSWORD
          value: "yes"
        - name: REDIS_PASSWORD
          value: "redis"   
        # 持久化掛接位置,在docker中 
        volumeMounts:
        - name: redis-persistent-storage
          mountPath: /data
      volumes:
      # 宿主機上的目錄
      - name: redis-persistent-storage
        nfs:
          path: /k8s-nfs/redis/data
          server: 192.168.8.150

4、nfs作為PersistentVolum

在Kubernetes當前版本的中,可以建立型別為nfs的持久化儲存卷,用於為PersistentVolumClaim提供儲存卷。在下面的PersistenVolume YAML配置檔案中,定義了一個名為nfs-pv的持久化儲存卷,此儲存卷提供了5G的儲存空間,只能由一個PersistentVolumClaim進行可讀可寫操作。此持久化儲存卷使用的nfs伺服器地址為192.168.5.150,儲存的路徑為/tmp。

apiVersion: v1 
kind: PersistentVolume 
metadata: 
  name: nfs-pv 
spec: 
  capacity: 
    storage: 5Gi 
  volumeMode: Filesystem 
  accessModes: 
  - ReadWriteOnce 
  persistentVolumeReclaimPolicy: Recycle 
  storageClassName: slow 
  mountOptions: 
  - hard 
  - nfsvers=4.1
  # 此持久化儲存卷使用nfs外掛 
  nfs:
    # nfs共享目錄為/tmp 
    path: /tmp 
    # nfs伺服器的地址
    server: 192.168.5.150

通過執行如下的命令可以建立上述持久化儲存卷:

$ kubectl create -f {path}/nfs-pv.yaml

儲存卷建立成功後將處於可用狀態,等待PersistentVolumClaim使用。PersistentVolumClaim會通過訪問模式和儲存空間自動選擇合適儲存卷,並與其進行繫結。

5、nfs作為動態儲存提供

5.1 部署nfs-provisioner

為nfs-provisioner例項選擇儲存狀態和資料的儲存卷,並將儲存卷掛接到容器的/export 命令。

...
 volumeMounts:
    - name: export-volume
      mountPath: /export
volumes:
  - name: export-volume
    hostPath:
      path: /tmp/nfs-provisioner
...

為StorageClass選擇一個供應者名稱,並在deploy/kubernetes/deployment.yaml進行設定。

args:
  - "-provisioner=example.com/nfs"
...

完整的deployment.yaml檔案內容如下:

kind: Service
apiVersion: v1
metadata:
  name: nfs-provisioner
  labels:
    app: nfs-provisioner
spec:
  ports:
    - name: nfs
      port: 2049
    - name: mountd
      port: 20048
    - name: rpcbind
      port: 111
    - name: rpcbind-udp
      port: 111
      protocol: UDP
  selector:
    app: nfs-provisioner
---

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: nfs-provisioner
spec:
  replicas: 1
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: nfs-provisioner
    spec:
      containers:
        - name: nfs-provisioner
          image: quay.io/kubernetes_incubator/nfs-provisioner:v1.0.8
          ports:
            - name: nfs
              containerPort: 2049
            - name: mountd
              containerPort: 20048
            - name: rpcbind
              containerPort: 111
            - name: rpcbind-udp
              containerPort: 111
              protocol: UDP
          securityContext:
            capabilities:
              add:
                - DAC_READ_SEARCH
                - SYS_RESOURCE
          args:
            # 定義提供者的名稱,儲存類通過此名稱指定提供者
            - "-provisioner=nfs-provisioner"
          env:
            - name: POD_IP
              valueFrom:
                fieldRef:
                  fieldPath: status.podIP
            - name: SERVICE_NAME
              value: nfs-provisioner
            - name: POD_NAMESPACE
              valueFrom:
                fieldRef:
                  fieldPath: metadata.namespace
          imagePullPolicy: "IfNotPresent"
          volumeMounts:
            - name: export-volume
              mountPath: /export
      volumes:
        - name: export-volume
          hostPath:
            path: /srv

在設定好deploy/kubernetes/deployment.yaml檔案後,通過kubectl create命令在Kubernetes叢集中部署nfs-provisioner。

$ kubectl create -f {path}/deployment.yaml

5.2 建立StorageClass

下面是example-nfs的StorageClass配置檔案,此配置檔案定義了一個名稱為nfs-storageclass的儲存類,此儲存類的提供者為nfs-provisioner。

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-storageclass
  provisioner: nfs-provisioner

通過kubectl create -f命令使用上面的配置檔案建立:

$ kubectl create -f deploy/kubernetes/class.yaml

storageclass “example-nfs” created

在儲存類被正確建立後,就可以建立PersistenetVolumeClaim來請求StorageClass,而StorageClass將會為PersistenetVolumeClaim自動建立一個可用PersistentVolume。

5.3 建立PersistenetVolumeClaim

PersistenetVolumeClaim是對PersistenetVolume的宣告,即PersistenetVolume為儲存的提供者,而PersistenetVolumeClaim為儲存的消費者。下面是PersistentVolumeClaim的YAML配置檔案,此配置檔案通過metadata.annotations[].volume.beta.kubernetes.io/storage-class欄位指定所使用的儲存儲類。

在此配置檔案中,使用nfs-storageclass儲存類為PersistenetVolumeClaim建立PersistenetVolume,所要求的PersistenetVolume儲存空間大小為1Mi,可以被多個容器進行讀取和寫入操作。

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-pvc
  annotations:
    volume.beta.kubernetes.io/storage-class: "nfs-storageclass"
spec:
  accessModes:
  - ReadWriteMany
  resources:
    requests:
      storage: 1Mi

通過kubectl create命令建立上述的持久化儲存卷宣告:

$ kubectl create -f {path}/claim.yaml

 5.4 建立使用PersistenVolumeClaim的部署

 在這裡定義名為busybox-deployment的部署YAML配置檔案,使用的映象為busybox。基於busybox映象的容器需要對/mnt目錄下的資料進行持久化,在YAML檔案指定使用名稱為nfs的PersistenVolumeClaim對容器的資料進行持久化。

# This mounts the nfs volume claim into /mnt and continuously
# overwrites /mnt/index.html with the time and hostname of the pod. 
apiVersion: v1
kind: Deployment
metadata:  
  name: busybox-deployment
spec:  
  replicas: 2  
  selector:    
    name: busybox-deployment
  template:    
    metadata:      
      labels:        
        name: busybox-deployment    
    spec:      
      containers:      
      - image: busybox        
        command:          
        - sh          
        - -c          
        - `while true; do date > /mnt/index.html; hostname >> /mnt/index.html; sleep $(($RANDOM % 5 + 5)); done`        
        imagePullPolicy: IfNotPresent        
        name: busybox        
        volumeMounts:          
        # name must match the volume name below          
        - name: nfs            
          mountPath: "/mnt"     
     # 
     volumes:      
     - name: nfs        
       persistentVolumeClaim:          
         claimName: nfs-pvc

通過kubectl create建立busy-deployment部署:

$ kubectl create -f {path}/nfs-busybox-deployment.yaml

本文轉自中文社群-kunbernetes-基於NFS的儲存


相關文章