kunbernetes-基於NFS的儲存

店家小二發表於2018-12-14
NFS

1、NFS介紹

NFS是Network File System的簡寫，即網路檔案系統，NFS是FreeBSD支援的檔案系統中的一種。NFS基於RPC(Remote Procedure Call)遠端過程呼叫實現，其允許一個系統在網路上與它人共享目錄和檔案。通過使用NFS，使用者和程式就可以像訪問本地檔案一樣訪問遠端系統上的檔案。NFS是一個非常穩定的，可移植的網路檔案系統。具備可擴充套件和高效能等特性，達到了企業級應用質量標準。由於網路速度的增加和延遲的降低，NFS系統一直是通過網路提供檔案系統服務的有競爭力的選擇 。

1.1 nfs原理


NFS 使用RPC(Remote Procedure Call)的機制進行實現，RPC使得客戶端可以呼叫服務端的函式。同時，由於有 VFS 的存在，客戶端可以像使用其它普通檔案系統一樣使用 NFS 檔案系統。經由作業系統的核心，將 NFS 檔案系統的呼叫請求通過 TCP/IP 傳送至服務端的 NFS 服務。NFS伺服器執行相關的操作，並將操作結果返回給客戶端。

NFS服務主要程式包括：

  • rpc.nfsd：最主要的NFS程式，管理客戶端是否可登入
  • rpc.mountd：掛載和解除安裝NFS檔案系統，包括許可權管理
  • rpc.lockd：非必要，管理檔案鎖，避免同時寫出錯
  • rpc.statd：非必要，檢查檔案一致性，可修復檔案

nfs的關鍵工具包括：

  • 主要配置檔案：/etc/exports；
  • NFS檔案系統維護命令：/usr/bin/exportfs；
  • 共享資源的日誌檔案： /var/lib/nfs/*tab；
  • 客戶端查詢共享資源命令： /usr/sbin/showmount；
  • 埠配置： /etc/sysconfig/nfs。

1.2 共享配置

在NFS伺服器端的主要配置檔案為/etc/exports時，通過此配置檔案可以設定共享檔案目錄。每條配置記錄由NFS共享目錄、NFS客戶端地址和引數這3部分組成，格式如下：

[NFS共享目錄] [NFS客戶端地址1(引數1,引數2,引數3……)] [客戶端地址2(引數1,引數2,引數3……)]

  • NFS共享目錄：伺服器上共享出去的檔案目錄；
  • NFS客戶端地址：允許其訪問的NFS伺服器的客戶端地址，可以是客戶端IP地址，也可以是一個網段(192.168.64.0/24)；
  • 訪問引數：括號中逗號分隔項，主要是一些許可權選項。

1）訪問許可權引數

序號

選項

描述
1 ro 客戶端對於共享檔案目錄為只讀許可權。（預設設定）
2 rw 客戶端對共享檔案目錄具有讀寫許可權。

2）使用者對映引數

序號

選項

描述
1 root_squash 使客戶端使用root賬戶訪問時，伺服器對映為伺服器本地的匿名賬號。
2 no_root_squash 客戶端連線服務端時如果使用的是root的話，那麼也擁有對服務端分享的目錄的root許可權。
3 all_squash 將所有客戶端使用者請求對映到匿名使用者或使用者組（nfsnobody）。
4 no_all_squash 與上相反（預設設定）。
5 anonuid=xxx 將遠端訪問的所有使用者都對映為匿名使用者，並指定該使用者為本地使用者（UID=xxx）。
6 anongid=xxx 將遠端訪問的所有使用者組都對映為匿名使用者組賬戶，並指定該匿名使用者組賬戶為本地使用者組賬戶（GID=xxx）。

3）其它配置引數

序號

選項

描述
1 sync 同步寫操作，資料寫入儲存裝置後返回成功資訊。（預設設定）
2 async 非同步寫操作，資料在未完全寫入儲存裝置前就返回成功資訊，實際還在記憶體。
3 wdelay 延遲寫入選項，將多個寫操請求合併後寫入硬碟，減少I/O次數，NFS非正常關閉資料可能丟失（預設設定）。
4 no_wdelay 與上相反，不與async同時生效，如果NFS伺服器主要收到小且不相關的請求，該選項實際會降低效能。
5 subtree 若輸出目錄是一個子目錄，則nfs伺服器將檢查其父目錄的許可權(預設設定)；
6 no_subtree 即使輸出目錄是一個子目錄，nfs伺服器也不檢查其父目錄的許可權，這樣可以提高效率
7 secure 限制客戶端只能從小於1024的tcp/ip埠連線nfs伺服器（預設設定）。
8 insecure 允許客戶端從大於1024的tcp/ip埠連線伺服器。

 

2、nfs服務端配置

在nfs作為網路檔案儲存系統前，首先，需要安裝nfs和rpcbind服務；接著，需要建立使用共享目錄的使用者；然後，需要對共享目錄進行配置，這是其中相對重要和複雜的一個步驟；最後，需要啟動rpcbind和nfs服務，以供應用使用。

2.1 安裝nfs服務

1）通過yum目錄安裝nfs服務和rpcbind服務：

$ yum -y install nfs-utils rpcbind

2）檢查nfs服務是否正常安裝

$ rpcinfo -p localhost

2.2 建立使用者

為NFS服務其新增使用者，並建立共享目錄，以及設定使用者設定共享目錄的訪問許可權：

$ useradd -u nfs
$ mkdir -p /nfs-share 
$ chmod a+w /nfs-share

2.3 配置共享目錄

在nfs伺服器中為客戶端配置共享目錄：

$ echo "/nfs-share *(rw,async,no_root_squash)" >> /etc/exports

通過執行如下命令是配置生效：

$exportfs -r

2.4 啟動服務

1）由於必須先啟動rpcbind服務，再啟動nfs服務，這樣才能讓nfs服務在rpcbind服務上註冊成功：

$ systemctl start rpcbind

2）啟動nfs服務：

$ systemctl start nfs-server

3）設定rpcbind和nfs-server開機啟動：

$ systemctl enable rpcbind

$ systemctl enable nfs-server

2.5 檢查nfs服務是否正常啟動

$ showmount -e localhost

$ mount -t nfs 127.0.0.1:/data /mnt

3、nfs作為volume

nfs可以直接作為儲存卷使用，下面是一個redis部署的YAML配置檔案。在此示例中，redis在容器中的持久化資料儲存在/data目錄下；儲存卷使用nfs，nfs的服務地址為：192.168.8.150，儲存路徑為：/k8s-nfs/redis/data。容器通過volumeMounts.name的值確定所使用的儲存卷。

apiVersion: apps/v1 # for versions before 1.9.0 use apps/v1beta2
kind: Deployment
metadata:
  name: redis
spec:
  selector:
    matchLabels:
      app: redis
  revisionHistoryLimit: 2
  template:
    metadata:
      labels:
        app: redis
    spec:
      containers:
      # 應用的映象
      - image: redis
        name: redis
        imagePullPolicy: IfNotPresent
        # 應用的內部埠
        ports:
        - containerPort: 6379
          name: redis6379
        env:
        - name: ALLOW_EMPTY_PASSWORD
          value: "yes"
        - name: REDIS_PASSWORD
          value: "redis"   
        # 持久化掛接位置，在docker中 
        volumeMounts:
        - name: redis-persistent-storage
          mountPath: /data
      volumes:
      # 宿主機上的目錄
      - name: redis-persistent-storage
        nfs:
          path: /k8s-nfs/redis/data
          server: 192.168.8.150

4、nfs作為PersistentVolum

在Kubernetes當前版本的中，可以建立型別為nfs的持久化儲存卷，用於為PersistentVolumClaim提供儲存卷。在下面的PersistenVolume YAML配置檔案中，定義了一個名為nfs-pv的持久化儲存卷，此儲存卷提供了5G的儲存空間，只能由一個PersistentVolumClaim進行可讀可寫操作。此持久化儲存卷使用的nfs伺服器地址為192.168.5.150，儲存的路徑為/tmp。

apiVersion: v1 
kind: PersistentVolume 
metadata: 
  name: nfs-pv 
spec: 
  capacity: 
    storage: 5Gi 
  volumeMode: Filesystem 
  accessModes: 
  - ReadWriteOnce 
  persistentVolumeReclaimPolicy: Recycle 
  storageClassName: slow 
  mountOptions: 
  - hard 
  - nfsvers=4.1
  # 此持久化儲存卷使用nfs外掛 
  nfs:
    # nfs共享目錄為/tmp 
    path: /tmp 
    # nfs伺服器的地址
    server: 192.168.5.150

通過執行如下的命令可以建立上述持久化儲存卷：

$ kubectl create -f {path}/nfs-pv.yaml

儲存卷建立成功後將處於可用狀態，等待PersistentVolumClaim使用。PersistentVolumClaim會通過訪問模式和儲存空間自動選擇合適儲存卷，並與其進行繫結。

5、nfs作為動態儲存提供

5.1 部署nfs-provisioner

為nfs-provisioner例項選擇儲存狀態和資料的儲存卷，並將儲存卷掛接到容器的/export 命令。

...
 volumeMounts:
    - name: export-volume
      mountPath: /export
volumes:
  - name: export-volume
    hostPath:
      path: /tmp/nfs-provisioner
...

為StorageClass選擇一個供應者名稱，並在deploy/kubernetes/deployment.yaml進行設定。

args:
  - "-provisioner=example.com/nfs"
...

完整的deployment.yaml檔案內容如下：

kind: Service
apiVersion: v1
metadata:
  name: nfs-provisioner
  labels:
    app: nfs-provisioner
spec:
  ports:
    - name: nfs
      port: 2049
    - name: mountd
      port: 20048
    - name: rpcbind
      port: 111
    - name: rpcbind-udp
      port: 111
      protocol: UDP
  selector:
    app: nfs-provisioner
---

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: nfs-provisioner
spec:
  replicas: 1
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: nfs-provisioner
    spec:
      containers:
        - name: nfs-provisioner
          image: quay.io/kubernetes_incubator/nfs-provisioner:v1.0.8
          ports:
            - name: nfs
              containerPort: 2049
            - name: mountd
              containerPort: 20048
            - name: rpcbind
              containerPort: 111
            - name: rpcbind-udp
              containerPort: 111
              protocol: UDP
          securityContext:
            capabilities:
              add:
                - DAC_READ_SEARCH
                - SYS_RESOURCE
          args:
            # 定義提供者的名稱，儲存類通過此名稱指定提供者
            - "-provisioner=nfs-provisioner"
          env:
            - name: POD_IP
              valueFrom:
                fieldRef:
                  fieldPath: status.podIP
            - name: SERVICE_NAME
              value: nfs-provisioner
            - name: POD_NAMESPACE
              valueFrom:
                fieldRef:
                  fieldPath: metadata.namespace
          imagePullPolicy: "IfNotPresent"
          volumeMounts:
            - name: export-volume
              mountPath: /export
      volumes:
        - name: export-volume
          hostPath:
            path: /srv

在設定好deploy/kubernetes/deployment.yaml檔案後，通過kubectl create命令在Kubernetes叢集中部署nfs-provisioner。

$ kubectl create -f {path}/deployment.yaml

5.2 建立StorageClass

下面是example-nfs的StorageClass配置檔案，此配置檔案定義了一個名稱為nfs-storageclass的儲存類，此儲存類的提供者為nfs-provisioner。

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-storageclass
  provisioner: nfs-provisioner

通過kubectl create -f命令使用上面的配置檔案建立：

$ kubectl create -f deploy/kubernetes/class.yaml

storageclass “example-nfs” created

在儲存類被正確建立後，就可以建立PersistenetVolumeClaim來請求StorageClass，而StorageClass將會為PersistenetVolumeClaim自動建立一個可用PersistentVolume。

5.3 建立PersistenetVolumeClaim

PersistenetVolumeClaim是對PersistenetVolume的宣告，即PersistenetVolume為儲存的提供者，而PersistenetVolumeClaim為儲存的消費者。下面是PersistentVolumeClaim的YAML配置檔案，此配置檔案通過metadata.annotations[].volume.beta.kubernetes.io/storage-class欄位指定所使用的儲存儲類。

在此配置檔案中，使用nfs-storageclass儲存類為PersistenetVolumeClaim建立PersistenetVolume，所要求的PersistenetVolume儲存空間大小為1Mi，可以被多個容器進行讀取和寫入操作。

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-pvc
  annotations:
    volume.beta.kubernetes.io/storage-class: "nfs-storageclass"
spec:
  accessModes:
  - ReadWriteMany
  resources:
    requests:
      storage: 1Mi

通過kubectl create命令建立上述的持久化儲存卷宣告：

$ kubectl create -f {path}/claim.yaml

 5.4 建立使用PersistenVolumeClaim的部署

 在這裡定義名為busybox-deployment的部署YAML配置檔案，使用的映象為busybox。基於busybox映象的容器需要對/mnt目錄下的資料進行持久化，在YAML檔案指定使用名稱為nfs的PersistenVolumeClaim對容器的資料進行持久化。

# This mounts the nfs volume claim into /mnt and continuously
# overwrites /mnt/index.html with the time and hostname of the pod. 
apiVersion: v1
kind: Deployment
metadata:  
  name: busybox-deployment
spec:  
  replicas: 2  
  selector:    
    name: busybox-deployment
  template:    
    metadata:      
      labels:        
        name: busybox-deployment    
    spec:      
      containers:      
      - image: busybox        
        command:          
        - sh          
        - -c          
        - `while true; do date > /mnt/index.html; hostname >> /mnt/index.html; sleep $(($RANDOM % 5 + 5)); done`        
        imagePullPolicy: IfNotPresent        
        name: busybox        
        volumeMounts:          
        # name must match the volume name below          
        - name: nfs            
          mountPath: "/mnt"     
     # 
     volumes:      
     - name: nfs        
       persistentVolumeClaim:          
         claimName: nfs-pvc

通過kubectl create建立busy-deployment部署：

$ kubectl create -f {path}/nfs-busybox-deployment.yaml

本文轉自中文社群-kunbernetes-基於NFS的儲存


相關文章