k8s之資料儲存-高階儲存

路過的柚子廚發表於2021-08-18

PV和PVC

前面已經學習了使用NFS提供儲存，此時就會要求使用者會搭建NFS系統，並且會在yaml配置nf's，由於k8s支援的儲存系統有很多，要求客戶全部掌握，顯然不現實。為了能夠遮蔽底層儲存實現的細節，方便使用者使用，k8s引入PV和PVC兩種資源物件。

PV（Persistent Volume）是持久化卷的意思，是對底層的共享儲存的一種抽象。一般情況下PV由k8s管理員進行建立和配置，它與底層具體的共享儲存技術有關，並通過外掛完成與共享儲存的對接。

PVC（Persistent Volume Claim）是持久卷宣告的意思，是使用者對於儲存需求的一種宣告。換句話說，PVC其實就是使用者向k8s系統發出的一種資源需求申請。

PV

PV是儲存資源的抽象，下面是資源清單檔案：

apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv2
spec:
  nfs: #儲存型別，與底層真正儲存對應
  capacity:  #儲存能力，目前只支援儲存空間的設定
    storage: 2Gi
accessModes: #訪問模式
storageClassName:  #儲存類別
persistentVolumeReclaimPolicy: #回收策略

關鍵配置引數

PV的關鍵配置引數說明：

儲存型別：底層實際儲存的型別，k8s支援多種儲存型別，每種儲存型別的配置都有所差異
儲存能力（capacity）：目前只支援儲存空間的設定（storage=1Gi），不過未來可能會加入IOPS、吞吐量等指標的配置
訪問模式（accessModes）：用於描述使用者應用對儲存資源的訪問許可權，訪問許可權包括下面幾種方式：

ReadWriteOnce（RWO）：讀寫許可權，但是隻能被單個節點掛載
ReadOnlyMany（ROX）：只讀許可權，可以被多個節點掛載
ReadWriteMany（RWX）：讀寫許可權，可以被多個節點掛載

需要注意的是，底層不同的儲存型別可能支援的訪問模式不同

回收策略（persistentVolumeReclaimPolicy)：當PV不再被使用了之後，對其的處理方式。目前支援三種策略：

Retain（保留）：保留資料，需要管理員手動清理資料
Recycle（回收）：清除PV中的資料，效果相當於執行 rm -rf /thevolume/*
Delete（刪除）：與PV相連的後端儲存完成volume的刪除操作，當然這常見於雲服務商的儲存服務

需要注意的是，底層不同的儲存型別可能支援的回收策略不同

儲存類別：PV可以通過storageClassName引數指定一個儲存類別

具有特定類別的PV只能與請求了該類別的PVC進行繫結
未設定類別的PV只能與不請求任何類別的PVC進行繫結

狀態（status）：一個PV的生命週期中，可能會處於4種不同的階段：

Available（可用）：表示可用狀態，還未被任何PVC繫結
Bound（已繫結）：表示PV已經被PVC繫結
Released（已釋放）：表示PVC被刪除，但是資源還未被叢集重新宣告
Failed（失敗）：表示該PV的自動回收失敗

實驗

使用NFS作為儲存，演示PV的使用，建立3個PV，對應NFS中的3個暴露的路徑。

準備NFS環境

#建立目錄
[root@master ~]# mkdir /root/data/{pv1,pv2,pv3} -pv
mkdir: 已建立目錄 "/root/data/pv1"
mkdir: 已建立目錄 "/root/data/pv2"
mkdir: 已建立目錄 "/root/data/pv3"

#暴露服務
[root@master ~]# vim /etc/exports
[root@master ~]# more /etc/exports
/root/data/nfs     你master虛擬機器的IP地址前9位.0/24(rw,no_root_squash)
/root/data/pv1     你master虛擬機器的IP地址前9位.0/24(rw,no_root_squash)
/root/data/pv2     你master虛擬機器的IP地址前9位.0/24(rw,no_root_squash)
/root/data/pv3     你master虛擬機器的IP地址前9位.0/24(rw,no_root_squash)

#重啟服務
[root@master ~]# systemctl restart nfs

建立pv.yaml

apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv1
spec:
  capacity:  #儲存能力，目前只支援儲存空間的設定
    storage: 1Gi
  accessModes:
  - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  nfs:
    path: /root/data/pv1
    server: 192.168.145.131

---

apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv2
spec:
  capacity:  
    storage: 2Gi
  accessModes:
  - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  nfs:
    path: /root/data/pv2
    server: 192.168.145.131

---

apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv3
spec:
  capacity:  
    storage: 3Gi
  accessModes:
  - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  nfs:
    path: /root/data/pv3
    server: 192.168.145.131

使用配置檔案

[root@master ~]# vim pv.yaml
[root@master ~]# kubectl create -f pv.yaml 
persistentvolume/pv1 created
persistentvolume/pv2 created
persistentvolume/pv3 created
[root@master ~]# kubectl get pv -o wide
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE   VOLUMEMODE
pv1    1Gi        RWX            Retain           Available                                   82s   Filesystem
pv2    2Gi        RWX            Retain           Available                                   82s   Filesystem
pv3    3Gi        RWX            Retain           Available                                   81s   Filesystem

PVC

PVC是資源的申請，用來宣告對儲存空間、訪問模式、儲存類別需求資訊。下面是資源清單檔案：

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc
  namespace: dev
spec:
  accessModes:  #訪問模式
  selector: #採用標籤對PV選擇
  storageClassName: #儲存類別
  resources:  #請求空間
    requests:
      storage: 5Gi

關鍵配置引數

訪問模式（accessModes）：用於描述使用者應用對儲存資源的訪問許可權
選擇條件（selector）：通過Label Selector的設定，可使PVC對於系統中已存在的PV進行篩選
儲存類別（storageClassName）：PVC在定義時可以設定需要的後端儲存的類別，只有設定了該class的pv才能被系統選出
資源請求（Resources）：描述對儲存資源的請求

實驗

建立pvc.yaml，申請pv

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc1
  namespace: dev
spec:
  accessModes:  
  - ReadWriteMany
  resources:  #請求空間
    requests:
      storage: 1Gi

---

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc2
  namespace: dev
spec:
  accessModes:  
  - ReadWriteMany
  resources:  #請求空間
    requests:
      storage: 1Gi

---

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc3
  namespace: dev
spec:
  accessModes:  
  - ReadWriteMany
  resources:  #請求空間
    requests:
      storage: 5Gi

使用配置檔案

[root@master ~]# vim pvc.yaml
[root@master ~]# kubectl create -f pvc.yaml 
persistentvolumeclaim/pvc1 created
persistentvolumeclaim/pvc2 created
persistentvolumeclaim/pvc3 created

#檢視pvc
[root@master ~]# kubectl get pvc -n dev 
NAME   STATUS    VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
pvc1   Bound     pv1      1Gi        RWX                           10s
pvc2   Bound     pv2      2Gi        RWX                           9s
pvc3   Pending                                                     9s

#檢視pv
[root@master ~]# kubectl get pv -o wide
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM      STORAGECLASS   REASON   AGE   VOLUMEMODE
pv1    1Gi        RWX            Retain           Bound       dev/pvc1                           19m   Filesystem
pv2    2Gi        RWX            Retain           Bound       dev/pvc2                           19m   Filesystem
pv3    3Gi        RWX            Retain           Available                                      19m   Filesystem

建立pods.yaml，使用pv

apiVersion: v1
kind: Pod
metadata: 
  name: pod1
  namespace: dev
spec:
  containers:
  - name: busybox
    image: busybox:1.30
    command: ["/bin/sh","-c","while true;do echo pod1 >> /root/out.txt;sleep 10; done;"] #初始命令，動態讀取指定檔案中內容
    volumeMounts: 
    - name: volume
      mountPath: /root/
  volumes:
  - name: volume
    persistentVolumeClaim:
      claimName: pvc1
      readOnly: false

---

apiVersion: v1
kind: Pod
metadata: 
  name: pod2
  namespace: dev
spec:
  containers:
  - name: busybox
    image: busybox:1.30
    command: ["/bin/sh","-c","while true;do echo pod2 >> /root/out.txt;sleep 10; done;"] #初始命令，動態讀取指定檔案中內容
    volumeMounts: 
    - name: volume
      mountPath: /root/
  volumes:
  - name: volume
    persistentVolumeClaim:
      claimName: pvc2
      readOnly: false

使用配置檔案

[root@master ~]# vim pods.yaml 
[root@master ~]# kubectl create -f pods.yaml 
pod/pod1 created
pod/pod2 created
[root@master ~]# kubectl get pod -n dev
NAME   READY   STATUS    RESTARTS   AGE
pod1   1/1     Running   0          99s
pod2   1/1     Running   0          99s

檢視掛載狀況

#檢視pv1
[root@master ~]# ls /root/data/pv1
out.txt
[root@master ~]# tail -f /root/data/pv1/out.txt 
pod1
pod1
pod1
pod1
pod1
pod1

#檢視pv2
[root@master ~]# ls /root/data/pv2
out.txt
[root@master ~]# tail -f /root/data/pv2/out.txt 
pod2
pod2
pod2
pod2
pod2

刪除pv和pvc

[root@master ~]# kubectl delete -f pods.yaml 
pod "pod1" deleted
pod "pod2" deleted
[root@master ~]# kubectl delete -f pvc.yaml 
persistentvolumeclaim "pvc1" deleted
persistentvolumeclaim "pvc2" deleted
persistentvolumeclaim "pvc3" deleted

檢視pv狀態，可以發現pv1和pv2已被釋放

[root@master ~]# kubectl get pv
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM      STORAGECLASS   REASON   AGE
pv1    1Gi        RWX            Retain           Released    dev/pvc1                           24h
pv2    2Gi        RWX            Retain           Released    dev/pvc2                           24h
pv3    3Gi        RWX            Retain           Available                                      24h

生命週期

PVC和PV是一一對應的，PV和PVC之間的相互作用遵循以下生命週期：

資源供應：管理員手動建立底層儲存和PV
資源繫結：使用者建立PVC，k8s負責根據PVC的宣告去尋找PV，並繫結

　　在使用者定義好PVC之後，系統將根據PVC對儲存資源的請求在已存在的PV種選擇一個滿足條件的

一旦找到，就將該PV與使用者定義的PVC進行繫結，使用者的應用就可以使用這個PVC了
如果找不到，PVC則會無限處於Pending狀態，直到等到系統管理員建立了一個符合其要求的PV

　　PV一旦繫結到某個PVC上，就會被這個PVC獨佔，不能再與其他PVC進行繫結了

資源使用：使用者可在pod中像volume一樣使用pvc

　　Pod使用volume的定義，將pvc掛載到容器內的某個路徑進行使用

資源釋放：使用者刪除pvc來釋放pv

　　當儲存資源使用完畢之後，使用者可以刪除pvc，與該pvc繫結的pv將會被標記為“已釋放”，但還不能立刻與其他PVC進行繫結。通過之前PVC寫入的資料可能還被留在儲存裝置上，只有在清除之後該PV才　　　　能再次使用

資源回收：k8s根據pv設定的回收策略進行資源的回收

　　對於pv，管理員可以設定回收策略，用於設定與之繫結的pvc釋放資源之後如何處理遺留資料的問題。只有PV的儲存空間完成回收，才能供新的PVC繫結和使用

k8s之資料儲存-配置儲存
2021-08-19
K8S
高階儲存知識
2015-02-12
Flutter持久化儲存之資料庫儲存
2019-03-08
Flutter持久化資料庫
IOS資料儲存之檔案沙盒儲存
2016-05-11
iOS
Hive之資料儲存
2017-09-18
Hive
資料成本：雲端儲存成本高嗎如何節省資料儲存成本
2022-05-12
Android中的資料儲存之檔案儲存
2020-03-11
Android
雲原生儲存詳解：容器儲存與 K8s 儲存卷
2020-06-23
K8S
儲存資料之SharedPreference
2019-02-28
IOS資料儲存之NSUserDefaults
2016-05-10
iOS
Android資料儲存之SharedPreferences及如何安全儲存
2016-05-15
Android
資料儲存
2016-12-28
K8S之Volume儲存
2020-10-02
K8S
聚焦資料時代新儲存需求，浪潮儲存的新儲存之道
2020-12-03
資料儲存(1)：從資料儲存看人類文明-資料儲存器發展歷程
2020-07-27
資料儲存--面向列的儲存設計
2018-01-22
資料儲存(歸檔解檔，沙河儲存)
2018-03-27
展望2015儲存趨勢浪潮將發力高階儲存
2015-01-28
IOS資料儲存之Sqlite資料庫
2016-05-12
iOSSQLite資料庫
IOS資料儲存之FMDB資料庫
2016-05-14
iOS資料庫
資料儲存：CoreData
2019-03-05
iOS 資料儲存
2022-07-18
iOS
IOS資料儲存
2016-10-12
iOS
大資料儲存平臺之異構儲存實踐深度解讀
2018-06-06
大資料
Flutter持久化儲存之檔案儲存
2019-03-06
Flutter持久化
《資料儲存》之《分庫，分表》
2021-07-20
海量資料儲存之動態SchemaOU
2022-03-21
MaxCompute實戰之資料儲存
2016-08-30
greenDAO資料庫之修改儲存地址
2018-05-20
資料庫
安卓開發之資料儲存方式
2016-07-27
安卓
資料儲存-領存高速海量資料記錄儲存模組產品介紹
2021-04-08
塊儲存檔案儲存物件儲存
2020-05-28
物件
Python中高階資料儲存及應用
2019-04-05
Python
IOS高階程式設計之二：IOS的資料儲存與IO
2015-05-05
iOS程式設計
SRAM資料儲存原理
2020-06-05
TiDB資料儲存
2020-10-13
TiDB
java 資料儲存方式
2017-09-22
Java
列式儲存資料庫
2015-04-20
資料庫

k8s之資料儲存-高階儲存

PV和PVC

PV

關鍵配置引數

實驗

PVC

關鍵配置引數

實驗

生命週期

相關文章