GPFS 建立 CNFS

學yi，知用發表於2019-03-15
NFS

GPFS 建立 CNFS
2017 年 8 月 15 日 by yaoge123·0評論

GPFS有兩種NFS匯出方式，一是Cluster Export Services (CES) NFS，二是clustered NFS (CNFS)。CNFS使用Linux核心的nfsd，提供了較好小檔案操作效能，當然也只支援NFS。CES使用使用者空間Ganesha的nfsd，連續讀寫效能較好，CES還支援SMB和Object儲存。

CNFS通過動態的調整IP地址來提供NFS的HA，只能提供故障轉移不支援負載均衡，下面以nfs1,nfs2兩個節點配置CNFS為例

確保所有服務端和客戶端節點與同一個時鐘源嚴格同步時間，服務端節點需要mmchlicense server
為了防止故障切換時出現寫入問題，CNFS export共享目錄的檔案系統需指定syncnfs掛載選項
mmchfs fsyaoge123 -o syncnfs
 
	
mmchfs fsyaoge123 -o syncnfs
在每個服務端上面配置相同的/etc/exports，不同目錄的fsid必須不同，不同服務端上面同一個目錄的fsid必須相同，1.1.1.10/1.1.1.11是客戶端IP
/fsayaoge123/nfs 1.1.1.10(ro,fsid=11) 1.1.1.11(rw,fsid=11)

	
/fsayaoge123/nfs 1.1.1.10(ro,fsid=11) 1.1.1.11(rw,fsid=11)
在每個服務端上面設定nfsd自動啟動
systemctl enable nfs-server

	
systemctl enable nfs-server
定義CNFS的共享目錄，最好是一個單獨小的檔案系統且不被NFS共享出去
mmchconfig cnfsSharedRoot=/fs2yaoge123/cnfs
 
	
mmchconfig cnfsSharedRoot=/fs2yaoge123/cnfs
每個服務端使用一個額外的靜態IP(onboot=no)用於NFS共享，注意這個IP不能用於GPFS，將這個interface啟動起來
在每個服務端上進行配置，ip_address_list為上面配置的專用於NFS的ip，node為這個節點在GPFS裡面的主機名
Shell
mmchnode --cnfs-interface=ip_address_list -N node
mmchnode --cnfs-interface=1.1.1.1 -N nfs1  //配置nfs1使用1.1.1.1做為NFS專用IP
 

	
mmchnode --cnfs-interface=ip_address_list -N node
mmchnode --cnfs-interface=1.1.1.1 -N nfs1  //配置nfs1使用1.1.1.1做為NFS專用IP
查一下rpc.mountd繫結的埠號，配置上去
mmchconfig cnfsMountdPort=mountd_port -N node

	
mmchconfig cnfsMountdPort=mountd_port -N node
NFS客戶端掛載時需加選項 -o sync,hard,intr，nfs1為主用
mount -o sync,hard,intr 1.1.1.1:/fsyaoge123/nfs /mnt
 
	
mount -o sync,hard,intr 1.1.1.1:/fsyaoge123/nfs /mnt
測試關機、停止nfsd、停止gpfs三種情況下是否會自動切換

檢視CNFS節點
mmlscluster --cnfs

mmlscluster --cnfs

刪除CNFS節點
mmchnode --cnfs-interface=DELETE -N “nfs1,nfs2”

mmchnode --cnfs-interface=DELETE -N “nfs1,nfs2”

引入：
https://www.yaoge123.com/blog/archives/1293

相關文章