CentOS6環境配置Linux GFS+LVM叢集檔案系統

設定環境如下，兩節點操作共享檔案：

l 192.168.30.206 hdnode4

l 192.168.30.207 hdnode5

l OS：CentOS6.3 + FC-SAN盤櫃

以下操作如非特別註明，則需要在所有的節點上執行。

配置網路

編輯hosts檔案，使兩節點間可通過主機名訪問：

# more /etc/hosts

127.0.0.1   localhost localhost.localdomain

::1         localhost localhost.localdomain 

192.168.30.206 hdnode4

192.168.30.207 hdnode5

安裝叢集檔案系統相關的軟體包

使用yum安裝軟體包：

# yum install cman openais gfs* kmod-gfs lvm2* rgmanager system-config-cluster scsi-target-utils cluster-snmp

停止iptables服務

上述軟體包有眾多的依賴包會被安裝或更新，為避免出現意外情況，建議軟體包安裝後重啟。

修改相關配置

修改/etc/selinux/config中selinux=disabled

修改lvm邏輯卷配置：

# vi /etc/lvm/lvm.conf 

將locking_type = 1，改為locking_type = 3，允啟用同時讀寫。

修改fallback_to_local_locking=0，以禁止回寫，避免導致裂腦。

叢集配置檔案

編輯/etc/cluster/cluster.conf，增加下列內容：

而後可以執行ccs_config_validate命令檢查配置檔案是否合法。

叢集儲存

先手動啟動cman和clvmd命令，以便監控叢集卷的中儲存裝置的狀態：

# service cman start

# service clvmd start

# service rgmanager start

以下操作在節點1端執行：

建立物理卷和卷組和邏輯卷：

# pvcreate /dev/sdc

# vgcreate vg_search1 /dev/sdc

# pvs

  PV         VG         Fmt  Attr PSize    PFree   

  /dev/sdc   vg_search1 lvm2 a--  1020.00m 1020.00m

建立一個200m的邏輯卷：

[root@hdnode4 ~]# lvcreate -L 1000m -n lv_sdisk1 vg_search1

  Logical volume "lv_sdisk1" created

[root@hdnode4 ~]# lvs

  LV        VG         Attr     LSize   Pool Origin Data%  Move Log Copy%  Convert

  lv_sdisk1 vg_search1 -wi-a--- 200.00m   

在新建的邏輯捲上建立gfs2檔案系統：

# mkfs.gfs2 -j 2 -p lock_dlm -t gfs_cluster:data3 /dev/vg_search1/lv_sdisk1

對於mkfs.gfs2命令來說，我們所使用的引數功能如下：

l -p：用來指定gfs的鎖機制，一般情況下會選擇lock_dlm，如果要選擇型別，可以參考：online.

l -j：指定journal個數(可加入節點數)，一般情況下應留有冗餘，否則後期還得再調整；

n 檢視journals：# gfs2_tool journals /data3

n 增加journals：# gfs2_jadd -j1 /data3  ##增加一個journals

l -t：格式為ClusterName:FS_Path_Name

u ClusterName：應與前面cluster.conf中指定的叢集名稱相同；

u FS_Path_Name：這個塊裝置mount的路徑；

l 最後一個引數是指定邏輯卷的詳細路徑；

建立目錄：

# mkdir /data3

將剛剛建立的邏輯卷加入到/etc/fstab檔案中，使其開機自動對映：

# echo "/dev/vg_search1/lv_sdisk1 /data3 gfs2 rw,relatime 0 0" >> /etc/fstab

啟動gfs2服務：

# service gfs2 start

節點2端執行：

操作前可以先執行pvs,lvs命令，看看是否能夠正常顯示節點1端建立的物理卷和邏輯卷資訊，如果看不到(先嚐試lvscan)，則說明並未使用共享儲存，或者配置有異常，仍然需要排查，需要等問題解決後，再執行下列的命令。

# mkdir /data3

# echo "/dev/vg_search1/lv_sdisk1 /data3 gfs2 rw,relatime 0 0" >> /etc/fstab

# service gfs2 start

執行# clustat可以查詢各成員節點的狀態。

[root@hdnode5 ~]# clustat 

Cluster Status for gfs_cluster @ Thu Mar  3 15:47:44 2013

Member Status: Quorate

 Member Name                                                     ID   Status

 ------ ----                                                     ---- ------

 hdnode4                                                             1 Online

 hdnode5                                                             2 Online, Local

在所有節點操作，配置服務的自動啟動，這樣就不必擔心伺服器重啟了：

# chkconfig --add cman

# chkconfig --add clvmd

# chkconfig --add gfs2

# chkconfig --add rgmanager

# chkconfig --level 345 cman on

# chkconfig --level 345 clvmd on

# chkconfig --level 345 gfs2 on

# chkconfig --level 345 rgmanager on