GFS與RHCS安裝記錄(轉)

GFS與RHCS安裝記錄(轉)[@more@]硬體環境 ：雙 AMD 275HE雙核CPU/4G記憶體/73G scsi
作業系統 ：RedHat AS 4 update 2
核心版本 ：2.6.9-22.ELsmp

1. 到redhat 網站上下載相應的Cluster Suite/GFS軟體。由於沒有註冊號，無法透過up2date升級，因此會比較麻煩。
到ftp: //ftp.redhat.com/pub/redhat/linux/updates/enterprise/4AS/en/下載相應的RHCS和 RHGFS的src.rpm檔案，在一個目錄下，往往有相同軟體的幾個版本存在。以下安裝筆記中所使用的軟體是以RHAS4 U2為準。
1.1 安裝cman-kernel-2.6.9-39.5.src.rpm
rpm -iv cman-kernel-2.6.9-39.5.src.rpm
cd /usr/src/redhat/SPECS
rpmbuild -ba --nodeps cman-kernel.spec #加--nodeps 的原因是提示，kernel-hugemem-devel = 2.6.9-22.EL is needed，嘗試解決未果，放棄。希望不會出現問題。
cd /usr/src/redhat/RPMS/x86_64/
rpm -ivh cman-ker*

1.2 安裝magma-1.0.1-4.src.rpm
rpm -iv magma-1.0.1-4.src.rpm
cd /usr/src/redhat/SPECS
rpmbuild -ba magma.spec
cd /usr/src/redhat/RPMS/x86_64/
rpm -ivh magma*

1.3 安裝dlm-kernel-2.6.9-37.7.src.rpm
rpm -iv dlm-kernel-2.6.9-37.7.src.rpm
cd /usr/src/redhat/SPECS
rpmbuild -ba --nodeps dlm-kernel.spec
cd /usr/src/redhat/RPMS/x86_64/
rpm -ivh dlm-kern*

1.4 安裝dlm-1.0.0-5.src.rpm
rpm -iv dlm-1.0.0-5.src.rpm
cd /usr/src/redhat/SPECS
rpmbuild -ba dlm.spec
cd /usr/src/redhat/RPMS/x86_64/
rpm -ivh --nodeps dlm-1.0.0-5.x86_64.rpm
rpm -ivh dlm-debuginfo-1.0.0-5.x86_64.rpm
rpm -ivh dlm-devel-1.0.0-5.x86_64.rpm

1.5 安裝ccs-1.0.2-0.src.rpm
rpm -iv ccs-1.0.2-0.src.rpm
cd /usr/src/redhat/SPECS
rpmbuild -ba ccs.spec
cd /usr/src/redhat/RPMS/x86_64/
rpm -ivh ccs*


1.6 安裝gulm-1.0.4-0.src.rpm
rpm -iv gulm-1.0.4-0.src.rpm
cd /usr/src/redhat/SPECS
rpmbuild -ba gulm.spec
cd /usr/src/redhat/RPMS/x86_64/
rpm -ivh gulm-*

1.7 安裝magma-plugins-1.0.2-0.src.rpm
rpm -iv magma-plugins-1.0.2-0.src.rpm
cd /usr/src/redhat/SPECS
rpmbuild -ba magma-plugins.spec
cd /usr/src/redhat/RPMS/x86_64/
rpm -ivh magma-plugins*

1.8 安裝cman-1.0.11-0.src.rpm
rpm -iv cman-1.0.11-0.src.rpm
cd /usr/src/redhat/SPECS
rpmbuild -ba cman.spec
cd /usr/src/redhat/RPMS/x86_64/
rpm -ivh cman-*

1.9 安裝fence-1.32.10-0.src.rpm
rpm -iv fence-1.32.10-0.src.rpm
cd /usr/src/redhat/SPECS
rpmbuild -ba fence.spec
cd /usr/src/redhat/RPMS/x86_64/
rpm -ivh fence-*

1.10 安裝iddev-2.0.0-3.src.rpm
rpm -iv iddev-2.0.0-3.src.rpm
cd /usr/src/redhat/SPECS
rpmbuild -ba iddev.spec
cd /usr/src/redhat/RPMS/x86_64/
rpm -ivh iddev-*

1.11 安裝perl-Net-Telnet-3.03-1.2.el4.rf.src.rpm
可從 ... -1.2.el4.rf.src.rpm 下載
rpm -iv perl-Net-Telnet-3.03-1.2.el4.rf.src.rpm
cd /usr/src/redhat/SPECS
rpmbuild -ba perl-Net-Telnet.spec
cd /usr/src/redhat/RPMS/noarch/
rpm -ivh perl-Net-Telnet-3.03-1.2.el4.rf.noarch.rpm



1.13 安裝piranha-0.8.1-1.src.rpm
rpm -iv piranha-0.8.1-1.src.rpm
cd /usr/src/redhat/SPECS
rpmbuild -ba piranha.spec
cd /usr/src/redhat/RPMS/x86_64/
rpm -ivh piranha-* --nodeps

1.14 安裝rgmanager-1.9.38-0.src.rpm
rpm -iv rgmanager-1.9.38-0.src.rpm
cd /usr/src/redhat/SPECS
rpmbuild -ba rgmanager.spec
cd /usr/src/redhat/RPMS/x86_64/
rpm -ivh rgmanager-*

1.15 安裝system-config-cluster-1.0.16-1.0.src.rpm
rpm -iv system-config-cluster-1.0.16-1.0.src.rpm
cd /usr/src/redhat/SPECS
rpmbuild -ba system-config-cluster.spec
cd /usr/src/redhat/RPMS/noarch/
rpm -ivh system-config-cluster-1.0.16-1.0.noarch.rpm

1.16 安裝GFS-kernel-2.6.9-42.1.src.rpm
rpm -iv GFS-kernel-2.6.9-42.1.src.rpm
cd /usr/src/redhat/SPECS
rpmbuild -ba --nodeps GFS-kernel.spec
cd /usr/src/redhat/RPMS/x86_64/
rpm -ivh GFS-kern*

1.17 安裝GFS-6.1.2-0.src.rpm
rpm -iv GFS-6.1.2-0.src.rpm
cd /usr/src/redhat/SPECS
rpmbuild -ba GFS.spec
cd /usr/src/redhat/RPMS/x86_64/
rpm -ivh GFS-6.1.2-0.x86_64.rpm
rpm -ivh GFS-debuginfo-6.1.2-0.x86_64.rpm


1.18 安裝gnbd-kernel-2.6.9-9.12.src.rpm
rpm -iv gnbd-kernel-2.6.9-9.12.src.rpm
cd /usr/src/redhat/SPECS
rpmbuild -ba --nodeps gnbd-kernel.spec
cd /usr/src/redhat/RPMS/x86_64/
rpm -ivh gnbd-kern*

1.19 安裝gnbd-1.0.1-1.src.rpm
rpm -iv gnbd-1.0.1-1.src.rpm
cd /usr/src/redhat/SPECS
rpmbuild -ba gnbd.spec
cd /usr/src/redhat/RPMS/x86_64/
rpm -ivh gnbd-1.0.1-1.x86_64.rpm
rpm -ivh gnbd-debuginfo-1.0.1-1.x86_64.rpm

1.20 安裝lvm2-cluster-2.01.14-1.0.RHEL4.src.rpm
rpm -iv lvm2-cluster-2.01.14-1.0.RHEL4.src.rpm
cd /usr/src/redhat/SPECS
rpmbuild -ba lvm2-cluster.spec
cd /usr/src/redhat/RPMS/x86_64/
rpm -ivh lvm2-cluster*

1.21 安裝rgmanager-1.9.38-0.src.rpm
rpm -iv rgmanager-1.9.38-0.src.rpm
cd /usr/src/redhat/SPECS
rpmbuild -ba rgmanager.spec
cd /usr/src/redhat/RPMS/x86_64/
rpm -ivh rgmanager-*

1.22 安裝ipvsadm-1.24-7.src.rpm
rpm -iv ipvsadm-1.24-7.src.rpm
cd /usr/src/redhat/SPECS
rpmbuild -ba ipvsadm.spec
cd /usr/src/redhat/RPMS/x86_64/
rpm -ivh ipvsadm-*
安裝完畢

2. 完成GFS server的配置（該文章參考suran007 的GFS6.1 ON RHAS4 U2安裝文件）

2.1 確保相關裝置的主機名和IP地址的對應關係都在/etc/hosts中
例：
10.1.5.161 host1
10.1.5.162 host2
10.1.5.163 host3 #host3作為gnbd的server

2.2 在host3上配置GFS透過gnbd進行export
啟動gnbd_serv程式
root@host3 # /sbin/gnbd_serv –v –n
匯出裝置
root@host3# gnbd_export -v -e gfs -d /dev/sdb1 –c
檢視export狀態資訊
root@host3# gnbd_export -v -l
完成GFS server，為了使實驗更順利，建議將防火牆停掉 service iptables stop

3. 使用system-config-cluster工具對node1和node2進行配置
在node1的命令格式下輸入：system-config-cluster,進入配置介面
3.1然後在系統中，第一次配置會提示是否要建立配置檔案/etc/cluster/cluster.conf，點選"create "
3.2然後選擇 鎖機制，選擇dlm。
3.3新增cluster nodes。
點選“add a cluster node",新增node1,quorum votes填1。
點選“add a cluster node",新增node2,quorum votes填1。
3.4 新增fence裝置
在”fence device"中，選擇“add a fence device"，這裡新增的是"manual Fencing"，名字任意，這裡寫”web"。
在"cluster Nodes->node1和node2”,中“manange fencing for this node"，選擇”add a fence level"。
3.5 建立"failover domains"
在“manager resource->failover domains"中，”create a failover domain"，名稱為web
點選“manager resource->failover domains->web","edit failover domain propertis"，在"available cluster node2"中，將node1和node2都新增進取。
3.6 建立”resource"
"create a resource"，選擇IP address,地址為“10.1.5.169",後邊的monitor link要選中。
"create a resource"，選擇script，name 為"httpd",script為"/etc/init.d/httpd"。
先儲存，然後將cluster.conf傳到node2相同位置一份。下邊要配置gfs的一些resource，但是前提是cluster mananger的程式需要啟動才能進行設定。
4. 配置GFS引數
啟動cluster程式順序：
service ccsd start
service cman start
service fenced start
service clvmd start
service gfs start
service rgmanager start
然後在node1上，首先
modprobe gnbd
將gfs透過gnbd倒入：gnbd_import -v -i node3
檢查載入狀態：gnbd_import -v -l
modeprobe gfs
gfs_mkfs -p lock_dlm -t cluster1:gfs -j 2 /dev/gnbd/gfs 建立檔案系統
在node2上重複此操作，只是不用再重做建立檔案系統的操作
再開啟system-config-cluster，
接著建立"resource"
"create a resource"，選擇GFS,name "web_content",mount point:"/gfs",device:"dev/gnbd/gfs"。

5.配置service
由於是為了實現httpd的叢集，因此需要對/etc/httpd/conf/httpd.conf一些內容進行修改，包括
設定監聽地址為floating ip：Listen 10.1.5.169:80
修改DocumentRoot 為"/gfs/"

同時chkconfig httpd off,將httpd 的自啟動關閉
"service","create a service", name設為httpd。
failover domain為 web。
點”add a shared resource to this service" ,首先把ip address加入。
選擇”10.1.5.169 ip address share",然後再“attach a shared resource to the selecetion",分別新增剛才設的script和gfs的resource。
儲存配置,並複製該檔案到node2。

分別重新啟動程式：
service rgmanager stop
service gfs stop
service clvmd stop
service fenced stop
service cman stop
service ccsd stop

service ccsd start
service cman start
service fenced start
service clvmd start
service gfs start
service rgmanager start

6. 開啟service
開啟，system-config-cluster，如果剛才的管理程式都正常的話，將會有cluster management的tab。
在service 中，點選httpd 按"enable"啟動。

debug技巧：如果無法正常啟動，嘗試著去掉一些resource，然後再看是否正常啟動，來定位故障。