雙機備份原理：在2個主機節點上分別安裝叢集軟體(如：HP ServiceGuard)，對客戶端配置一個浮動IP，浮動意思是該IP地址適時繫結在2個節點中的某一個上，但該IP對客戶端是固定的。每個節點配置3塊網路卡，分別是資料網路卡，心跳訊號網路卡，以及一塊對資料和心跳備份的網路卡。資料和心跳網路卡需要配置IP地址，備份網路卡不配，當資料或心跳網路卡失效，備份網路卡自動接管資料或心跳網路卡IP地址。當ServieGuard啟動後，一旦主節點發生異常，如主節點停機、應用的關鍵程式退出、網路中斷等情況發生，備節點立即啟動預設的應用程式，同時將浮動IP繫結到備節點上，整個主備機切換時間大概在2分鐘內完成，切換後，客戶端透過浮動IP透明地連線到備機上。當主節點故障排除後，是否要將備節點重新切換到主節點有2個策略，一是手工切換，二是自動切換，預設是手工切換。

ServiceGuard軟體的組成：
軟體元件
Package Manager 執行包管理器
Cluster Manager 叢集管理器
Network Manager 網路管理器

主要後臺程式
cmcld:節點守護程式，負責傳送心跳訊號、管理本地網路、以及負責執行包的管理
cmlogd:負責在系統日誌（syslog）中記錄資訊
cmlvmd:監控所有屬於叢集控制的卷組(VG)的狀態
cmsrvassistd:負責包啟動、停止指令碼以及服務程式的執行

叢集的結構組成
1、節點：構成叢集的主機。一個叢集中允許的節點數量是2—16個
2、執行包：執行包裡面包含使用者的應用程式，以及為該應用程式所分配的資源。報執行在某個執行的節點上，並且可以在節點間進行切換。
有關包（package）的一些概念
1、包含應用程式
2、分配相應資源：①卷組、邏輯卷和檔案系統 ②浮動IP地址 ③應用程式的啟動和停止指令碼 ④服務程式
規則是：分配給一個包的資源不能再分配給其他包；同一時間一個包只能執行在一個節點上
浮動IP的概念
浮動IP是分配給每個應用程式（執行包）的。如果要訪問一個應用程式，則需要連線浮動IP地址。只需連結這個地址，而不管它實際上是在哪臺主機或那塊網路卡上。

浮動IP必須載入在具有同網段靜態IP地址的網路卡上，當發生本機網路卡切換時，浮動IP會和靜態IP一起被載入到備用網路卡上。

構成叢集的硬體條件
1、主機：多臺主機構成叢集，每臺主機必須擁有自己獨立的根盤，強烈建議映象。
2、資料磁碟：由於MC/SG不能對資料磁碟故障作出響應，需要使用高可用性的磁碟陣列或對資料盤進行映象。
3、網路：MC/SG中的network manager可以對網路故障作出響應。需要配置冗餘的網路裝置（網線、交換機、網路卡等）。

叢集配置—相關檔案
1、/etc/cmcluster/cluster.ascii
叢集配置檔案，包含節點組成、卷組指定和相關引數設定等
2、/etc/cmcluster/cmclconfig
叢集二進位制檔案，由配置檔案編譯而成，包含叢集的全部資訊
3、/etc/cmcluster/mscppkg/mscppkg.conf
包配置檔案，指定包所在的節點、監控網段、切換模式等引數資訊
4、/etc/cmcluster/mscppkg/control.sh
包控制檔案，指定包所擁有的各種資源
5、/etc/cmcluster/mscppkg/control.sh.log
包執行時記錄的日誌
6、/etc/cmcluster/mscppkg/start_mscp.sh
包啟動時用於啟動應用程式的指令碼
7、/etc/cmcluster/mscppkg/stop_mscp.sh
包停止時用於停止應用程式的指令碼
8、/etc/cmcluster/mscppkg/mscp_service.sh
包服務指令碼，執行程式監控及其它客戶化的功能

MC/SG執行過程---啟動過程
啟動叢集
1、在每個節點上啟動守護程式cmcld
2、所有cmcld執行正常的節點組成叢集

啟動包
1、啟用卷組，載入浮動IP，掛起檔案系統
2、執行應用程式啟動程式（start_mscp.sh）
3、執行服務(mscp_service.sh)

MC/SG執行過程---停止過程
停止包
1、停止服務（mscp_service.sh）
2、執行應用程式停止指令碼（stop_mscp.sh）
3、卸下檔案系統，解除安裝浮動IP去啟用卷組

停止叢集
1、在每個節點上停止守護程式cmcld

叢集相關命令
啟動叢集：cmruncl –v 停止叢集：cmhaltcl –v（若有包執行，加-f引數）只在一個節點上啟動叢集：cmruncl –n 節點名觀察整個叢集狀態：cmviewcl –v

執行包相關命令
啟動包：cmrunpkg –v –n 節點名包名停止包：cmhaltpkg –v 包名
設定包的自動切換屬性：cmmodpkg –e 包名（允許包在節點之間自動切換）
cmmodpkg –e –n 節點名包名（允許包在該節點上啟動）

執行包管理---手工切換包例項
將包scppkg從mscp1切換到mscp2:
步驟一：在任意主機上執行
cmhaltpkg –v scppkg
步驟二：在任意主機上執行
cmrunpkg –v –n scp2 scppkg
步驟三：在任意主機上執行
cmmodpkg –e scppkg

日誌檢查---系統日誌
/var/adm/syslog/syslog.log 系統日誌

日誌檢查---包日誌
/etc/cmcluster/mscppkg/control.sh.log 包執行日誌

應急處理方案
如果出現緊急情況，需要脫離雙機軟體直接啟動應用程式
1、執行vgchange –c n vgdata，讓vg脫離MC的控制
2、執行vgchange –a y vdata 啟用vg
3、執行ifconfig lan 1:1 inet 129.9.168.120 netmask 255.255.255.0手動將浮動IP繫結在網路卡上
4、執行/etc/cmcluster/pkg/裡的包啟動指令碼或直接執行相關命令啟動應用及資料庫

雙機配置恢復後
1、停止資料庫和應用
2、執行ifconfig lan 1:1 0.0.0.0，刪除浮動IP
3、執行vgchange –a n vgdata去啟用vg
4、執行cmruncl –v啟動叢集，第一次啟動會由於vg不能被MC控制使得包無法啟動
5、在叢集處於running狀態時，執行vgchange –c y vgdata將vg加入MC控制
6、執行cmrunpkg –v pkg,啟動包

————————————————————————————————————————————

HP cluster的硬體配置及使用

13.5.1 開關機步驟

開機--開啟外設電源(如磁碟陣列等等)_開啟主機電源_ 等待 7 分鐘左右，系統就緒。
關機--以 root 使用者登入 (user：root passwd：root)_關閉Cluster ，鍵入cmhaltcl–f 鍵入 shutdown –hy 0 等待 20 秒_ 關閉主機電源_關閉外設電源

13.5.2 HP cluster配置

HP cluster 基本的硬體配置是：兩臺hp9000 小型機，一臺磁碟櫃，磁碟櫃可以是硬碟映象，也可以是AutoRaid( 這裡以映象為例，磁碟陣列有兩個硬碟/dev/dsk/c0t5d0, /dev/dsk/c1t5d0)小型機的基本網路配置是每臺機器三塊網路卡。在配置時，第一、二兩塊網路卡配置IP 地址，但第三塊網路卡不配IP 地址。另外，網路連線需用兩臺HUB，第一塊網路卡lan0 之直連，第二塊網路卡lan1 接在第一個HUB上，第三塊網路卡接在第二個HUB 上，兩臺HUB 直連。

1．檢查雙機的硬體配置：

用 lanscan 以及 netstat –ni 命令結合檢視每塊網路卡具體物理位置所對應的IP 地址、子網等，舉例如下：
lanscan
ardware Station Crd Hdw Net-Interface NM MAC HP-DLPI LPI
ath Address In# State NamePPA ID Type Support Mjr#
/0/0/0 0x001083FF0BF7 0 UP lan0 snap0 1 ETHER Yes 19
/5/0/0 0x001083FBA86D 1 UP lan1 snap1 2 ETHER Yes 19
/12/0/0 0x001083FB68E9 2 UP lan2 snap2 3 ETHER Yes 19
Hardware Path 就對應每塊網路卡的硬體地址，如0/0/0/0、0/5/0/0、1/12/0/0一共是三塊網路卡的SLOT 號，分別對應lan0、lan1、lan2。在HP 伺服器後面網路卡槽位旁邊以查到Path 號，就可以知道哪塊網路卡對應lan0、lan1、lan2，同時可以看到網路卡的鏈路層地址（Station Address）。
IN-212-C1 HP-UX 系統管理
然後再鍵入netstat –ni，可以看到如下結果：
# netstat –ni
Name Mtu Network Address Ipkts Opkts
lan2* 1500 none none 0 0 備份
lan1 1500 214.216.1.0 214.216.1.134 155322 19407 資料線
lan0 1500 168.1.0.0 168.1.7.101 63392 36547 心跳線
lo0 4136 127.0.0.0 127.0.0.1 19682 19682

2．檢查雙機的軟體配置：

HP 伺服器上需有以下軟體（使用swlist 命令來檢視）：
檢查雙機的軟體配置：HP9000 伺服器上需有以下軟體：
HPUXENG32(64)RT B.11.0 HP-UX 作業系統
HPUXSCh32(64)RT B.11.0 HP-UX 作業系統簡體中文環境
UXCoreMedia-S B.11.0 HP-UX 簡體中文media 工具
B3935B(D)A A.11.08 MC/Service Guard 11.08 cluster 雙機配置軟體
B3919EA_B9U B.11.00 Special Edition HP-UX Unlimited-User Lic
B2491BA B.11.00 MirrorDisk /UX（磁碟採用鏡象方式才要）
HP C/ANSI C Developer’s Bundle for HP-UX 11.00(S800) ---- cc 編譯器
若沒有以上軟體，請安裝以上軟體。檢查以上軟體是否存在，使用swlist
|more 命令來檢視是否有以下軟體。

3．其它準備

njzx11 與njzx22 應能互相ping 通168.1.7 網段，214.216 網段的地址。
檢查/etc/hosts 檔案中是否配置兩機器的機器名njzx11，njzx22 及對應的ip
地址，應該如下：
njzx11
njzx22
214.216.1.133 scp

第13 章 HP Cluster 簡介
此時，在兩臺機器上ping 機器名應能ping 通。
檢查/目錄下的.rhosts 檔案是否配置兩機器的機器名njzx11, njzx22，配置應
該如下：
njzx11
njzx22
此時，在兩臺機器上rcp, rlogin 命令應可以使用

4．配置 cluster(以njzx11 為主機，njzx22 為備機)
在njzx11 上操作：
# cd /dev
# mkdir vgsybase
# ll /dev/*/group
crw-r----- 1 root sys 64 0x000000 Nov 29 19:26 /dev/vg00/group
crw-rw-rw- 1 root sys 64 0x020000 Dec 21 10:56 /dev/vgsybase/group
T．在/dev 下建vgsybase 目錄
找一未使用的數字，比如0x010000，作為所建立的vg 的唯一標誌。
# mknod /dev/vgsybase/group c 64 0x01000 ；建裝置檔案
# pvcreate –f /dev/rdsk/c0t5d0 ；在/dev/dsk/c0t5d0 上建pv
# pvcreate –f /dev/rdsk/c1t5d0 ；在/dev/dsk/c1t5d0 上建pv
# vgcreate /dev/vgsybase /dev/dsk/c0t5d0 /dev/dsk/c1t5d0；建立vg 使用硬碟映象：
# lvcreate –L 100 -n sybdev -m 1 -s y /dev/vgsybase ；建lv, lv 名為sybdev
不使用硬碟映象：
# lvcreate –L 100 -n sybdev /dev/vgsybase ；建lv, lv 名為sybdev
# vgchange –a n vgsybase ；改變vgsybase 狀態為no active
# vgexport –p –s –m /tmp/mapfile /dev/vgsybase ；將vgsybse 的配置資訊存入mapfile
# rcp /tmp/mapfile njzx22:/tmp ；將mapfile 複製到njzx22
IN-212-C1 HP-UX 系統管理
上在njzx22 上操作：
# cd /dev
# mkdir vgsybase
# mknode /dev/vgsybase/group c 64 0x010000
# vgimport –s –m /tmp/mapfile /dev/vgsybase
在njzx11 上操作：
# cd /etc/cmcluster
# cmquerycl –n njzx11 –n njzx22 –C cmzxin.ascii ;生成cluster 預設檔案
cmzxin.ascii
# 編輯cmzxin.ascii 檔案，編輯cluster name ： zxcluster ，引數
MAX_configused_packages = 0，有幾個應用，MAX_configused_packages就為幾，現在改為3
# cmcheckcong -C /etc/cmcluster/cmzxin.ascii ；檢查cluster 配置檔案
# cmapplyconf -C /etc/cmcluster/cmzxin.ascii ；裝載cluster，將
cmzxin.config 檔案分發到兩臺機器上。
# cmruncl ；啟動cluster
# cmview –v ；觀察cluster 的狀態
# cmhaltcl –f ；停止cluster
# cd /etc/cmcluster/zxin10
# 編輯zxin.conf 檔案
FAILBACK_POLICY AUTOMATIC
NODE_NAME njzx11
NODE_NAME njzx22
SUBNET 214.216.1.0

# 編輯zxin.cntl 檔案，改LV, FS 的配置與應用有關
LV[0]=/dev/vgsybase/sybdev6; FS[0]=/data; FS_MOUNT_OPT[0]="-o rw"
IP[0]=214.216.1.133
SUBNET[0]=214.216.1.0

第13 章 HP Cluster 簡介

其中 LV（0）對應前面所創的sybdev6，可根據實際情況做修改
IP〔0〕對應虛擬IP 地址，SUBNET〔0〕對應子網
# cp zxin10.sh.test zxin10.sh ；zxin10.sh.test 為cluster 的測試檔案，正式文
件為zxin10.sh.run
# rcp * njzx22:/etc/cmcluster/zxin10
# cmcheckconf -C /etc/cmcluster/cmzxin.ascii –P zxin10.conf
# cmapplyconf -C /etc/cmcluster/cmzxin.ascii –P zxin10.conf
# cmruncl ；啟動cluster
# cmview –v ；觀察cluster 的狀態
當使用zxin10.sh.test 檔案測試cluster 時，殺掉njzx11 上的程式testcluster，
過一分鐘，在njzx22 上如果testcluster 能起來則cluster 倒換成功。

13.5.3 操作維護
1．啟動 Cluster
以 root 使用者登入_ 鍵入 cmruncl _ 等待 10 秒，Cluster 就緒
2．關閉 Cluster
以 root 使用者登入_ 鍵入 cmhaltcl –f _ 等待 10 秒，Cluster 關閉
3．檢視 Cluster 執行狀態
以 root 使用者登入_ 鍵入 cmviewcl –v
Cluster 健康與否主要看NODE 的狀態，若為up，則執行正常。若為
down 則節點未處於Cluster 中。應用程式執行情況主要看當前的zxin10pkg 執行狀態(STATE)，若為
running，則程式執行正常。若為halting ，則程式處於非執行狀態。
4．應用程式zxin10pkg 的切換
現行的Cluster 配置中，njzx22 為主機，njzx11 為備機。
njzx11_ njzx22：
njzx11 的主機上，鍵入： cmmodpkg –e –n njzx22 –n njzx11–v
zxin10pkg
njzx22_ njzx11：
IN-212-C1 HP-UX 系統管理
njzx22 的主機上，鍵入： su – zxin10 -c superstop
5．不影響程式正常執行的情況下，進行系統維護。(以njzx11 為例)
檢視Cluster 執行狀態，確定zxin10pkg 執行的主機：
1）若 zxin10pkg 執行在hp1 上，則應首先將zxin10pkg 切換至njzx22上。步驟如下：cmmodpkg –e –n njzx22 –v zxin10pkg 等待 20 秒在njzx11 的終端上，鍵入cmhaltnode njzx11 鍵入 shutdown –hy 0 等待 20 秒，關閉系統電源。
2）若 zxin10pkg 執行在njzx22 上，步驟如下：在njzx11 的終端上，鍵入cmhaltnode njzx11 _鍵入 shutdown –hy 0 等待 20 秒，關閉系統電源。不影響程式正常執行的情況下，進行版本更新：
1）檢視 Cluster 執行狀態，確定zxin10pkg 執行的主機。在另外一臺主機上執行如下步驟：將版本原始檔拷入 /home/zxin10/src 目錄下。在/home/zxin10 目錄下，鍵入make Install 打包：tar cvf zxin10.tar * 把包拷入另一臺主機 ( 假定為njzx22): rcp zxin10.tar njzx22:/home/zxin10
2）在 zxin10pkg 執行的主機上，首先將zxin10pkg 切換到另一臺主機上，然後在本機上執行如下步驟： tar xvf zxin10.tar這樣在兩臺主機上完成了版本的更新

HP cluster的硬體配置及使用

相關文章