預安裝RAC的ServiceGuard配置

1． 以root使用者修改/etc/lvmrc檔案
對應需要做成共享的VG，先要求關閉其開機自動active的設定。
你必須保證這些VG在SG啟動的時候啟用。
        備份/etc/lvmrc檔案
        # cp /etc/lvmrc /etc/lvmrc_orig
        修改/etc/lvmrc檔案
        From:
          AUTO_VG_ACTIVATE=1
        To:
          AUTO_VG_ACTIVATE=0
在檔案/etc/lvmrc 中新增custom_vg_activation功能模組，
此處為非shared的VG設定。（也可以不做）
    custom_vg_activation()
    {
    # e.g. /sbin/vgchange -a y -s
    # parallel_vg_sync "/dev/vg00 /dev/vg01"
    # parallel_vg_sync "/dev/vg02 /dev/vg03"
    /sbin/vgchange -a y vg00
    /sbin/vgchange -a y vg01
    /sbin/vgchange -a y vg02
    /sbin/vgchange -a y vg03
    return 0
}

2．建立共享邏輯卷組
  主節點上：
  # 初始化PV
    pvcreate -f /dev/rdsk/c0t12d0
  # 在/dev目錄新增用於VG的目錄
  mkdir /dev/vg_ops
  # Major number必須為64，minor number是2為16進位制數字，作為唯一標識
  mknod /dev/vg_ops/group c 64 0x060000
  # 建立VG
  vgcreate /dev/vg_ops /dev/dsk/c0t12d0
  # 啟用VG
  vgchange -a y vg_ops                                 
  # 建立LV
  lvcreate -n P901_control_01.ctl -L 110 /dev/vg_ops
  lvcreate -n P901_control_02.ctl -L 110 /dev/vg_ops
    lvcreate -n P901_control_03.ctl -L 110 /dev/vg_ops
    lvcreate -n P901_system_01.dbf -L 400 /dev/vg_ops
    lvcreate -n P901_log1_01.log -L 120 /dev/vg_ops
    lvcreate -n P901_log1_02.log -L 120 /dev/vg_ops
    lvcreate -n P901_log1_03.log -L 120 /dev/vg_ops
    lvcreate -n P901_log2_01.log -L 120 /dev/vg_ops
    lvcreate -n P901_log2_02.log -L 120 /dev/vg_ops
  lvcreate -n P901_log2_03.log -L 120 /dev/vg_ops
  lvcreate -n P901_spfile1.dbf -L 5 /dev/vg_ops
  lvcreate -n P901_users_01.dbf -L 120 /dev/vg_ops
    lvcreate -n P901_temp_01.dbf -L 100 /dev/vg_ops
  lvcreate -n P901_undotbs_01.dbf -L 312 /dev/vg_ops
  lvcreate -n P901_undotbs_02.dbf -L 312 /dev/vg_ops
  lvcreate -n P901_example_01.dbf -L 160 /dev/vg_ops
  lvcreate -n P901_cwmlite_01.dbf -L 100 /dev/vg_ops
  lvcreate -n P901_indx_01.dbf -L 70 /dev/vg_ops
  lvcreate -n P901_tools_01.dbf -L 20 /dev/vg_ops
  lvcreate -n P901_drsys_01.dbf -L 90 /dev/vg_ops
  
# 解除VG的active狀態
vgchange -a n vg_ops
# 建立LV的map檔案
vgexport -v -s -p -m /tmp/vg_ops.map /dev/vg_ops
# 複製map檔案到其它節點
rcp /tmp/vg_ops.map opcbhp2:/tmp/vg_ops.mapOn the other nodes:
mkdir /dev/vg_ops
mknod /dev/vg_ops/group c 64 0x060000
# 在其它節點建立VG和LV
vgimport -v -s -m /tmp/vg_ops.map /dev/vg_ops  
  # 在所有節點配置相應VG和LV的許可權和屬主
  # chown oracle:dba /dev/vg_ops/r*
# remsh nodehp2 chown oracle:dba /dev/vg_ops/r*
# chmod 777 /dev/vg_ops
# remsh nodehp2 chmod 777 /dev/vg_ops
# chmod 660 /dev/vg_ops/r*
# remsh nodehp2 chmod 660 /dev/vg_ops/r*  
Note:  在建立VG的時候，要注意minor number的唯一性，常用以下命令：
    # find /dev -name group -exec ls -l {} \;
    crw------- 1 root sys 64 0x060000 May 6 07:52 /dev/vg_ops/group
在該例子中"vg_ops"為"0x060000"，所以"0x060000"不能用於建立其它VG，合法的minor numbers的範圍是從"0x010000"到"0xFF0000"。

3．叢集軟體ServiceGuard的安裝
由供應商安裝，Oracle 10gR2的RAC要求Serviceguard Extension for RAC的版本必須A.11.16.00以上，也包含A.11.16.00版本。
4．規劃叢集環境
1）配置叢集：
使用cmquerycl去建立一個叢集配置檔案
Cmquerycl命令必須在主節點上進行
     # cmquerycl -v -C /etc/cmcluster/cmclconf.ascii -n nodehp1 -n nodehp2
2）修改叢集配置檔案
CLUSTER_NAME                 # example nodehp
FIRST_CLUSTER_LOCK        # /dev/vg_ops
FIRST_CLUSTER_PV             # /dev/dsk/c0t12d0
OPS_VOLUME_GROUP         # /dev/vg_ops
DLM_ENABLED                  # NO
GMS_ENABLED                  # NO
FIRST_CLUSTER_LOCK, FIRST_CLUSTER_PV = 叢集lock卷組和磁碟作為表決用途。表決VG和磁碟必須能被所有節點訪問（用共享VG就可以）。一個節點倒掉，會要求表決VG的處理。
OPS_VOLUME_GROUP = 所有共享VG
DLM_ENABLED and GMS_ENABLED = NO (8.1.7版本以後均設為NO)
3）使用cmcheckconf命令驗證叢集配置檔案
      # cmcheckconf -v -C /etc/cmcluster/cmclconf.ascii
4）使用vgchange來啟用lock卷組
      # vgchange -a y vg_ops
5）使用cmapplyconf複製叢集配置檔案到所有節點
      # cmapplyconf -v -C /etc/cmcluster/cmclconf.ascii
6）使用vgchange解除lock卷組的啟用狀態
      # vgchange -a n vg_ops

5．基本叢集管理
1）啟動叢集：
     # cmruncl
2）使用vgchange在主節點設定共享VG
     # vgchange -S y -c y vg_ops
3）使用vgchange在每個節點啟用共享VG
     # vgchange -a s vg_ops
     # remsh nodehp2 /usr/sbin/vgchange -a s vg_ops
4）使用cmhaltcl關閉叢集或者使用cmhaltnode從叢集移除節點
     # cmhaltnode
5）使用cmrunnode新增節點到叢集
     # cmrunnode
6）使用cmhaltpkg，cmrunpkg及cmmodpkg管理叢集的pkg，也可用於叢集節點的恢復，可參照線上手冊使用。

6．Log Files for Cluster
/var/adm/syslog/syslog.log包含HP Serviceguard Extension for RAC的系統資訊