安裝Oracle11.2 RAC for Solaris10 sparc64（五）

簡單記錄一下Solaris 10上Oracle 11.2 RAC環境的安裝過程。

這一篇繼續描述另一個CLUSTER的問題。

安裝Oracle11.2 RAC for Solaris10 sparc64（一）：http://yangtingkun.itpub.net/post/468/515361

安裝Oracle11.2 RAC for Solaris10 sparc64（二）：http://yangtingkun.itpub.net/post/468/515415

安裝Oracle11.2 RAC for Solaris10 sparc64（三）：http://yangtingkun.itpub.net/post/468/515473

安裝Oracle11.2 RAC for Solaris10 sparc64（四）：http://yangtingkun.itpub.net/post/468/515528

第二個問題，在配置GNS的時候，沒有補全域名，導致在執行root.sh時報錯。

Oracle的CLUSTER安裝過程沒有碰到什麼問題，但是執行root.sh時報錯。

節點1執行root.sh指令碼：

# /data/grid/root.sh
Running Oracle 11g root.sh script...

The following environment variables are set as:
    ORACLE_OWNER= oracle
    ORACLE_HOME=  /data/grid

Enter the full pathname of the local bin directory: [/usr/local/bin]:
The file "dbhome" already exists in /usr/local/bin.  Overwrite it? (y/n) [n]: y
   Copying dbhome to /usr/local/bin ...
The file "oraenv" already exists in /usr/local/bin.  Overwrite it? (y/n) [n]: y
   Copying oraenv to /usr/local/bin ...
The file "coraenv" already exists in /usr/local/bin.  Overwrite it? (y/n) [n]: y
   Copying coraenv to /usr/local/bin ...

Entries will be added to the /var/opt/oracle/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root.sh script.
Now product-specific root actions will be performed.
2010-12-13 10:24:23: Parsing the host name
2010-12-13 10:24:23: Checking for super user privileges
2010-12-13 10:24:23: User has super user privileges
Using configuration parameter file: /data/grid/crs/install/crsconfig_params
Improper Oracle Clusterware configuration found on this host
Deconfigure the existing cluster configuration before starting
to configure a new Clusterware
run '/data/grid/crs/install/rootcrs.pl -deconfig'
to configure existing failed configuration and then rerun root.sh
# rm -rf /var/opt/oracle/*
# /data/grid/root.sh
Running Oracle 11g root.sh script...

The following environment variables are set as:
    ORACLE_OWNER= oracle
    ORACLE_HOME=  /data/grid

Enter the full pathname of the local bin directory: [/usr/local/bin]:
   Copying dbhome to /usr/local/bin ...
   Copying oraenv to /usr/local/bin ...
   Copying coraenv to /usr/local/bin ...

Creating /var/opt/oracle/oratab file...
Entries will be added to the /var/opt/oracle/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root.sh script.
Now product-specific root actions will be performed.
2010-12-13 10:25:36: Parsing the host name
2010-12-13 10:25:36: Checking for super user privileges
2010-12-13 10:25:36: User has super user privileges
Using configuration parameter file: /data/grid/crs/install/crsconfig_params
LOCAL ADD MODE
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
  root wallet
  root wallet cert
  root cert export
  peer wallet
  profile reader wallet
  pa wallet
  peer wallet keys
  pa wallet keys
  peer cert request
  pa cert request
  peer cert
  pa cert
  peer root cert TP
  profile reader root cert TP
  pa root cert TP
  peer pa cert TP
  pa peer cert TP
  profile reader pa cert TP
  profile reader peer cert TP
  peer user cert
  pa user cert
Adding daemon to inittab
CRS-4123: Oracle High Availability Services has been started.
ohasd is starting
CRS-2672: 嘗試啟動 'ora.gipcd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.mdnsd' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.gipcd' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.mdnsd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.gpnpd' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.gpnpd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.cssdmonitor' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.cssdmonitor' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.cssd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.diskmon' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.diskmon' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.cssd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.ctssd' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.ctssd' (在 'racnode1' 上)

已成功建立並啟動 ASM。

已成功建立磁碟組 DATA。

clscfg: -install mode specified
Successfully accumulated necessary OCR keys.
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
CRS-2672: 嘗試啟動 'ora.crsd' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.crsd' (在 'racnode1' 上)
CRS-4256: Updating the profile
Successful addition of voting disk 3ccf50c6ad5c4f01bfa28700e167c977.
Successfully replaced voting disk group with +DATA.
CRS-4256: Updating the profile
CRS-4266: Voting file(s) successfully replaced
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   3ccf50c6ad5c4f01bfa28700e167c977 (/dev/rdsk/c0t500601603022E66Ad0s6) [DATA]
Located 1 voting disk(s).
CRS-2673: 嘗試停止 'ora.crsd' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.crsd' (在 'racnode1' 上)
CRS-2673: 嘗試停止 'ora.asm' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.asm' (在 'racnode1' 上)
CRS-2673: 嘗試停止 'ora.ctssd' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.ctssd' (在 'racnode1' 上)
CRS-2673: 嘗試停止 'ora.cssdmonitor' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.cssdmonitor' (在 'racnode1' 上)
CRS-2673: 嘗試停止 'ora.cssd' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.cssd' (在 'racnode1' 上)
CRS-2673: 嘗試停止 'ora.gpnpd' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.gpnpd' (在 'racnode1' 上)
CRS-2673: 嘗試停止 'ora.gipcd' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.gipcd' (在 'racnode1' 上)
CRS-2673: 嘗試停止 'ora.mdnsd' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.mdnsd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.mdnsd' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.mdnsd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.gipcd' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.gipcd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.gpnpd' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.gpnpd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.cssdmonitor' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.cssdmonitor' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.cssd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.diskmon' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.diskmon' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.cssd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.ctssd' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.ctssd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.asm' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.asm' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.crsd' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.crsd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.evmd' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.evmd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.asm' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.asm' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.DATA.dg' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.DATA.dg' (在 'racnode1' 上)
未能新增 GNS。
CLSGN-00154: Invalid subdomain: "racnode."
add gns -i 172.25.198.200 -d racnode. ... failed
Configure Oracle Grid Infrastructure for a Cluster ... failed

節點2上執行root.sh：

# /data/grid/root.sh
Running Oracle 11g root.sh script...

The following environment variables are set as:
    ORACLE_OWNER= oracle
    ORACLE_HOME=  /data/grid

Enter the full pathname of the local bin directory: [/usr/local/bin]:
   Copying dbhome to /usr/local/bin ...
   Copying oraenv to /usr/local/bin ...
   Copying coraenv to /usr/local/bin ...

Creating /var/opt/oracle/oratab file...
Entries will be added to the /var/opt/oracle/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root.sh script.
Now product-specific root actions will be performed.
2010-12-13 10:04:17: Parsing the host name
2010-12-13 10:04:17: Checking for super user privileges
2010-12-13 10:04:17: User has super user privileges
Using configuration parameter file: /data/grid/crs/install/crsconfig_params
Creating trace directory
LOCAL ADD MODE
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
Adding daemon to inittab
CRS-4123: Oracle High Availability Services has been started.
ohasd is starting
CRS-4402: CSS 守護程式已在獨佔模式下啟動, 但在節點 racnode1 (編號為 1) 上發現活動 CSS 守護程式, 因此正在終止
CRS-2673: 嘗試停止 'ora.cssdmonitor' (在 'racnode2' 上)
CRS-2677: 成功停止 'ora.cssdmonitor' (在 'racnode2' 上)
CRS-2673: 嘗試停止 'ora.gpnpd' (在 'racnode2' 上)
CRS-2677: 成功停止 'ora.gpnpd' (在 'racnode2' 上)
CRS-2673: 嘗試停止 'ora.gipcd' (在 'racnode2' 上)
CRS-2677: 成功停止 'ora.gipcd' (在 'racnode2' 上)
CRS-2673: 嘗試停止 'ora.mdnsd' (在 'racnode2' 上)
CRS-2677: 成功停止 'ora.mdnsd' (在 'racnode2' 上)
An active cluster was found during exclusive startup, restarting to join the cluster
CRS-2672: 嘗試啟動 'ora.mdnsd' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.mdnsd' (在 'racnode2' 上)
CRS-2672: 嘗試啟動 'ora.gipcd' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.gipcd' (在 'racnode2' 上)
CRS-2672: 嘗試啟動 'ora.gpnpd' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.gpnpd' (在 'racnode2' 上)
CRS-2672: 嘗試啟動 'ora.cssdmonitor' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.cssdmonitor' (在 'racnode2' 上)
CRS-2672: 嘗試啟動 'ora.cssd' (在 'racnode2' 上)
CRS-2672: 嘗試啟動 'ora.diskmon' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.diskmon' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.cssd' (在 'racnode2' 上)
CRS-2672: 嘗試啟動 'ora.ctssd' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.ctssd' (在 'racnode2' 上)
CRS-2672: 嘗試啟動 'ora.asm' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.asm' (在 'racnode2' 上)
CRS-2672: 嘗試啟動 'ora.crsd' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.crsd' (在 'racnode2' 上)
CRS-2672: 嘗試啟動 'ora.evmd' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.evmd' (在 'racnode2' 上)

racnode2     2010/12/13 10:49:39     /data/grid/cdata/racnode2/backup_20101213_104939.olr
Configure Oracle Grid Infrastructure for a Cluster ... succeeded
Updating inventory properties for clusterware
正在啟動 Oracle Universal Installer...

檢查交換空間: 必須大於 500 MB。   實際為 4836 MB    透過
The inventory pointer is located at /var/opt/oracle/oraInst.loc
The inventory is located at /export/home/oracle/oraInventory

這個的解決方法就是刪除當前的所有配置，在兩個節點上分別執行rootcrs.pl –deconfig命令。

節點1執行：

# /data/grid/crs/install/rootcrs.pl -deconfig -force -lastnode
2010-12-13 12:55:53: Parsing the host name
2010-12-13 12:55:53: Checking for super user privileges
2010-12-13 12:55:53: User has super user privileges
Using configuration parameter file: /data/grid/crs/install/crsconfig_params
CRS resources for listeners are still configured
PRCS-1026 : 找不到單客戶機訪問名監聽程式資源 TYPE=ora.scan_listener.type
PRCS-1026 : 找不到單客戶機訪問名監聽程式資源 TYPE=ora.scan_listener.type
PRCS-1025 : 找不到單客戶機訪問名虛擬 Internet 協議 (VIP) 資源 TYPE=ora.scan_vip.type
PRCS-1025 : 找不到單客戶機訪問名虛擬 Internet 協議 (VIP) 資源 TYPE=ora.scan_vip.type
VIP 已存在。:racnode2
VIP 已存在。: /172.25.0.6/172.25.0.6/255.255.0.0/ce0
GSD 已存在。
ONS 守護程式已存在。本地埠 6100, 遠端埠 6200
eONS 守護程式已存在。多點傳送埠 19092, 多點傳送 IP 地址 234.35.26.146, 監聽埠 2016
PRKO-2426 : ONS 已在節點上停止: racnode1
PRKO-2427 : eONS 已在節點上停止: racnode1
PRKO-2439 : VIP 不存在。
PRKO-2440 : 網路資源已停止。

CRS-2673: 嘗試停止 'ora.crsd' (在 'racnode1' 上)
CRS-2790: 正在啟動關閉 'racnode1' 上叢集就緒服務管理的資源的操作
CRS-2673: 嘗試停止 'ora.asm' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.asm' (在 'racnode1' 上)
CRS-2792: 關閉 'racnode1' 上叢集就緒服務管理的資源的操作已完成
CRS-2677: 成功停止 'ora.crsd' (在 'racnode1' 上)
CRS-2673: 嘗試停止 'ora.cssdmonitor' (在 'racnode1' 上)
CRS-2673: 嘗試停止 'ora.ctssd' (在 'racnode1' 上)
CRS-2673: 嘗試停止 'ora.evmd' (在 'racnode1' 上)
CRS-2673: 嘗試停止 'ora.asm' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.cssdmonitor' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.evmd' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.ctssd' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.asm' (在 'racnode1' 上)
CRS-2673: 嘗試停止 'ora.cssd' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.cssd' (在 'racnode1' 上)
CRS-2673: 嘗試停止 'ora.diskmon' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.diskmon' (在 'racnode1' 上)
CRS-4402: CSS 守護程式已在獨佔模式下啟動, 但在節點 racnode2 (編號為 2) 上發現活動 CSS 守護程式, 因此正在終止
Unable to communicate with the Cluster Synchronization Services daemon.
CRS-4000: Command Delete failed, or completed with errors.
Command return code of 1 (256) from command: /data/grid/bin/crsctl delete css votedisk +DATA
crsctl delete for vds in DATA ... failed
CRS-2791: 正在啟動用於關閉 'racnode1' 上 Oracle High Availability Services 管理的資源的操作
CRS-2673: 嘗試停止 'ora.gpnpd' (在 'racnode1' 上)
CRS-2673: 嘗試停止 'ora.mdnsd' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.gpnpd' (在 'racnode1' 上)
CRS-2673: 嘗試停止 'ora.gipcd' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.mdnsd' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.gipcd' (在 'racnode1' 上)
CRS-2793: 關閉 'racnode1' 上 Oracle High Availability Services 管理的資源的操作已完成
CRS-4133: Oracle High Availability Services has been stopped.
Successfully deconfigured Oracle clusterware stack on this node

節點2執行：

# /data/grid/crs/install/rootcrs.pl -deconfig -force -lastnode
2010-12-13 12:58:50: Parsing the host name
2010-12-13 12:58:50: Checking for super user privileges
2010-12-13 12:58:50: User has super user privileges
Using configuration parameter file: /data/grid/crs/install/crsconfig_params
PRCS-1026 : 找不到單客戶機訪問名監聽程式資源 TYPE=ora.scan_listener.type
PRCS-1026 : 找不到單客戶機訪問名監聽程式資源 TYPE=ora.scan_listener.type
PRCS-1025 : 找不到單客戶機訪問名虛擬 Internet 協議 (VIP) 資源 TYPE=ora.scan_vip.type
PRCS-1025 : 找不到單客戶機訪問名虛擬 Internet 協議 (VIP) 資源 TYPE=ora.scan_vip.type
PRKO-2439 : VIP 不存在。
PRKO-2312 : GSD 不存在。
PRKO-2331 : ONS 守護程式不存在。
PRKO-2339 : eONS 守護程式不存在。

CRS-2673: 嘗試停止 'ora.crsd' (在 'racnode2' 上)
CRS-2790: 正在啟動關閉 'racnode2' 上叢集就緒服務管理的資源的操作
CRS-2673: 嘗試停止 'ora.asm' (在 'racnode2' 上)
CRS-2677: 成功停止 'ora.asm' (在 'racnode2' 上)
CRS-2792: 關閉 'racnode2' 上叢集就緒服務管理的資源的操作已完成
CRS-2677: 成功停止 'ora.crsd' (在 'racnode2' 上)
CRS-2673: 嘗試停止 'ora.cssdmonitor' (在 'racnode2' 上)
CRS-2673: 嘗試停止 'ora.ctssd' (在 'racnode2' 上)
CRS-2673: 嘗試停止 'ora.evmd' (在 'racnode2' 上)
CRS-2673: 嘗試停止 'ora.asm' (在 'racnode2' 上)
CRS-2677: 成功停止 'ora.cssdmonitor' (在 'racnode2' 上)
CRS-2677: 成功停止 'ora.evmd' (在 'racnode2' 上)
CRS-2677: 成功停止 'ora.asm' (在 'racnode2' 上)
CRS-2677: 成功停止 'ora.ctssd' (在 'racnode2' 上)
CRS-2673: 嘗試停止 'ora.cssd' (在 'racnode2' 上)
CRS-2677: 成功停止 'ora.cssd' (在 'racnode2' 上)
CRS-2673: 嘗試停止 'ora.diskmon' (在 'racnode2' 上)
CRS-2677: 成功停止 'ora.diskmon' (在 'racnode2' 上)
CRS-2672: 嘗試啟動 'ora.cssdmonitor' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.cssdmonitor' (在 'racnode2' 上)
CRS-2672: 嘗試啟動 'ora.cssd' (在 'racnode2' 上)
CRS-2672: 嘗試啟動 'ora.diskmon' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.diskmon' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.cssd' (在 'racnode2' 上)
CRS-4611: Successful deletion of voting disk +DATA.
CRS-2672: 嘗試啟動 'ora.ctssd' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.ctssd' (在 'racnode2' 上)
CRS-2672: 嘗試啟動 'ora.asm' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.asm' (在 'racnode2' 上)
ASM 取消配置跟蹤檔案位置: /data/oracle/cfgtoollogs/asmca/asmcadc_clean8712992296465008898.log
ASM 清除配置開始
ASM 清除配置結束

已成功刪除 SID 為 +ASM1 的 ASM。有關詳細資訊, 請檢視 /data/oracle/cfgtoollogs/asmca/asmcadc_clean8712992296465008898.log。

CRS-2791: 正在啟動用於關閉 'racnode2' 上 Oracle High Availability Services 管理的資源的操作
CRS-2673: 嘗試停止 'ora.mdnsd' (在 'racnode2' 上)
CRS-2673: 嘗試停止 'ora.gpnpd' (在 'racnode2' 上)
CRS-2673: 嘗試停止 'ora.cssdmonitor' (在 'racnode2' 上)
CRS-2673: 嘗試停止 'ora.ctssd' (在 'racnode2' 上)
CRS-2673: 嘗試停止 'ora.asm' (在 'racnode2' 上)
CRS-2677: 成功停止 'ora.cssdmonitor' (在 'racnode2' 上)
CRS-2677: 成功停止 'ora.mdnsd' (在 'racnode2' 上)
CRS-2677: 成功停止 'ora.gpnpd' (在 'racnode2' 上)
CRS-2677: 成功停止 'ora.asm' (在 'racnode2' 上)
CRS-2677: 成功停止 'ora.ctssd' (在 'racnode2' 上)
CRS-2673: 嘗試停止 'ora.cssd' (在 'racnode2' 上)
CRS-2677: 成功停止 'ora.cssd' (在 'racnode2' 上)
CRS-2673: 嘗試停止 'ora.diskmon' (在 'racnode2' 上)
CRS-2673: 嘗試停止 'ora.gipcd' (在 'racnode2' 上)
CRS-2677: 成功停止 'ora.gipcd' (在 'racnode2' 上)
CRS-2677: 成功停止 'ora.diskmon' (在 'racnode2' 上)
CRS-2793: 關閉 'racnode2' 上 Oracle High Availability Services 管理的資源的操作已完成
CRS-4133: Oracle High Availability Services has been stopped.
Successfully deconfigured Oracle clusterware stack on this node

然後重新開始安裝CLUSTER，並在GNS域處補全名稱，問題解決。