安裝Oracle11.2 RAC for Solaris10 sparc64（二）

簡單記錄一下Solaris 10上Oracle 11.2 RAC環境的安裝過程。

這一篇描述CLUSTER的安裝。

安裝Oracle11.2 RAC for Solaris10 sparc64（一）：http://yangtingkun.itpub.net/post/468/515361

登陸圖形化介面執行：

# xhost +
access control disabled, clients can connect from any host
# su - oracle
Sun Microsystems Inc.   SunOS 5.10      Generic January 2005
$ cd /data/software

首先解壓安裝檔案：

$ unzip solaris.sparc64_11gR2_grid.zip

然後進入目錄，執行安裝命令：

$ cd grid
$ ./runInstaller

首先是安裝選項的配置，這裡選擇：安裝和配置叢集的網格基礎結構；

安裝型別選擇高階安裝，這樣擁有更多的選擇權；

產品語言：預設就是英文和簡體中文；

網格即插即用：採用預設的配置，叢集名稱為“主機名-cluster”，GNS子域：racnode.testrac，設定GNS VIP地址為172.25.198.200；

叢集節點資訊：新增另一個節點172.25.198.223。然後選擇SSH連線，輸入oracle使用者對應的密碼，點選配置，輸出“已在所選節點之間成功建立無口令SSH連線。”證明SSH配置成功；

網路介面配置：oracle預設選擇了ce0，作為共用網路介面，選擇ce1作為專用網路介面，這裡不需要額外的配置；

儲存選項：選擇自動儲存管理（ASM）；

建立ASM磁碟組：名稱為DATA，由於使用了RAID 0+1，這裡選擇外部冗餘，列出所有的候選磁碟，選擇ASM磁碟組使用的磁碟；

ASM口令：為ASM使用者輸入口令；

作業系統組：由於建立組使用者的時候沒有分別建立多個組，所以這裡所有的組都選擇dba組；

安裝位置：Oracle基目錄選擇/data/oracle，CLUSTER安裝目錄選擇/data/grid；

建立產品清單：Oracle會建立/data/oraInventory目錄；

檢查安裝先決條件：Oracle會提示124861-15補丁沒有找到，不過安裝文件上沒有提到，忽略錯誤繼續安裝；

概要：這裡可以選擇儲存Oracle生成的響應檔案，點選完成，Oracle開始安裝工作。

安裝到最後一部，需要在兩個節點用root分別執行兩個shell指令碼：

# /data/oraInventory/orainstRoot.sh
更改許可權/data/oraInventory.
新增組的讀取和寫入許可權。
刪除全域性的讀取, 寫入和執行許可權。

更改組名/data/oraInventory 到 oinstall.
指令碼的執行已完成。

節點2上執行：

# /data/oraInventory/orainstRoot.sh
更改許可權/data/oraInventory.
新增組的讀取和寫入許可權。
刪除全域性的讀取, 寫入和執行許可權。

更改組名/data/oraInventory 到 oinstall.
指令碼的執行已完成。

節點1上執行root.sh：

# /data/grid/root.sh
Running Oracle 11g root.sh script...

The following environment variables are set as:
    ORACLE_OWNER= oracle
    ORACLE_HOME=  /data/grid

Enter the full pathname of the local bin directory: [/usr/local/bin]:
   Copying dbhome to /usr/local/bin ...
   Copying oraenv to /usr/local/bin ...
   Copying coraenv to /usr/local/bin ...

Entries will be added to the /var/opt/oracle/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root.sh script.
Now product-specific root actions will be performed.
2010-12-13 14:05:35: Parsing the host name
2010-12-13 14:05:35: Checking for super user privileges
2010-12-13 14:05:35: User has super user privileges
Using configuration parameter file: /data/grid/crs/install/crsconfig_params
Creating trace directory
LOCAL ADD MODE
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
  root wallet
  root wallet cert
  root cert export
  peer wallet
  profile reader wallet
  pa wallet
  peer wallet keys
  pa wallet keys
  peer cert request
  pa cert request
  peer cert
  pa cert
  peer root cert TP
  profile reader root cert TP
  pa root cert TP
  peer pa cert TP
  pa peer cert TP
  profile reader pa cert TP
  profile reader peer cert TP
  peer user cert
  pa user cert
Adding daemon to inittab
CRS-4123: Oracle High Availability Services has been started.
ohasd is starting
CRS-2672: 嘗試啟動 'ora.gipcd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.mdnsd' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.gipcd' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.mdnsd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.gpnpd' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.gpnpd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.cssdmonitor' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.cssdmonitor' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.cssd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.diskmon' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.diskmon' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.cssd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.ctssd' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.ctssd' (在 'racnode1' 上)

已成功建立並啟動 ASM。

已成功建立磁碟組 DATA。

clscfg: -install mode specified
Successfully accumulated necessary OCR keys.
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
CRS-2672: 嘗試啟動 'ora.crsd' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.crsd' (在 'racnode1' 上)
CRS-4256: Updating the profile
Successful addition of voting disk 800f41989f044f6abff1accb284bfcd1.
Successfully replaced voting disk group with +DATA.
CRS-4256: Updating the profile
CRS-4266: Voting file(s) successfully replaced
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   800f41989f044f6abff1accb284bfcd1 (/dev/rdsk/c0t500601603022E66Ad0s6) [DATA]
Located 1 voting disk(s).
CRS-2673: 嘗試停止 'ora.crsd' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.crsd' (在 'racnode1' 上)
CRS-2673: 嘗試停止 'ora.asm' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.asm' (在 'racnode1' 上)
CRS-2673: 嘗試停止 'ora.ctssd' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.ctssd' (在 'racnode1' 上)
CRS-2673: 嘗試停止 'ora.cssdmonitor' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.cssdmonitor' (在 'racnode1' 上)
CRS-2673: 嘗試停止 'ora.cssd' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.cssd' (在 'racnode1' 上)
CRS-2673: 嘗試停止 'ora.gpnpd' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.gpnpd' (在 'racnode1' 上)
CRS-2673: 嘗試停止 'ora.gipcd' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.gipcd' (在 'racnode1' 上)
CRS-2673: 嘗試停止 'ora.mdnsd' (在 'racnode1' 上)
CRS-2677: 成功停止 'ora.mdnsd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.mdnsd' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.mdnsd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.gipcd' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.gipcd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.gpnpd' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.gpnpd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.cssdmonitor' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.cssdmonitor' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.cssd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.diskmon' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.diskmon' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.cssd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.ctssd' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.ctssd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.asm' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.asm' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.crsd' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.crsd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.evmd' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.evmd' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.asm' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.asm' (在 'racnode1' 上)
CRS-2672: 嘗試啟動 'ora.DATA.dg' (在 'racnode1' 上)
CRS-2676: 成功啟動 'ora.DATA.dg' (在 'racnode1' 上)

racnode1     2010/12/13 14:13:54     /data/grid/cdata/racnode1/backup_20101213_141354.olr
Configure Oracle Grid Infrastructure for a Cluster ... succeeded
Updating inventory properties for clusterware
正在啟動 Oracle Universal Installer...

檢查交換空間: 必須大於 500 MB。   實際為 4627 MB    透過
The inventory pointer is located at /var/opt/oracle/oraInst.loc
The inventory is located at /data/oraInventory
'UpdateNodeList' 成功。

節點2上執行root.sh：

# /data/grid/root.sh
Running Oracle 11g root.sh script...

The following environment variables are set as:
    ORACLE_OWNER= oracle
    ORACLE_HOME=  /data/grid

Enter the full pathname of the local bin directory: [/usr/local/bin]:
   Copying dbhome to /usr/local/bin ...
   Copying oraenv to /usr/local/bin ...
   Copying coraenv to /usr/local/bin ...

Entries will be added to the /var/opt/oracle/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root.sh script.
Now product-specific root actions will be performed.
2010-12-13 14:32:27: Parsing the host name
2010-12-13 14:32:27: Checking for super user privileges
2010-12-13 14:32:27: User has super user privileges
Using configuration parameter file: /data/grid/crs/install/crsconfig_params
Creating trace directory
LOCAL ADD MODE
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
Adding daemon to inittab
CRS-4123: Oracle High Availability Services has been started.
ohasd is starting
CRS-4402: CSS 守護程式已在獨佔模式下啟動, 但在節點 racnode1 (編號為 1) 上發現活動 CSS 守護程式, 因此正在終止
CRS-2673: 嘗試停止 'ora.cssdmonitor' (在 'racnode2' 上)
CRS-2677: 成功停止 'ora.cssdmonitor' (在 'racnode2' 上)
CRS-2673: 嘗試停止 'ora.gpnpd' (在 'racnode2' 上)
CRS-2677: 成功停止 'ora.gpnpd' (在 'racnode2' 上)
CRS-2673: 嘗試停止 'ora.gipcd' (在 'racnode2' 上)
CRS-2677: 成功停止 'ora.gipcd' (在 'racnode2' 上)
CRS-2673: 嘗試停止 'ora.mdnsd' (在 'racnode2' 上)
CRS-2677: 成功停止 'ora.mdnsd' (在 'racnode2' 上)
An active cluster was found during exclusive startup, restarting to join the cluster
CRS-2672: 嘗試啟動 'ora.mdnsd' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.mdnsd' (在 'racnode2' 上)
CRS-2672: 嘗試啟動 'ora.gipcd' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.gipcd' (在 'racnode2' 上)
CRS-2672: 嘗試啟動 'ora.gpnpd' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.gpnpd' (在 'racnode2' 上)
CRS-2672: 嘗試啟動 'ora.cssdmonitor' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.cssdmonitor' (在 'racnode2' 上)
CRS-2672: 嘗試啟動 'ora.cssd' (在 'racnode2' 上)
CRS-2672: 嘗試啟動 'ora.diskmon' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.diskmon' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.cssd' (在 'racnode2' 上)
CRS-2672: 嘗試啟動 'ora.ctssd' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.ctssd' (在 'racnode2' 上)
CRS-2672: 嘗試啟動 'ora.asm' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.asm' (在 'racnode2' 上)
CRS-2672: 嘗試啟動 'ora.crsd' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.crsd' (在 'racnode2' 上)
CRS-2672: 嘗試啟動 'ora.evmd' (在 'racnode2' 上)
CRS-2676: 成功啟動 'ora.evmd' (在 'racnode2' 上)

racnode2     2010/12/13 14:35:36     /data/grid/cdata/racnode2/backup_20101213_143536.olr
Configure Oracle Grid Infrastructure for a Cluster ... succeeded
Updating inventory properties for clusterware
正在啟動 Oracle Universal Installer...

檢查交換空間: 必須大於 500 MB。   實際為 4791 MB    透過
The inventory pointer is located at /var/opt/oracle/oraInst.loc
The inventory is located at /data/oraInventory
'UpdateNodeList' 成功。

點選繼續後，Oracle會在最後一步的驗證過程中報錯，資訊如下：

[INS-20802] Oracle Cluster Verification 實用程式失敗。

原因-外掛的執行方法失敗
操作-參考日誌或與 Oracle 技術支援聯絡。
日誌檔案位置：/data/oraInventory/logs/installActions2010-12-13_01-40-15PM.log

日誌資訊為：

bash-3.00$ tail -100 /data/oraInventory/logs/installActions2010-12-13_01-40-15PM.log
資訊: Starting 'Automatic Storage Management Configuration Assistant'
資訊: Executing ASMCA
資訊: Command /data/grid/bin/asmca -silent -postConfigureASM -oui_internal
資訊: ... GenericInternalPlugIn.handleProcess() entered.
資訊: ... GenericInternalPlugIn: getting configAssistantParmas.
資訊: ... GenericInternalPlugIn: checking secretArguments.
資訊: ... GenericInternalPlugIn: starting read loop.
資訊: Read: SYS_PASSWORD_PROMPT
資訊: Processing: SYS_PASSWORD_PROMPT for argument tag -sysAsmPassword
資訊: Read: ASMSNMP_PASSWORD_PROMPT
資訊: Processing: ASMSNMP_PASSWORD_PROMPT for argument tag -asmMonitorPassword
資訊: End of argument passing to stdin
資訊: Read:
資訊: Read: PostConfiguration 已成功完成
資訊: Read:
資訊: Completed Plugin named: Automatic Storage Management Configuration Assistant
資訊:
資訊:
資訊: Started Plugin named: Oracle Private Interconnect Configuration Assistant
資訊: Found associated job
資訊: Starting 'Oracle 專用互聯配置輔助程式'
資訊: Starting 'Oracle 專用互聯配置輔助程式'
警告:
資訊:
資訊: Completed Plugin named: Oracle Private Interconnect Configuration Assistant
資訊:
資訊:
資訊: Started Plugin named: Oracle Cluster Verification Utility
資訊: Found associated job
資訊: Starting 'Oracle Cluster Verification 實用程式'
資訊: Starting 'Oracle Cluster Verification 實用程式'
資訊: 執行 叢集服務設定 的後期檢查
資訊: 正在檢查節點的可訪問性...
資訊: 節點 "racnode1" 的節點可訪問性檢查已透過
資訊: 正在檢查等同使用者...
資訊: 使用者 "oracle" 的等同使用者檢查已透過
資訊: 正在檢查時區一致性...
資訊: 時區一致性檢查已透過。
資訊: 正在檢查叢集管理器完整性...
資訊: 正在檢查 CSS 守護程式...
資訊: Oracle 叢集同步服務似乎處於聯機狀態。
資訊: 叢集管理器完整性檢查已透過
資訊: 預設使用者檔案建立掩碼檢查已透過
資訊: 正在檢查叢集完整性...
資訊: 叢集完整性檢查已透過
資訊: 正在檢查 OCR 完整性...
資訊: 正在檢查是否缺少非叢集配置...
資訊: 所有節點都沒有非叢集的, 僅限本地的配置
資訊: “ASM 執行”檢查透過。ASM 正在所有叢集節點上執行
資訊: 正在檢查 OCR 配置檔案 "/var/opt/oracle/ocr.loc"...
資訊: OCR 配置檔案 "/var/opt/oracle/ocr.loc" 檢查成功
資訊: ocr 位置 "+DATA" 的磁碟組在所有節點上都可用
資訊: 正在檢查 OCR 裝置 "+DATA" 的共享性...
資訊: 正在檢查 OCR 位置 "+DATA" 的大小...
資訊: racnode2:OCR 位置 "+DATA" 的大小檢查成功...
資訊: racnode1:OCR 位置 "+DATA" 的大小檢查成功...
資訊: WARNING:
資訊: 此檢查不驗證 OCR 內容的完整性。請以授權使用者的身份執行 'ocrcheck' 以驗證 OCR 的內容。
資訊: OCR 完整性檢查已透過
資訊: 正在檢查 CRS 完整性...
資訊: CRS 完整性檢查已透過
資訊: 正在檢查節點應用程式是否存在...
資訊: 正在檢查 VIP 節點應用程式是否存在(必需)
資訊: 檢查已透過。
資訊: 正在檢查 ONS 節點應用程式是否存在(可選)
資訊: 檢查已透過。
資訊: 正在檢查 GSD 節點應用程式是否存在(可選)
資訊: 忽略檢查。
資訊: 正在檢查 EONS 節點應用程式是否存在(可選)
資訊: 檢查已透過。
資訊: 正在檢查 NETWORK 節點應用程式是否存在(可選)
資訊: 檢查已透過。
資訊: 正在檢查單客戶機訪問名 (SCAN)...
資訊: 正在檢查 "racnode-cluster-scan.racnode.testrac" 的名稱解析設定...
資訊: ERROR:
資訊: PRVF-4664 : 發現與 SCAN 名稱 "racnode-cluster-scan.racnode.testrac" 不一致的名稱解析條目
資訊: 未能驗證 SCAN VIP 和監聽程式設定
資訊: 在 ASM 上檢測到 OCR。正在執行 ACFS 完整性檢查...
資訊: 開始檢查 ASM 是否正在所有叢集節點上執行...
資訊: “ASM 執行”檢查透過。ASM 正在所有叢集節點上執行
資訊: 正在啟動磁碟組檢查以檢視是否至少配置了一個磁碟組...
資訊: 磁碟組檢查透過。至少配置了一個磁碟組
資訊: 任務 ACFS 完整性檢查已透過
資訊: 正在檢查 Oracle 叢集表決磁碟配置...
資訊: Oracle 叢集表決磁碟配置檢查已透過
資訊: 使用者 "oracle" 不屬於 "root" 組。檢查已透過
資訊: 正在檢查是否在所有節點上安裝了叢集件...
資訊: 叢集件的安裝檢查透過
資訊: 正在檢查 CTSS 資源是否在所有節點上執行...
資訊: CTSS 資源檢查透過
資訊: 正在查詢所有節點上時間偏移量的 CTSS...
資訊: 時間偏移量的 CTSS 查詢透過
資訊: 檢查 CTSS 狀態已啟動...
資訊: CTSS 處於活動狀態。正在繼續檢查所有節點上的時鐘時間偏移量...
資訊: 時鐘時間偏移量檢查透過
資訊: Oracle 叢集時間同步服務檢查已透過
資訊: 在所有節點上 叢集服務設定 的後期檢查失敗。
資訊:
警告:
資訊: Completed Plugin named: Oracle Cluster Verification Utility

導致這個錯誤的原因是在/etc/hosts中配置了SCAN的地址，嘗試ping這個地址資訊，如果可以成功，則這個錯誤可以忽略。

至此，CLUSTER軟體以及ASM磁碟配置完成。