AIX 5.3/6.1環境下安裝Oracle 10gR2 RAC常見報錯

AIX 5.3/6.1環境下安裝Oracle 10gR2 RAC常見報錯

轉載請註明原文：http://xunzhaoxz.itpub.net/post/40016/521769

【環境說明】

作業系統版本：AIX 5300-11-00-0000、6100-06-01-1043

Oracle版本：Oracle 10.2.0.4、10.2.0.5

HACMP：無

本專案中沒有使用HACMP，Oracle CRS的OCR、Voting Disk是從儲存上直接划過來的5個500MB的小盤（3個作為OCR、2個作為Voting Disk），datafile和archivelog存放在ASM磁碟組中。

【問題1】磁碟reserve屬性，可理解為保留屬性，或者獨佔屬性

說明：這個屬性是在AIX平臺下，各種品牌的儲存都會遇到這個問題，Oracle官方文件中也有提到。

由於RAC環境需要OCR、VOT、ASM磁碟為所有個節點併發訪問，即每一個磁碟都要以共享併發方式供所有節點訪問，因此當某個節點中設為獨佔方式的話，在安裝CRS執行root.sh指令碼時將報如下錯誤：

-------------------------------------------------------------------------------------------------------------

root@testdb2:/#/oracle/crs/root.sh

WARNING: directory '/oracle' is not owned by root

Checking to see if Oracle CRS stack is already configured

cp: /dev/rhdisk19: The requested resource is busy.

1

root@testdb2:/#

--------------------------------------------------------------------------------------------------------------

這個屬性透過lsattr -El hdiskn可以檢視如下：

root@testdb2:/#lsattr -El hdisk2|grep reserve_

reserve_policy single_path

Reserve Policy True

root@testdb2:/#

【解決辦法】

【案例1：HDS儲存】

本專案中使用的儲存為HDS，磁碟reserve屬性關鍵字為reserve_policy，注意當前值為single_path，需將其裝置非獨佔方式，命令如下：

#chdev -l hdisk2 -a reserve_policy=no_reserve

然後再次執行lsattr -El hdisk2檢視結果：

root@testdb1:/ #lsattr -El hdisk2|grep reserve

reserve_policy no_reserve

root@testdb1:/ #

【案例2：EMC儲存】

[@more@]

如果儲存是EMC的話，一般多路徑軟體也都採用powerpath，則封裝後的磁碟為hdiskpowerN，其reserve關鍵字為reserve_lock，應當設為no，以下為另一個專案中遇到的情況。

#lsattr -El hdiskpower0|grep reserve_

reserve_lock no

Reserve device on open True

#

至於reserve值是設為no還是no_reserve，這個只要man一下lsattr就可以了。

Oracle官方文件原文如下：

To enable simultaneous access to a disk device from multiple nodes, you must set the appropriate Object Data Manager (ODM) attribute listed in the following table to the value shown, depending on the disk type:

Disk TypeAttributeValue

To determine whether the attribute has the correct value, enter a command similar to the following on all cluster nodes for each disk device that you want to use:

# /usr/sbin/lsattr -E -l hdisknIf the required attribute is not set to the correct value on any node, then enter a command similar to one of the following on that node:

• SSA and FAStT devices
• # /usr/sbin/chdev -l hdiskn -a reserve_lock=no
• ESS, EMC, HDS, CLARiiON, and MPIO-capable devices
• # /usr/sbin/chdev -l hdiskn -a reserve_policy=no_reserve

題外話：如果採用的HACMP的話，那可以透過HACMP中的增強型併發卷組（Enhanced Concurrent VG）實現lv級別的儲存併發訪問。

【問題2】Oracle使用者屬性CAP_PROPAGATE CAP_BYPASS_RAC_VMM CAP_NUMA_ATTACH

Oracle官方文件《Oracle Clusterware and Oracle Real Application Clusters Installation Guide 10g Release 2 (10.2) for AIX B14201-04》中並沒有提到這個屬性需求，因此比較容易被忽略，不知道新版本的文件中有沒有提到，哪位兄弟若是看到的話，還請提示下，先謝了。

【案例】我在AIX 5300-11-00-0000 + Oracle 10.2.0.4和AIX 6100-06-01-1043 + Oracle 10.2.0.5環境下都遇到這個問題，出現的報錯資訊也完全一樣：

-----------------------------------------------------------------------------------------------------------

root@testdb1:/ # /oracle/crs/install/root102.sh

Error : Please change the CRS_ORACLE_USER id <oracle> to have the following OS capabilities :

< CAP_PROPAGATE CAP_BYPASS_RAC_VMM CAP_NUMA_ATTACH >

by running </usr/bin/chuser> command then 'crsctl stop crs' and 'crsctl start crs'.

The CSS daemon, ocssd.bin, will not run in realtime without

this change

Oracle strongly recommends that the CSS daemon run realtime

Creating pre-patch directory for saving pre-patch clusterware files

--------------------------------------------------------------------------------------------------------------

【解決辦法】

這個問題的解決辦法就是賦予oracle使用者的這三想屬性，命令如下：

#chuser capabilities=CAP_PROPAGATE,CAP_BYPASS_RAC_VMM,CAP_NUMA_ATTACH oracle

【問題3】Oracle補丁Patch 6718715

【說明】這個問題在AIX 5.3或AIX 6.1平臺下安裝Oracle 10gR2 RAC的時候都會遇到。

安裝CRS或者Database，執行runInstaller後oracle都會詢問如下：

Has 'rootpre.sh' been run by root? [y/n] (n)

【解決辦法】

此時你不要去執行10.2.0.1安裝包中的rootpre.sh，而應該執行Patch 6718715補丁包解壓後的那個rootpre.sh。

關於本問題，Metalink上有Oracle的官方說法如下：

--------------------------------------------------------------------------------------------------------

A replacement ”rootpre.sh” is available for download from Oracle MetaLink, reference Oracle Patch 6718715, ”

Support for HACMP 5.4 in rootpre.sh script”.

Even though Patch 6718715 targets HACMP 5.4 it contains the changes for AIX 6.1 AIO.

Patch 6718715 supersedes Patch 6613550, which was previously recommended.

Make sure to download the 10.2.0.3 version of Patch 6718715

----------------------------------------------------------------------------------------------------------

【問題4】確認各節點磁碟號對應的儲存LUN ID相同

必須確認各節點認到的hdisk編號完全相同，例如LUN ID為1的LUN在節點1認到的為hdisk2，在節點2上認到的也應該是hdisk2，否則2個節點上認到的磁碟不一致，雖然兩邊都往hdisk2上讀寫資料，但實際上並不是同一個LUN，明顯資料會出問題。

當2個節點的本地盤數量相同時，AIX平臺下一般不會出現這個hdisk號不一致的問題；但是在HP-UX平臺下就可能出現，我之前就遇到過，2個節點的本地盤相同，但是認到的儲存盤編號不同，這個就比較麻煩了。

【案例1：HDS儲存】

本次專案中採用HDS儲存，則透過檢視lsattr -El hdiskN磁碟屬性中的lun_id欄位值，即可得知該LUN的ID號：

root@testdb1:/#lsattr -El hdisk2|grep lun_id

lun_id 0x0 Logical Unit Number ID False

root@testdb1:/# lsattr -El hdisk3|grep lun_id

lun_id 0x1000000000000 Logical Unit Number ID False

root@testdb1:/#lsattr -El hdisk4|grep lun_id

lun_id 0x2000000000000 Logical Unit Number ID False

root@testdb1:/#lsattr -El hdisk5|grep lun_id

lun_id 0x3000000000000 Logical Unit Number ID False

root@testdb1:/#

hdisk2為儲存上划過來的第一塊盤，編號為0x開頭的十六進位制號0x0，hdisk3編號為0x1，依次類推，確認下2個節點上的編號是否一致。

【案例2：EMC儲存】

EMC儲存可透過powermt display dev=all檢視所有磁碟的屬性，包括每個磁碟有幾條路徑，每條路徑的當前狀態。

root@testdb1:/ #powermt display dev=all

Pseudo name=hdiskpower13

CLARiiON ID=FCNCP******* [SG_testdb1]

Logical device ID=600601605C202B0008B7050BC74FE011 [LUN 9]

state=alive; policy=CLAROpt; priority=0; queued-IOs=0

Owner: default=SP B, current=SP B

Array failover mode: 3

=============================================================

---------- Host -------- Stor --- I/O Path --- Stats ---

###HW Path I/O Paths Interf.Mode State Q-IOs Errors

=============================================================

0 fscsi0 hdisk19 SP B1 active alive 0 0

0 fscsi0 hdisk40 SP A1 active alive 0 0

1 fscsi2 hdisk61 SP B0 active alive 0 0

1 fscsi2 hdisk82 SP A0 active alive 0 0

確認每個節點上的hdiskpower編號與LUN編號是否一致。

___________________________________________________________________

延伸閱讀(近期整理文件)：

主機AIX：

【資訊採集】IBM AIX系統硬體資訊檢視命令（shell指令碼）(附PDF完整版下載)

操作規範（一）—— AIX rootvg mirror(附PDF下載)

AIX系統安全加固（一）限制密碼重試次數，超過限制次數後鎖定使用者（附截圖PDF完整版下載）

AIX平臺下建立檔案系統需要注意的問題

IBM伺服器虛擬化PowerVM——也談“雲端計算”

資料庫Oracle：

新裝Oracle11gR2 11.2.0.2重要說明——Patchsetp10098816（附補丁下載地址）

Attention：new installation of Oracle 11.2.0.2

AIX 5.3/6.1環境下安裝Oracle10gR2 RAC常見報錯（注意事項）

【資料遷移1】Oracle10gR2 rman異機恢復實驗（FS->RAW）（附截圖PDF完整版下載）

【資料遷移2】Oracle10gR2 rman異機恢復實驗（FS-FS）（附截圖PDF完整版下載）

操作規範（二）——RHEL5.4安裝Oracle 10.2.0.4（附截圖PDF完整版下載）

操作規範（三）——Linux5.4安裝Oracle 11gR1（附截圖PDF完整版下載）

操作規範（四）——Linux5.4安裝Oracle 11gR2（附截圖PDF完整版下載）

Oracle RAC環境下重建ASM磁碟組(Re-createASM diskgroup)（附截圖PDF完整版下載）

Oracle RAC srv服務“首選”與“可用”狀態的調整——srvctl modify service 的使用（附截圖PDF完整版下載）

Linux+ASM+OCFS環境下增加ORACLE RAC聯機重做日誌檔案（附截圖PDF完整版下載）

備份還原Symantec Netbackup:

搭建NBU實驗環境——解決虛擬帶庫vistor License過期問題（附截圖PDF完整版下載）

NBU常用命令1——介質管理

-----------------------------------------------------------------------------------------------------------------------

親，留個腳印，發表下您的寶貴意見，或者點選左邊“訂閱我的Blog”吧.......