LINUX+10.2.0.3 RAC刪除、增加節點所遇問題記錄

最近實施了一次LINUX5.6+10.2.0.3 RAC刪除、增加節點的操作，RAC對應的應用程式是ORACLE EBS,對資料庫上做了不少個性化配置，特別是環境變數的修改，為實施以及排障帶來了許多不便，簡單問題的排查也浪費了許多時間。

特別是DBCA增加例項時遇到的錯誤，花費了不少時間排查，將此過程中所遇到的通用型問題記錄下來備查，因為EBS的一些修改造成的問題就不記了。。。

1.刪除節點上nodeapps資源時VIP/監聽資源不能移除，通過crs_unregister命令移除監聽後可以正常移除。

以root使用者執行如下命令刪除：
[root@racba bin]# ./srvctl remove nodeapps -n racbb
Please confirm that you intend to remove the node-level applications on node racbb (y/[n]) y
PRKO-2112 : Some or all node applications are not removed successfully on node: racbb
[root@racba bin]# crs_stat -t
Name           Type           Target    State     Host        
------------------------------------------------------------
ora....D1.inst application    ONLINE    ONLINE    racba      
ora.PROD.db    application    ONLINE    ONLINE    racba      
ora....SM1.asm application    ONLINE    ONLINE    racba      
ora....BA.lsnr application    ONLINE    ONLINE    racba      
ora.racba.gsd application    ONLINE    ONLINE    racba      
ora.racba.ons application    ONLINE    ONLINE    racba      
ora.racba.vip application    ONLINE    ONLINE    racba      
ora....BB.lsnr application    OFFLINE   OFFLINE               
ora.racbb.vip application    OFFLINE   OFFLINE  
[root@rac1 ~]#

[oracle@racba ~]$ crs_stat |grep lsnr
NAME=ora.racba.LISTENER_racBA.lsnr
NAME=ora.racbb.LISTENER_racBB.lsnr
[oracle@racba ~]$ crs_stat |grep vip
NAME=ora.racba.vip
NAME=ora.racbb.vip

[root@racba bin]# ./crs_unregister  ora.racbb.LISTENER_racBB.lsnr
[root@racba bin]# crs_stat -t
Name           Type           Target    State     Host        
------------------------------------------------------------
ora....D1.inst application    ONLINE    ONLINE    racba      
ora.PROD.db    application    ONLINE    ONLINE    racba      
ora....SM1.asm application    ONLINE    ONLINE    racba      
ora....BA.lsnr application    ONLINE    ONLINE    racba      
ora.racba.gsd application    ONLINE    ONLINE    racba      
ora.racba.ons application    ONLINE    ONLINE    racba      
ora.racba.vip application    ONLINE    ONLINE    racba      
ora.racbb.vip application    OFFLINE   OFFLINE               
[root@racba bin]# ./srvctl remove nodeapps -n racbb
Please confirm that you intend to remove the node-level applications on node racbb (y/[n]) y
PRKO-2112 : Some or all node applications are not removed successfully on node: racbb

驗證：
[root@racba bin]# crs_stat -t
Name           Type           Target    State     Host        
------------------------------------------------------------
ora....D1.inst application    ONLINE    ONLINE    racba      
ora.PROD.db    application    ONLINE    ONLINE    racba      
ora....SM1.asm application    ONLINE    ONLINE    racba      
ora....BA.lsnr application    ONLINE    ONLINE    racba      
ora.racba.gsd application    ONLINE    ONLINE    racba      
ora.racba.ons application    ONLINE    ONLINE    racba      
ora.racba.vip application    ONLINE    ONLINE    racba       --輸出中已經沒有節點2的資訊。

2.刪除節點上 olsnodes -n -i資訊時需要將被刪除的節點關機

參考：http://blog.csdn.net/haibusuanyun/article/details/49947083

3.addNode.sh介面執行時，出現有提示warning /bin/tar無執行許可權

,經檢查日誌，發現這些目錄下的部分日誌或者檔案的屬組為root使用者，忽略此問題。

[oracle@racba OraInstall2015-11-21_12-53-14AM]$ cat installExcludeFile.lst
/oracle/product/10.2.0/crs/log
/oracle/product/10.2.0/crs/crs/init
/oracle/product/10.2.0/crs/racg/dump
/oracle/product/10.2.0/crs/srvm/log
/oracle/product/10.2.0/crs/cdata
/oracle/product/10.2.0/crs/cfgtoollogs/cfgfw
[oracle@racba install]$ cat install.excl
log
crs/init
racg/dump
srvm/log
cdata

4.10G 10.2.0.1版本VIPCA/SRVCTL的問題，在本次10.2.0.3版本中也遇到：

[root@racba bin]# ./srvctl remove nodeapps -n racbb
/oracle/product/10.2.0/db/jdk/jre/bin/java: error while loading shared libraries: libpthread.so.0: cannot open shared object file: No such file or directory

將vipca/srvctl的LD_ASSUME_KERNEL註釋即可
#Remove this workaround when the bug 3937317 is fixed
LD_ASSUME_KERNEL=2.4.19
export LD_ASSUME_KERNEL
改為：
LD_ASSUME_KERNEL=2.4.19
#export LD_ASSUME_KERNEL

5.ADDNODE圖形介面進行將近完成時，新新增的節點網路卡驅動問題導致網路無法訪問，需要重新執行addnode;

此時inventory.xml中已經有此節點資訊，通過手動在inventory.xml中刪除節點資訊未生效。
通過命令：
/oracle/product/10.2.0/db/oui/bin/runInstaller -updateNodeList ORACLE_HOME=$ORACLE_HOME "CLUSTER_NODES=racba"
更新後，可以再次新增。

6.DBCA新增資料庫例項時遇到報錯：

TNS-04414及TNS-04605錯誤，經排查原因為資料庫SPFILE中指定的local_listener/remote_listener使用的是直接寫的IP/埠/服務名這樣的連線串，將這些引數臨時取消後可以通過。
也有文件說是DBCA會檢查listener.ora/sqlnet.ora/tnsnames.ora中內容；這裡我也將這些檔案內容進行了檢查，進行了重新命名；   應該是local_listener/remote_listener引數和listener.ora/sqlnet.ora/tnsnames.ora檔案都要注意，直接的方式就是暫時不使用這些引數和配置檔案。

7.DBCA新增資料庫例項時遇到報錯2：

在新增資料庫例項到33%時報錯，但是彈出的視窗沒有可用資訊；多次排查，甚至使用了對dbca  trace，也未找到原因。

最終未解決，不再使用DBCA，不知道是BUG還是其它問題，。

轉而使用srvctl工具新增資料庫例項，使用srvctl新增後，注意要修改SPFILE中對應叢集的設定，如instance_number,thread#、undo配置等，以及在資料庫中的對應UNDO表空間、REDO LOG FOR THREAD2，ENABLE THREAD2等。

---關於TRACE DBCA的方法，參考Tracing the Database Configuration Assistant (DBCA) (文件 ID 188134.1)。