再一次MAA環境下switchover失敗經驗分享

前幾天又有機會做MAA環境下的switchover，結果又失敗啦～～

這個環境跟我第一次MAA環境類似，稍微複雜的是主備庫都是6節點RAC，第一次從主庫切換備庫，是我現場支援做的，遇到點小問題，但是switchover成功了，當時遇到的問題是：

在主庫switchover成備庫成功，但是在備庫switchover到主庫時，提示If media recovery active, switchover will wait for completion，然後檢查alert日誌發現，原備庫沒有完全應用end of redo的archive log，原因是：

ORA-19816: WARNING: Files may exist in db_recovery_file_dest that are not known to database.
ORA-17502: ksfdcre:4 Failed to create file +DISKGROUP4
ORA-15041: diskgroup space exhausted
Wed May 13 20:32:52 2009
*************************************************************
WARNING: A file of type ARCHIVED LOG may exist in
db_recovery_file_dest that is not known to the database.
Use the RMAN command CATALOG RECOVERY AREA to re-catalog
any such files. This is most likely the result of a crash
during file creation.
*************************************************************
Wed May 13 20:32:52 2009
Errors in file /log/admin/cbak/bdump/cbak1_arc1_22278.trc:
ORA-19504: failed to create file "+DISKGROUP4"
ORA-17502: ksfdcre:4 Failed to create file +DISKGROUP4
ORA-15041: diskgroup space exhausted
ARC1: Error 19504 Creating archive log file to '+DISKGROUP4'
ARC1: All standby destinations failed; successful archival assumed
ARC1: Failed to archive thread 3 sequence 3367 (19504)
ARCH: Archival stopped, error occurred. Will continue retrying

Identified End-Of-Redo for thread 1 sequence 3237
Media Recovery Waiting for thread 3 sequence 3367

還沒有完成media recovery，這時候做switchover肯定失敗

最後使用手動方式註冊沒有成功的歸檔日誌，然後再重新switchover，成功～～

關於上面為什麼沒有成功建立歸檔，原因ORA-15041: diskgroup space exhausted，經過檢查發現是ASM的一個bug和資料庫配置有關的問題，暫時也沒時間解決，只好先用手動註冊歸檔方式解決了～～

結果不及時總結的後果體現出來了，切換成功後執行了將近2個月，前幾天需要切換回來，出現了非常奇特的現象，簡言之，就是主庫切換備庫就失敗了，沒有成功應用end of redo的archive log，因為上面ASM原因，沒有建立成功，但是備庫已經成功接收，不過因為主庫沒有成功應用，而且中間出現問題重啟了備庫，所以最後是備庫啟用後，資料一點沒有丟失，而且原主庫繼續查詢以前的歸檔並能成功接收歸檔，但是由於都是以前的歸檔，不能應用，一直向後查詢，因為遺留的6個節點歸檔將近3000個，所以最後沒有等待繼續找玩，就重新做了備庫。

感覺如果等待切換的備庫自己應用，也許最後可以正常，因為感覺他的主備模式沒有被破壞，不過也不一定，最有可能scn不一致，由於是比較重要的生產庫，就沒能繼續實驗下去～

又多了一次switchover失敗經驗～～

大家一定注意前期檢查，不能忽略這些可能引起異常的小問題～～