HA異常導致oracle資料庫無法啟動

 

2012 0417

今天一大早接到經理電話，說有個客戶那邊的資料庫出了問題，有一個同事正在現場呢，讓我趕緊趕過去。
    來不及吃早餐，馬上出發，車上透過電話和同事瞭解了下情況：為應對正常停電，計劃停機（用友財務軟體後臺資料庫，晚上沒啥業務），昨天晚上同事和客戶方溝通不暢非正常關機，今天早上開機啟應用發現資料庫在mount時報錯：
ORA-00202: control file: '/*/control01.ctl'
ORA-27037: unable to obtain file status
ORA-00205:error in identifying control file, check alert log for more info

找不到控制檔案，因為ha沒起來，導致相應vg沒掛上，找不到檔案手工啟動資料庫當然報錯；(之前接到同事電話瞭解到初步情況後，還以為真是控制檔案損壞了，需要恢復或重建，呵呵)

讓我補充一下客戶那邊的環境：

環境：兩臺p570 HA aix 5300 oracle 10.2.0.4

處理過程：
啟動ha後，兩邊都是nomount狀態；（之前在節點2上嘗試手工open資料庫後沒有關閉）
在節點2上執行資料庫一致性關閉 shutdown immediately；
關閉ha smitty clstop；
關閉後再在節點1執行資料庫一致性關閉 shutdown immediately；
關閉ha後再重啟smitty clstart；（自動將oracle起來）
檢查狀態 lssrc -a|grep svc
檢查資料庫狀態、程式、ip等均正常；
通知起應用，正常；

至此問題得到解決，繼續檢查alert日誌，發現一個歷史遺留問題

經驗教訓：
與客戶方溝通不暢導致誤操作--沒有停應用，直接停主機；（機器正常啟動後，ha沒用起來；）
同事手工起ha，方法不對；（不能兩臺同時起，應該先起一臺，起來之後，再啟另一臺；）
對客戶方環境及ha技術原理不熟悉；
缺少規範的操作文件；

附：
HA起停命令：
smitty clstart
smitty clstop

下次碰到停電需要停機的情況，應該按照如下步驟來操作：
1）對資料庫做一個全備份（不是必須）
2）停掉HA：smitty clstop（在兩個節點先後執行，剔除oracle服務，正常停掉oracle資料庫）
3）關閉主機： shutdown