IBM HA雙機光交鏈路問題導致的oracle資料庫exp備份問題

清風艾艾發表於2015-12-18
    12月份,上地機房進行電源割接,不少光線交換機重啟,業務系統、資料庫主機也進行了重啟,但是由於裝置重啟順序不同導致一內容撥測系統資料庫出現了異常。
    出問題的資料庫所在主機是IBM的AIX 6100,資料庫版本是11.2.0.4,採用的是HA雙機軟體管理的熱備雙機,資料庫安排的有exp定時計劃任務。
    出現的問題是:資料庫exp定時備份計劃任務出現告警,
    處理過程:
使用ps -ef|grep exp發現後臺有3個exp相關的.sh備份程式掛起;
檢視備份目錄發現有3天前的備份檔案和備份日誌,但是備份檔案是4096位元組,而備份日誌是0位元組;
首先殺死3個相關的exp備份程式,刪除失敗的備份日誌和備份檔案,重新發起exp備份,發現備份卡在登入sqlplus 2個小時候自動斷開,而備份檔案還是4096位元組,備份日誌是0位元組;
從伺服器端登入sqlplus,select username from dba_users;能查詢到資料庫相關使用者,select file_name,tablespace_name from dba_data_files;卻一直卡主沒有輸出結果;
退出sqlplus切換到root使用者lsvg能輸出相關vg資訊,lsvg -p rootvg顯示rootvg相關的2個pv卷資訊,但是lsvg -p vg_oravg卻是卡主沒有輸出;
經AIX主機工程師檢視並與系統管理員溝通判斷是電源切割引起光交鏈路發生改變,而AIX主機不識別鏈路導致的;
嘗試使用root 透過smit hacmp將服務切換到備機解決鏈路不識別問題,發現HA切換失敗;
接下來重啟HA相關的2個主機,重啟完成後lsvg -p vg_oravg有正常輸出,登入資料庫查詢資料檔案正常,重新發起exp備份4分鐘完成;
到此故障解決。
        

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/29357786/viewspace-1874356/,如需轉載,請註明出處,否則將追究法律責任。

相關文章