Oracle 自動備份觸發ORA-01513問題

環境說明：

DB:Oracle 11.2.0.4.0 RAC
OS:AIX 7.1

問題現象：

1.CV備份平臺自動備份資料庫失敗，提示ORA-01513: INVALID CURRENT TIME RETURNED BY OPERATING SYSTEM，自動重試後成功(偶發性問題)。
2.資料庫告警日誌報錯如下：
Sun Jan 00 00:00:00 1900
opidcl aborting process unknown ospid (18875110) as a result of ORA-1513

其中：

ORA-01513錯誤說明作業系統返回了錯誤的時間，即不是1988到2121之間的時間。
ORA-01513: invalidcurrent time returned by operating system
Cause: Theoperating system returned a time that was not between 1988 and 2121.
Action: Correct thetime kept by the operating system.

分析原因：

難道作業系統時間自動變成1900年了？

檢視作業系統日誌，並沒有相關日誌，問題期間資料庫也無其他異常。

懷疑是CV備份平臺在執行備份時，呼叫資料庫作業系統時間出現異常，而不是作業系統時間真的變回1900年，否則RAC叢集也會發生異常。

最終透過IBM官網，找到了相關內容。

IT14941: RMAN ABORT IN CONTEXT WITH TIVOLI STORAGE MANAGER BACKUP: ORA-01513: INVALID CURRENT TIME RETURNED BY OPERATING SYSTEM

部分內容如下：

錯誤描述：

Error description
在UNIX或Linux上備份Oracle的使用者可能會遇到Oracle通道中止，Oracle會報告錯誤：ORA-01513: invalid current time returned by operating system
Users who are backing up Oracle on UNIX or Linux may encounter oracle channel aborts with oracle reporting the error:
當這些共享庫呼叫系統函式localtime_r()時，
When these shared libraries call the system function localtime_r(), 
該呼叫由oracle程式接收，該程式與作業系統進行協商。
that call is received by the oracle process which negotiates it with the operating system.
Oracle開發承認，他們的軟體中存在一個問題，可能導致無效值被重複返回到這些localtime_r()呼叫。
Oracle development have admitted that there is a problem in their software which can result in invalid values being repeatedly returned to these localtime_r() calls.
一旦localtime_r() 開始返回無效資料，它將一直執行此操作，直到oracle通道程式最終中止並出現錯誤ORA-01513
Once localtime_r() has started to return invalid data, it will be doing this until the oracle channel process finally aborts with the error ORA-01513
Oracle Reference:
SR 3-12029500711 : Zero time stamps in the sbtio.log
Bug 22617228
Patch 22617228: AIX SYSTEM CALL LOCATIME_R() - ZERO TIME STAMPS IN THE SBTIO.LOG
 Oracle已在"Patches and Updates"中提供瞭解決此問題的修復程式，修補程式名稱/編號=22617228可選擇平臺。
A fix has been provided by Oracle to address this issue in 'Patches and Updates', Patch Name/Number = 22617228 The platform can be selected.
症狀發生的風險隨著localtime_r()呼叫的頻率增加而增加。
The risk for the occurrence of the symptom increases with the frequency of localtime_r() calls.
相比之下，在沒有詳細跟蹤的正常備份/恢復操作期間，問題通常不會變得明顯。
By contrast, during normal backup / restore operations without verbose tracing the problem often does not become apparent.

解決方案：

根據提示，在MOS上下載並更新22617228補丁應該可以解決此類問題，生產環境需要提前充分測試後在操作。

#####chenjuchao 20210831 20:15#####