Oracle DG同步失敗故障處理(二)

環境：

OS:AIX 7.1

DB:

主庫：oracle RAC 11.2.0.4.0

備庫：Oracle RAC 11.2.0.4.0

問題：

備庫節點一，關閉selinux，重啟伺服器生效，資料庫啟動後，發現備庫端可以接收主庫歸檔，但是無法應用歸檔。

問題原因：

之前備庫mrp程式在節點一上，備庫重啟伺服器前，並沒有將mrp程式切換到節點二上，備庫節點一重啟伺服器後，沒有馬上執行mrp程式，導致備庫沒有應用主要歸檔日誌。
此時DBA又手動執行了測試歸檔備份的腳步，即將所有歸檔檔案備份到儲存上，備份完成後自動刪除所有歸檔。
從而導致了備庫端部分還沒有應用的歸檔檔案被備份後刪除。

解決過程：

檢視備庫歸檔應用和接收情況。

set line 300
select * from v$managed_standby;

手動啟動備庫節點1 mrp程式，啟動非實時應用。

ALTER DATABASE RECOVER MANAGED STANDBY DATABASE  DISCONNECT FROM SESSION;

告警日誌：

MRP0 started with pid=62, OS id=23658926 
MRP0: Background Managed Standby Recovery process started (cjcdb1)
......
Thu Oct 15 19:50:50 2020
Managed Standby Recovery not using Real Time Apply

備庫正常接收主庫歸檔

Thu Oct 15 19:38:36 2020
Archived Log entry 10425 added for thread 1 sequence 99925 ID 0xffffffffd79553a3 dest 1:
Thu Oct 15 19:38:38 2020
RFS[1]: Selected log 17 for thread 2 sequence 101427 dbid -678121821 branch 829764899
Thu Oct 15 19:38:38 2020
Archived Log entry 10426 added for thread 2 sequence 101426 ID 0xffffffffd79553a3 dest 1:
RFS[1]: Selected log 18 for thread 2 sequence 101428 dbid -678121821 branch 829764899
Thu Oct 15 19:38:47 2020
Archived Log entry 10427 added for thread 2 sequence 101427 ID 0xffffffffd79553a3 dest 1:
Thu Oct 15 19:38:48 2020
Archived Log entry 10428 added for thread 1 sequence 99926 ID 0xffffffffd79553a3 dest 1:
Thu Oct 15 19:38:48 2020
RFS[2]: Selected log 11 for thread 1 sequence 99927 dbid -678121821 branch 829764899
Thu Oct 15 19:46:56 2020
RFS[5]: Assigned to RFS process 22937884
RFS[5]: Opened log for thread 1 sequence 99926 dbid -678121821 branch 829764899
Archived Log entry 10429 added for thread 1 sequence 99926 rlc 829764899 ID 0xd79553a3 dest 2:

但是沒有應用主庫歸檔，因為部分歸檔日誌已經刪除。

檢視告警日誌，thread 1 中 缺少sequence 99924-99925，導致備庫端應用歸檔日誌中斷。

Thu Oct 15 19:49:27 2020
Media Recovery Waiting for thread 1 sequence 99924
Fetching gap sequence in thread 1, gap sequence 99924-99925
Thu Oct 15 19:51:20 2020
FAL[client]: Failed to request gap sequence
 GAP - thread 1 sequence 99924-99925
 DBID 3616845475 branch 829764899
FAL[client]: All defined FAL servers have been attempted.
------------------------------------------------------------
Check that the CONTROL_FILE_RECORD_KEEP_TIME initialization
parameter is defined to a value that's sufficiently large
enough to maintain adequate log switch information to resolve
archivelog gaps.
------------------------------------------------------------
Thu Oct 15 20:00:16 2020

檢視備庫節點1本地歸檔日誌，顯示已經沒有thread 1 sequence 99924-99925了。

rman target /
list archivelog all;

檢視控制檔案記錄的備份中是存在thread 1 sequence 99924-99925歸檔

list backup of archivelog all;

手動將缺失的歸檔restore

restore archivelog sequence between 99924 and 99925 thread 1;

檢視告警日誌，99924正常恢復了

Thu Oct 15 19:08:51 2020
Media Recovery Log +BJ_SY_POS_ARCH/arch/2_101424_829764899.dbf
Media Recovery Log +BJ_SY_POS_ARCH/arch/1_99923_829764899.dbf
Media Recovery Waiting for thread 1 sequence 99924 (in transit)

thread 1恢復後，又提示thread 2 歸檔丟失，thread 2, gap sequence 101424-101427

Thu Oct 15 20:32:05 2020
Fetching gap sequence in thread 2, gap sequence 101424-101427
Thu Oct 15 20:33:58 2020
FAL[client]: Failed to request gap sequence
 GAP - thread 2 sequence 101424-101427
 DBID 3616845475 branch 829764899
FAL[client]: All defined FAL servers have been attempted.
------------------------------------------------------------
Check that the CONTROL_FILE_RECORD_KEEP_TIME initialization
parameter is defined to a value that's sufficiently large
enough to maintain adequate log switch information to resolve
archivelog gaps.
------------------------------------------------------------

手動將缺失的歸檔restore

restore archivelog sequence between 101424 and 101427 thread 2;

檢視告警日誌，mrp可以正常恢復歸檔了

Thu Oct 15 20:58:20 2020
Media Recovery Log +BJ_SY_POS_ARCH/arch/2_101424_829764899.dbf
Media Recovery Log +BJ_SY_POS_ARCH/arch/2_101425_829764899.dbf
Media Recovery Log +BJ_SY_POS_ARCH/arch/2_101426_829764899.dbf
Media Recovery Log +BJ_SY_POS_ARCH/arch/1_99925_829764899.dbf
Media Recovery Log +BJ_SY_POS_ARCH/arch/1_99926_829764899.dbf
Media Recovery Log +BJ_SY_POS_ARCH/arch/2_101427_829764899.dbf

歡迎關注我的微信公眾號"IT小Chen"，共同學習，共同成長！！ ！