Oracle 目錄許可權丟失故障恢復

環境說明：

DB:Oracle 11.2.0.4.0 RAC 兩節點

OS:Redhat 7.6

故障說明：

突然收到如下告警

【XXXX】[2021-xx-xx xx:xx:xx]-節點[CJC系統資料庫節點2],連線失敗!java.sql.SQLRecoverableException: IO Error: Got minus one from a read call[XXX][XX]

問題分析：

根據Got minus one from a read call提示，根據以往經驗，初步懷疑資料庫連線數滿了。

1 首先要確定影響範圍。

檢查資料庫是否可以連線。

ssh登入到本地，執行sqlplus。

sqlplus / as sysdba

資料庫連線登入，但是無法執行任何SQL語句，自動斷開連線，看現象又不像連線數滿的問題。

目前影響範圍:RAC節點1可以正常使用，節點2無法對外提供服務，如果有應用單指節點2，就會對業務有影響了。

2 檢查資料庫告警日誌

發現資料庫告警日誌最近幾天一直沒有更新過，即資料庫異常後，告警日誌沒有任何輸出資訊。

3 檢查RAC叢集日誌

tail -10000 $GRID_HOME/log/`hostname`/alert*.log|more

發現故障期間有如下錯誤：

2021-04-16 18:31:01.023: 
[/oracle/crs/bin/oraagent.bin(2961)]CRS-5013:Agent "/oracle/crs/bin/oraagent.bin" failed to start process "/oracle/crs/opmn/bin/onsctli" for action "check": details at "(:CLSN00008:)" in "/oracle/crs/log/cjcdb02/agent/crsd/oraagent_grid//oraagent_grid.log"
2021-04-16 18:32:01.021: 
[/oracle/crs/bin/oraagent.bin(2961)]CRS-5013:Agent "/oracle/crs/bin/oraagent.bin" failed to start process "/oracle/crs/opmn/bin/onsctli" for action "check": details at "(:CLSN00008:)" in "/oracle/crs/log/cjcdb02/agent/crsd/oraagent_grid//oraagent_grid.log"

根據提示，繼續檢視oraagent_grid.log日誌

vi /oracle/crs/log/cjcdb02/agent/crsd/oraagent_grid//oraagent_grid.log

發現瞭如下日誌：

2021-04-16 18:33:01.030: [ora.ons][3472258816]{2:31203:2} [check] (:CLSN00008:) category: -1, operation: fail, loc: canexec2, OS error: 0, other: no exe permission, file [/oracle/crs/opmn/bin/onsctli]
2021-04-16 18:33:01.030: [ora.ons][3472258816]{2:31203:2} [check] clsnUtils::error Exception type=2 string=
可疑點如下：

no exe permission, file [/oracle/crs/opmn/bin/onsctli]

檢視onsctli檔案許可權

[root@cjcdb02 ~]# ls -l /oracle/crs/opmn/bin/onsctli

-rwx------ 1 oracle oinstall 13760 Jan  9  2020 /oracle/crs/opmn/bin/onsctli

在檢視正常節點檔案許可權

[root@cjcdb01 db_check]# ls -l /oracle/crs/opmn/bin/onsctli

-rwx------ 1 grid oinstall 13760 Jan  9  2020 /oracle/crs/opmn/bin/onsctli

可以看到，檔案所有者由grid變成了oracle。

許可權為什麼突然變了呢？除了這個檔案以外，還有其他檔案許可權也變了嗎？

繼續檢視許可權，發現ORACLE_HOME,GRID_HOME下所有檔案都變了，許可權都變成了oracle:oinstall

4 問題原因

為什麼檔案許可權變了，由於不是我負責的資料庫，具體原因不清楚，

估計是廠商在除錯系統時誤操作了，更改許可權是指定了錯誤的目錄並且接R遞迴修改了目錄下所有檔案(當前系統沒有正式上線)。

5 解決方案

當前RAC第二節點ORACLE_HOME和GRID_HOME許可權丟失，由於之前沒有對檔案許可權做過備份，只能通過正常的節點1的許可權對比來修復節點2檔案許可權。
但是檔案數有80多萬，手動比對和修復顯然不現實，其實ORACLE已經提供了工具，可以批量生成指定目錄下所有檔案許可權資訊。
可以參考MOS：

Script to capture and restore file permission in a directory (for eg. ORACLE_HOME) (Doc ID1515018.1)

具體操作如下：
(1) 下載permission.pl指令碼
(2) 上傳到節點1(正常節點)
(3) 修改指令碼許可權
$ chmod 755 permission.pl
(4) 捕獲某目錄下所有檔案許可權資訊
./permission.pl <Path name to capture permission>
(5) 將執行指令碼生成的檔案上傳到節點2(許可權異常節點)
有如下兩個指令碼：
a. permission-<time stamp> - This contains file permission in octal value, owner and group information of the files captured
b. restore-perm-<time stamp>.cmd - This contains command to change the permission, owner, and group of the captured files
(6) 根據restore-perm-<time stamp>.cmd指令碼內容，修改目錄位置，將節點1目錄修改為節點2目錄。
例如：
:%s/cjcdb01/cjcdb02/g
:%s/ASM1/ASM2/g
(7) 節點2執行修復後的restore-perm-<time stamp>.cmd指令碼
(8) 重啟節點2crs及例項。

6 問題重現測試

(1)備份檔案

[root@cjcdb02 ~]# cd /oracle/crs/bin/
[root@cjcdb02 bin]# ./crsctl stop crs
[root@cjcdb02 ~]# tar -zcvf oracle_20210416bak.tar.gz /oracle

(2)修改許可權，模擬誤操作

[root@cjcdb02 ~]# chown oracle.oinstall /oracle -R

(3)啟動資料庫

如果是在資料庫啟動情況下，修改的許可權，資料庫無法正常使用，無法通過shutdown immediate進行關閉，

可以使用shutdown abort方式關閉。

[oracle@cjcdb02 ~]$ sqlplus / as sysdba
SQL*Plus: Release 11.2.0.4.0 Production on Fri Apr 16 18:31:06 2021
Copyright (c) 1982, 2013, Oracle.  All rights reserved.
Connected to an idle instance.
SQL> startup
ORA-01078: failure in processing system parameters
ORA-01565: error in identifying file '+DATA/kxx/spfilekxx.ora'
ORA-17503: ksfdopn:10 Failed to open file +DATA/kxx/spfilekxx.ora
ORA-01034: ORACLE not available
ORA-27123: unable to attach to shared memory segment
Linux-x86_64 Error: 13: Permission denied
Additional information: 26
Additional information: 1310725

報錯:Permission denied

也無法關閉crs

[root@cjcdb02 bin]# ./crsctl stop crs
CRS-2791: Starting shutdown of Oracle High Availability Services-managed resources on 'cjcdb02'
CRS-2673: Attempting to stop 'ora.crsd' on 'cjcdb02'
CRS-2790: Starting shutdown of Cluster Ready Services-managed resources on 'cjcdb02'
CRS-2673: Attempting to stop 'ora.LISTENER.lsnr' on 'cjcdb02'
CRS-2673: Attempting to stop 'ora.ARCH.dg' on 'cjcdb02'
CRS-2673: Attempting to stop 'ora.OCR.dg' on 'cjcdb02'
CRS-2673: Attempting to stop 'ora.DATA.dg' on 'cjcdb02'
CRS-2677: Stop of 'ora.LISTENER.lsnr' on 'cjcdb02' succeeded
CRS-2673: Attempting to stop 'ora.cjcdb02.vip' on 'cjcdb02'
CRS-2677: Stop of 'ora.ARCH.dg' on 'cjcdb02' succeeded
CRS-2677: Stop of 'ora.DATA.dg' on 'cjcdb02' succeeded
CRS-2677: Stop of 'ora.cjcdb02.vip' on 'cjcdb02' succeeded
CRS-2672: Attempting to start 'ora.cjcdb02.vip' on 'cjcdb01'
CRS-2676: Start of 'ora.cjcdb02.vip' on 'cjcdb01' succeeded
CRS-2677: Stop of 'ora.OCR.dg' on 'cjcdb02' succeeded
CRS-2673: Attempting to stop 'ora.asm' on 'cjcdb02'
CRS-2677: Stop of 'ora.asm' on 'cjcdb02' succeeded
CRS-2673: Attempting to stop 'ora.ons' on 'cjcdb02'
CRS-5013: Agent "/oracle/crs/bin/oraagent.bin" failed to start process "/oracle/crs/opmn/bin/onsctli" for action "stop": details at "(:CLSN00008:)" in "/oracle/crs/log/cjcdb02/agent/crsd/oraagent_grid//oraagent_grid.log"
CRS-5013: Agent "/oracle/crs/bin/oraagent.bin" failed to start process "/oracle/crs/opmn/bin/onsctli" for action "check": details at "(:CLSN00008:)" in "/oracle/crs/log/cjcdb02/agent/crsd/oraagent_grid//oraagent_grid.log"
CRS-2675: Stop of 'ora.ons' on 'cjcdb02' failed
CRS-2679: Attempting to clean 'ora.ons' on 'cjcdb02'
CRS-5013: Agent "/oracle/crs/bin/oraagent.bin" failed to start process "/oracle/crs/opmn/bin/onsctli" for action "clean": details at "(:CLSN00008:)" in "/oracle/crs/log/cjcdb02/agent/crsd/oraagent_grid//oraagent_grid.log"
CRS-5013: Agent "/oracle/crs/bin/oraagent.bin" failed to start process "/oracle/crs/opmn/bin/onsctli" for action "check": details at "(:CLSN00008:)" in "/oracle/crs/log/cjcdb02/agent/crsd/oraagent_grid//oraagent_grid.log"
CRS-2678: 'ora.ons' on 'cjcdb02' has experienced an unrecoverable failure
CRS-0267: Human intervention required to resume its availability.
CRS-2799: Failed to shut down resource 'ora.net1.network' on 'cjcdb02'
CRS-2799: Failed to shut down resource 'ora.ons' on 'cjcdb02'
CRS-2799: Failed to shut down resource 'ora.cjcdb02.ons' on 'cjcdb02'
CRS-2794: Shutdown of Cluster Ready Services-managed resources on 'cjcdb02' has failed
CRS-5022: Stop of resource "ora.crsd" failed: current state is "UNKNOWN"
CRS-2675: Stop of 'ora.crsd' on 'cjcdb02' failed
CRS-2799: Failed to shut down resource 'ora.crsd' on 'cjcdb02'
CRS-2795: Shutdown of Oracle High Availability Services-managed resources on 'cjcdb02' has failed
CRS-4687: Shutdown command has completed with errors.
CRS-4000: Command Stop failed, or completed with errors.

[root@cjcdb02 bin]# ./crsctl stop crs -f
CRS-2791: Starting shutdown of Oracle High Availability Services-managed resources on 'cjcdb02'
CRS-2673: Attempting to stop 'ora.crsd' on 'cjcdb02'
CRS-2790: Starting shutdown of Cluster Ready Services-managed resources on 'cjcdb02'
CRS-2673: Attempting to stop 'ora.net1.network' on 'cjcdb02'
CRS-2679: Attempting to clean 'ora.ons' on 'cjcdb02'
CRS-2677: Stop of 'ora.net1.network' on 'cjcdb02' succeeded
CRS-5013: Agent "/oracle/crs/bin/oraagent.bin" failed to start process "/oracle/crs/opmn/bin/onsctli" for action "clean": details at "(:CLSN00008:)" in "/oracle/crs/log/cjcdb02/agent/crsd/oraagent_grid//oraagent_grid.log"
CRS-5013: Agent "/oracle/crs/bin/oraagent.bin" failed to start process "/oracle/crs/opmn/bin/onsctli" for action "check": details at "(:CLSN00008:)" in "/oracle/crs/log/cjcdb02/agent/crsd/oraagent_grid//oraagent_grid.log"
CRS-2680: Clean of 'ora.ons' on 'cjcdb02' failed
CRS-2799: Failed to shut down resource 'ora.ons' on 'cjcdb02'
CRS-2799: Failed to shut down resource 'ora.cjcdb02.ons' on 'cjcdb02'
CRS-2794: Shutdown of Cluster Ready Services-managed resources on 'cjcdb02' has failed
CRS-5022: Stop of resource "ora.crsd" failed: current state is "UNKNOWN"
CRS-2675: Stop of 'ora.crsd' on 'cjcdb02' failed
CRS-2799: Failed to shut down resource 'ora.crsd' on 'cjcdb02'
CRS-2795: Shutdown of Oracle High Availability Services-managed resources on 'cjcdb02' has failed
CRS-4687: Shutdown command has completed with errors.
CRS-4000: Command Stop failed, or completed with errors.

[root@cjcdb02 bin]# ps -ef|grep d.bin
root      1041     1  0 18:25 ?        00:00:02 /oracle/crs/bin/ohasd.bin reboot
root      1140     1  0 Apr06 ?        00:00:00 /opt/ant-agent/agent/embedded/bin/python -m upgrade
root      1370     1  0 Apr06 ?        00:00:49 /opt/ant-agent/agent/embedded/bin/python /opt/ant-agent/agent/bin/circled --config /opt/ant-agent/agent/proc --log-output /opt/ant-agent/agent/logs/circle.log --daemon
root      1375  1370  0 Apr06 ?        00:16:36 /opt/ant-agent/agent/embedded/bin/python -m framework
root      1380  1370  0 Apr06 ?        00:00:00 /opt/ant-agent/agent/embedded/bin/python ./bin/salt-minion -c ./conf
root      1381  1370  0 Apr06 ?        00:48:40 /opt/ant-agent/agent/embedded/bin/python ./agent/collect.py --use-local-forwarder
grid      1384     1  0 18:25 ?        00:00:00 /oracle/crs/bin/mdnsd.bin
root      1392  1370  0 Apr06 ?        00:12:53 /opt/ant-agent/agent/embedded/bin/python ./agent/forwarder.py
grid      1404     1  0 18:25 ?        00:00:00 /oracle/crs/bin/gpnpd.bin
grid      1421     1  0 18:25 ?        00:00:01 /oracle/crs/bin/gipcd.bin
root      1435     1  1 18:25 ?        00:00:06 /oracle/crs/bin/osysmond.bin
grid      1476     1  0 18:25 ?        00:00:02 /oracle/crs/bin/ocssd.bin
root      1512  1380  0 Apr06 ?        00:21:00 /opt/ant-agent/agent/embedded/bin/python ./bin/salt-minion -c ./conf
root      1514  1512  0 Apr06 ?        00:00:00 /opt/ant-agent/agent/embedded/bin/python ./bin/salt-minion -c ./conf
root      2191     1  0 18:26 ?        00:00:00 /oracle/crs/bin/octssd.bin reboot
grid      2342     1  0 18:26 ?        00:00:00 /oracle/crs/bin/evmd.bin
root      2732     1  0 18:26 ?        00:00:02 /oracle/crs/bin/crsd.bin reboot
root      8108 30161  0 18:35 pts/0    00:00:00 grep --color=auto d.bin

(4)檢視叢集日誌可以看到許可權有問題

叢集日誌

2021-04-16 18:31:01.023: 
[/oracle/crs/bin/oraagent.bin(2961)]CRS-5013:Agent "/oracle/crs/bin/oraagent.bin" failed to start process "/oracle/crs/opmn/bin/onsctli" for action "check": details at "(:CLSN00008:)" in "/oracle/crs/log/cjcdb02/agent/crsd/oraagent_grid//oraagent_grid.log"
[root@cjcdb02 ~]# vi /oracle/crs/log/cjcdb02/agent/crsd/oraagent_grid//oraagent_grid.log
2021-04-16 18:33:01.030: [ora.ons][3472258816]{2:31203:2} [check] (:CLSN00008:) category: -1, operation: fail, loc: canexec2, OS error: 0, other: no exe permission, file [/oracle/crs/opmn/bin/onsctli]
2021-04-16 18:33:01.030: [ora.ons][3472258816]{2:31203:2} [check] clsnUtils::error Exception type=2 string=
[root@cjcdb02 ~]# ls -l /oracle/crs/opmn/bin/onsctli
-rwx------ 1 oracle oinstall 13760 Jan  9  2020 /oracle/crs/opmn/bin/onsctli

(5)修復問題

節點1
[root@cjcdb01 db_check]# pwd
/db_check
[root@cjcdb01 db_check]# ls -lrth
total 4.0K
-rw-r--r-- 1 root root 2.4K Apr 16 12:31 permission.pl
[root@cjcdb01 db_check]# chmod 755 permission.pl 
[root@cjcdb01 db_check]# ./permission.pl /oracle
Following log files are generated
logfile      : permission-Fri-Apr-16-12-34-00-2021
Command file : restore-perm-Fri-Apr-16-12-34-00-2021.cmd
Linecount : 438065
[root@cjcdb01 db_check]# ll -rth
total 113M
-rwxr-xr-x 1 root root 2.4K Apr 16 12:31 permission.pl
-rw-r--r-- 1 root root  75M Apr 16 12:36 restore-perm-Fri-Apr-16-12-34-00-2021.cmd
-rw-r--r-- 1 root root  39M Apr 16 12:36 permission-Fri-Apr-16-12-34-00-2021

將生成的檔案拷貝到節點2

修改部分內容後執行

[root@cjcdb02 db_check]# vi restore-perm-Fri-Apr-16-12-34-00-2021.cmd 
:%s/cjcdb01/cjcdb02/g
[root@cjcdb02 db_check]# chmod 755 restore-perm-Fri-Apr-16-12-34-00-2021.cmd 
[root@cjcdb02 db_check]# ./restore-perm-Fri-Apr-16-12-34-00-2021.cmd

執行指令碼修復許可權過程中，檢視檔案許可權逐漸恢復，告警日誌

[root@cjcdb02 db_check]# tail -f /oracle/crs/log/cjcdb02/agent/crsd/oraagent_grid//oraagent_grid.log
2021-04-16 18:47:23.633: [    AGFW][3470157568]{2:31203:2} Agent received the message: AGENT_HB[Engine] ID 12293:542
2021-04-16 18:47:53.633: [    AGFW][3470157568]{2:31203:2} Agent received the message: AGENT_HB[Engine] ID 12293:546
2021-04-16 18:48:01.024: [ora.ons][3463853824]{2:31203:2} [check] Utils::getOracleHomeAttrib getEnvVar oracle_home:/oracle/crs
2021-04-16 18:48:01.024: [ora.ons][3463853824]{2:31203:2} [check] Utils::getOracleHomeAttrib oracle_home:/oracle/crs
2021-04-16 18:48:01.024: [ora.ons][3463853824]{2:31203:2} [check] Utils:execCmd action = 3 flags = 6 ohome = /oracle/crs/opmn/ cmdname = onsctli. 
2021-04-16 18:48:01.127: [ora.ons][3463853824]{2:31203:2} [check] (:CLSN00010:)ons is running ...
2021-04-16 18:48:01.127: [ora.ons][3463853824]{2:31203:2} [check] (:CLSN00010:)
2021-04-16 18:48:01.127: [ora.ons][3463853824]{2:31203:2} [check] execCmd ret = 0
2021-04-16 18:48:23.634: [    AGFW][3470157568]{2:31203:2} Agent received the message: AGENT_HB[Engine] ID 12293:550
2021-04-16 18:48:31.024: [CLSFRAME][3590973248] TM [MultiThread] is changing desired thread # to 2. Current # is 3
2021-04-16 18:48:31.024: [CLSFRAME][3472258816]{0:1:26} Worker thread is exiting in TM [MultiThread] to meet the desired count of 2. New count is 2
2021-04-16 18:48:53.634: [    AGFW][3470157568]{2:31203:2} Agent received the message: AGENT_HB[Engine] ID 12293:554
2021-04-16 18:49:01.025: [ora.ons][3463853824]{2:31203:2} [check] Utils::getOracleHomeAttrib getEnvVar oracle_home:/oracle/crs
2021-04-16 18:49:01.025: [ora.ons][3463853824]{2:31203:2} [check] Utils::getOracleHomeAttrib oracle_home:/oracle/crs
2021-04-16 18:49:01.025: [ora.ons][3463853824]{2:31203:2} [check] Utils:execCmd action = 3 flags = 6 ohome = /oracle/crs/opmn/ cmdname = onsctli. 
2021-04-16 18:49:01.127: [ora.ons][3463853824]{2:31203:2} [check] (:CLSN00010:)ons is running ...
2021-04-16 18:49:01.127: [ora.ons][3463853824]{2:31203:2} [check] (:CLSN00010:)
2021-04-16 18:49:01.127: [ora.ons][3463853824]{2:31203:2} [check] execCmd ret = 0
2021-04-16 18:49:01.127: [CLSFRAME][3590973248] TM [MultiThread] is changing desired thread # to 3. Current # is 2
2021-04-16 18:49:23.635: [    AGFW][3470157568]{2:31203:2} Agent received the message: AGENT_HB[Engine] ID 12293:558
[root@cjcdb02 ~]#  ls -l /oracle/crs/opmn/bin/onsctli
-rwx------ 1 grid oinstall 13760 Jan  9  2020 /oracle/crs/opmn/bin/onsctli

執行完指令碼後，可以正常重啟crs和db例項

[root@cjcdb02 bin]# ./crsctl start crs

CRS-4123: Oracle High Availability Services has been started.

crs啟動日誌如下：

2021-04-16 18:52:36.699: 
[ohasd(3331)]CRS-2112:The OLR service started on node cjcdb02.
2021-04-16 18:52:36.704: 
[ohasd(3331)]CRS-1301:Oracle High Availability Service started on node cjcdb02.
2021-04-16 18:52:36.704: 
[ohasd(3331)]CRS-8017:location: /etc/oracle/lastgasp has 2 reboot advisory log files, 0 were announced and 0 errors occurred
2021-04-16 18:52:39.979: 
[/oracle/crs/bin/orarootagent.bin(3423)]CRS-2302:Cannot get GPnP profile. Error CLSGPNP_NO_DAEMON (GPNPD daemon is not running). 
2021-04-16 18:52:44.379: 
[gpnpd(3566)]CRS-2328:GPNPD started on node cjcdb02. 
2021-04-16 18:52:46.727: 
[cssd(3640)]CRS-1713:CSSD daemon is started in clustered mode
2021-04-16 18:52:48.562: 
[ohasd(3331)]CRS-2767:Resource state recovery not attempted for 'ora.diskmon' as its target state is OFFLINE
2021-04-16 18:53:10.861: 
[cssd(3640)]CRS-1707:Lease acquisition for node cjcdb02 number 2 completed
2021-04-16 18:53:12.132: 
[cssd(3640)]CRS-1605:CSSD voting file is online: /dev/asm-ocr1; details in /oracle/crs/log/cjcdb02/cssd/ocssd.log.
2021-04-16 18:53:12.141: 
[cssd(3640)]CRS-1605:CSSD voting file is online: /dev/asm-ocr3; details in /oracle/crs/log/cjcdb02/cssd/ocssd.log.
2021-04-16 18:53:12.153: 
[cssd(3640)]CRS-1605:CSSD voting file is online: /dev/asm-ocr2; details in /oracle/crs/log/cjcdb02/cssd/ocssd.log.
2021-04-16 18:53:17.591: 
[cssd(3640)]CRS-1601:CSSD Reconfiguration complete. Active nodes are cjcdb01 cjcdb02 .
2021-04-16 18:53:19.987: 
[ctssd(4180)]CRS-2407:The new Cluster Time Synchronization Service reference node is host cjcdb01.
2021-04-16 18:53:19.987: 
[ctssd(4180)]CRS-2401:The Cluster Time Synchronization Service started on host cjcdb02.
2021-04-16 18:53:21.724: 
[ohasd(3331)]CRS-2767:Resource state recovery not attempted for 'ora.diskmon' as its target state is OFFLINE
2021-04-16 18:53:28.016: 
[ctssd(4180)]CRS-2403:The Cluster Time Synchronization Service on host cjcdb02 is in observer mode.
2021-04-16 18:53:28.989: 
[ctssd(4180)]CRS-2409:The clock on host cjcdb02 is not synchronous with the mean cluster time. No action has been taken as the Cluster Time Synchronization Service is running in observer mode.
2021-04-16 18:53:42.006: 
[crsd(4517)]CRS-1012:The OCR service started on node cjcdb02.
2021-04-16 18:53:42.017: 
[evmd(4254)]CRS-1401:EVMD started on node cjcdb02.
2021-04-16 18:53:43.061: 
[crsd(4517)]CRS-1201:CRSD started on node cjcdb02.

例項也可以正常啟動

[root@cjcdb02 bin]# su - oracle
Last login: Fri Apr 16 18:30:56 CST 2021 on pts/0
[oracle@cjcdb02 ~]$ sqlplus / as sysdba
SQL*Plus: Release 11.2.0.4.0 Production on Fri Apr 16 18:54:22 2021
Copyright (c) 1982, 2013, Oracle.  All rights reserved.
Connected to an idle instance.
SQL> startup
ORACLE instance started.
Total System Global Area 3724607488 bytes
Fixed Size    2258760 bytes
Variable Size  771754168 bytes
Database Buffers 2936012800 bytes
Redo Buffers   14581760 bytes
Database mounted.
Database opened.
SQL> select count(*),inst_id from gv$session group by inst_id;
  COUNT(*)    INST_ID
---------- ----------
42    1
42    2

注意：

雖然本次案例節點2可以正常恢復，但是在實際生產環境中，同一套RAC下不同節點的檔案及檔案許可權可能千差萬別，生產操作一定要有備份，能回退。

###2021-04-16 23:30 chenjuchao###