fusion-io 卡使用率 100% 導致 Oracle RAC instance crash 問題

ysjxjf發表於2015-07-21

該問題根因，初步懷疑是 fusion-io 卡 fireware 、驅動層面的問題。

【濱江 4.1 業務點資料庫 alert 日誌】

Fri Jul 10 16:52:59 2015

Timed out trying to start process PZ98.

Fri Jul 10 16:53:03 2015

Timed out trying to start process PZ97.

Fri Jul 10 16:53:07 2015

Timed out trying to start process PZ96.

Fri Jul 10 16:54:21 2015

IPC Send timeout detected. Receiver ospid 18745 [

Fri Jul 10 16:54:48 2015

PMON failed to acquire latch, see PMON dump

Fri Jul 10 16:55:14 2015

Errors in file /opt/oradiag/diag/rdbms/irracd_bj/irracd1/trace/irracd1_ora_25754.trc (incident=1062153):

ORA-00445: background process "PZ95" did not start after 120 seconds

Incident details in: /opt/oradiag/diag/rdbms/irracd_bj/irracd1/incident/incdir_1062153/irracd1_ora_25754_i1062153.trc

Fri Jul 10 16:55:22 2015

Dumping diagnostic data in directory=[cdmp_20150710165522], requested by (instance=1, osid=25754), summary=[incident=1062153].

Fri Jul 10 16:55:33 2015

Errors in file /opt/oradiag/diag/rdbms/irracd_bj/irracd1/trace/irracd1_lmon_18745.trc:

Fri Jul 10 16:55:33 2015

Received an instance abort message from instance 2

Please check instance 2 alert and LMON trace files for detail.

Fri Jul 10 16:55:33 2015

Received an instance abort message from instance 2

Please check instance 2 alert and LMON trace files for detail.

Fri Jul 10 16:55:33 2015

LGWR waiting for instance termination

LMD0 (ospid: 18747): terminating the instance due to error 481

Fri Jul 10 16:55:33 2015

opiodr aborting process unknown ospid (26149) as a result of ORA-1092

Fri Jul 10 16:55:33 2015

opiodr aborting process unknown ospid (15947) as a result of ORA-1092

Fri Jul 10 16:55:33 2015

opiodr aborting process unknown ospid (25849) as a result of ORA-1092

Fri Jul 10 16:55:33 2015

opiodr aborting process unknown ospid (26024) as a result of ORA-1092

Fri Jul 10 16:55:33 2015

opiodr aborting process unknown ospid (24509) as a result of ORA-1092

【2 號點 iostat 】

zzz ***Fri Jul 10 16:48:05 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 965.00 150.00 7720.00 1639.50 16.79 0.00 0.09 0.00 0.00

fioc 0.00 0.00 2983.00 344.00 47888.00 3256.00 30.74 0.00 0.13 0.00 0.00

fiob 0.00 0.00 2785.00 300.00 46392.00 2952.00 31.99 0.00 0.14 0.00 0.00

zzz ***Fri Jul 10 16:48:32 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 431.00 128.00 3480.00 1448.00 17.63 0.00 0.10 0.00 0.00

fioc 0.00 0.00 1539.00 296.00 38408.00 2783.50 44.90 0.00 0.13 0.00 0.00

fiob 0.00 0.00 1259.00 245.00 35952.00 2584.00 51.24 0.00 0.17 0.00 0.00

zzz ***Fri Jul 10 16:48:59 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 47.00 8.00 376.00 80.00 16.58 0.00 0.07 0.00 0.00

fioc 0.00 0.00 88.00 14.00 752.00 128.00 17.25 0.00 0.10 0.00 0.00

fiob 0.00 0.00 32.00 12.00 272.00 136.00 18.55 302.30 0.07 22.73 100.00

zzz ***Fri Jul 10 16:49:25 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 0.00 1.00 0.00 16.00 32.00 0.00 0.00 0.00 0.00

fioc 0.00 0.00 3.00 0.00 48.00 0.00 32.00 0.00 0.00 0.00 0.00

fiob 0.00 0.00 3.00 2.00 48.00 32.00 32.00 359.00 0.20 200.00 100.00

zzz ***Fri Jul 10 16:49:52 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 0.00 1.00 0.00 16.00 32.00 0.00 0.00 0.00 0.00

fioc 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

fiob 0.00 0.00 2.00 2.00 32.00 32.00 32.00 369.00 0.00 250.00 100.00

zzz ***Fri Jul 10 16:50:19 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 0.00 1.00 0.00 16.00 32.00 0.00 1.00 0.00 0.00

fioc 0.00 0.00 9.00 0.00 144.00 0.00 32.00 0.00 0.44 0.00 0.00

fiob 0.00 0.00 6.00 2.00 96.00 32.00 32.00 370.37 0.12 125.12 100.10

zzz ***Fri Jul 10 16:50:46 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 0.00 1.00 0.00 16.00 32.00 0.00 0.00 0.00 0.00

fioc 0.00 0.00 2.00 0.00 32.00 0.00 32.00 0.00 0.50 0.00 0.00

fiob 0.00 0.00 1.00 2.00 16.00 32.00 32.00 374.75 0.33 334.00 100.20

zzz ***Fri Jul 10 16:51:13 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 0.00 1.00 0.00 16.00 32.00 0.00 0.00 0.00 0.00

fioc 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

fiob 0.00 0.00 2.00 2.00 32.00 32.00 32.00 376.62 0.00 249.75 99.90

zzz ***Fri Jul 10 16:51:40 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 0.00 1.00 0.00 16.00 32.00 0.00 0.00 0.00 0.00

fioc 0.00 0.00 1.00 0.00 8.00 0.00 16.00 0.00 2.00 0.00 0.00

fiob 0.00 0.00 2.00 2.00 32.00 32.00 32.00 381.38 0.00 250.25 100.10

zzz ***Fri Jul 10 16:52:07 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

fioc 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

fiob 0.00 0.00 1.00 0.00 16.00 0.00 32.00 382.38 0.00 1001.00 100.10

zzz ***Fri Jul 10 16:52:34 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 0.00 1.00 0.00 16.00 32.00 0.00 0.00 0.00 0.00

fioc 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

fiob 0.00 0.00 3.00 2.00 48.00 32.00 32.00 384.00 0.20 200.00 100.00

zzz ***Fri Jul 10 16:53:01 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 0.00 1.00 0.00 16.00 32.00 0.00 0.00 0.00 0.00

fioc 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

fiob 0.00 0.00 1.00 2.00 16.00 32.00 32.00 385.00 0.00 333.33 100.00

zzz ***Fri Jul 10 16:53:28 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 0.00 1.00 0.00 16.00 32.00 0.00 0.00 0.00 0.00

fioc 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

fiob 0.00 0.00 1.00 2.00 16.00 32.00 32.00 387.39 0.00 333.67 100.10

zzz ***Fri Jul 10 16:53:55 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 0.00 1.00 0.00 16.00 32.00 0.00 0.00 0.00 0.00

fioc 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

fiob 0.00 0.00 1.00 2.00 16.00 32.00 32.00 389.78 0.00 334.00 100.20

zzz ***Fri Jul 10 16:54:21 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 0.00 6.00 0.00 96.00 32.00 0.00 0.00 0.00 0.00

fioc 0.00 0.00 7.00 0.00 560.00 0.00 160.00 0.00 0.57 0.00 0.00

fiob 0.00 0.00 13.00 21.00 656.00 336.00 58.35 393.00 0.68 29.41 100.00

zzz ***Fri Jul 10 16:54:47 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 1.00 1.00 4.00 16.00 20.00 0.00 0.00 0.00 0.00

fioc 0.00 0.00 42.00 0.00 4916.00 0.00 234.10 0.00 0.21 0.00 0.00

fiob 0.00 0.00 39.00 2.00 4880.00 32.00 239.61 394.79 0.24 24.44 100.20

zzz ***Fri Jul 10 16:55:14 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 0.00 1.00 0.00 16.00 32.00 0.00 0.00 0.00 0.00

fioc 0.00 0.00 38.00 0.00 4864.00 0.00 256.00 0.00 0.47 0.00 0.00

fiob 0.00 0.00 38.00 2.00 4864.00 32.00 244.80 395.39 0.53 25.02 100.10

zzz ***Fri Jul 10 16:55:41 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 0.00 2.00 0.00 16.50 16.50 0.00 0.00 0.00 0.00

fioc 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

fiob 0.00 0.00 2.00 2.00 32.00 32.00 32.00 0.00 2.75 0.00 0.00

zzz ***Fri Jul 10 16:56:08 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 7714.00 3434.00 62096.00 31312.00 16.76 1.99 0.25 0.09 99.70

fioc 0.00 0.00 5556.00 11181.00 50304.00 94811.50 17.34 0.00 0.71 0.00 0.00

fiob 0.00 0.00 5524.00 8338.00 48872.00 68704.00 16.96 2.99 0.24 0.07 99.70

zzz ***Fri Jul 10 16:56:35 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 580.00 215.00 4672.00 416.00 12.80 0.00 0.09 0.00 0.00

fioc 0.00 0.00 1261.00 150.00 10560.00 279.00 15.36 0.00 0.11 0.00 0.00

fiob 0.00 0.00 1040.00 4.00 8944.00 64.00 17.26 0.00 0.12 0.00 0.00

zzz ***Fri Jul 10 16:57:02 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 396.00 131.00 3168.00 346.50 13.34 0.00 0.13 0.00 0.00

fioc 0.00 0.00 753.00 142.00 6064.00 243.50 14.09 0.00 0.12 0.00 0.00

fiob 0.00 0.00 662.00 10.00 5336.00 160.00 16.36 0.00 0.15 0.00 0.00

zzz ***Fri Jul 10 16:57:29 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 473.00 147.00 3784.00 352.00 13.34 0.00 0.12 0.00 0.00

fioc 0.00 0.00 1068.00 159.00 9064.00 303.50 15.27 0.00 0.13 0.00 0.00

fiob 0.00 0.00 911.00 8.00 7888.00 128.00 17.45 0.00 0.13 0.00 0.00

zzz ***Fri Jul 10 16:57:56 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 320.00 157.00 2560.00 288.00 11.94 0.00 0.09 0.00 0.00

fioc 0.00 0.00 719.00 146.00 6080.00 263.50 14.67 0.00 0.14 0.00 0.00

fiob 0.00 0.00 653.00 4.00 5600.00 64.00 17.24 0.00 0.15 0.00 0.00

zzz ***Fri Jul 10 16:58:23 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 339.00 138.00 2712.00 347.00 12.83 0.00 0.13 0.00 0.00

fioc 0.00 0.00 814.00 160.00 6840.00 348.50 14.76 0.00 0.13 0.00 0.00

fiob 0.00 0.00 727.00 4.00 6216.00 64.00 17.18 0.00 0.12 0.00 0.00

zzz ***Fri Jul 10 16:58:50 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 974.00 660.00 7792.00 1391.50 11.24 0.00 0.11 0.00 0.00

fioc 0.00 0.00 1533.00 616.00 12632.00 1311.50 12.98 0.00 0.10 0.00 0.00

fiob 0.00 0.00 1257.00 4.00 10408.00 64.00 16.61 0.00 0.15 0.00 0.00

zzz ***Fri Jul 10 16:59:17 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 869.00 612.00 6952.00 1312.00 11.16 0.00 0.10 0.00 0.00

fioc 0.00 0.00 1425.00 581.00 11728.00 1252.00 12.94 0.00 0.11 0.00 0.00

fiob 0.00 0.00 1189.00 4.00 9896.00 64.00 16.70 0.00 0.15 0.00 0.00

zzz ***Fri Jul 10 16:59:44 CST 2015

Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

fioa 0.00 0.00 712.00 583.00 5728.00 1301.00 10.86 0.78 0.10 0.60 78.10

fioc 0.00 0.00 1046.00 538.00 9016.00 1179.50 12.87 0.00 0.12 0.00 0.00

fiob 0.00 0.00 936.00 4.00 8216.00 64.00 17.62 0.22 0.17 0.23 21.80

bash-3.2#

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/66634/viewspace-1743751/，如需轉載，請註明出處，否則將追究法律責任。

相關文章

vip/public ip斷網，導致instance crash
2011-12-27
【RAC】處理因ons導致CPU使用率過高的問題
2010-10-05
Oracle SYSAUX 表空間使用率100% 導致的DB 故障
2021-08-25
OracleUX
Latch導致MySQL Crash
2016-05-18
MySql
【Oracle】-Difference between Instance recovery and Crash Recovery
2012-04-20
Oracle
oracle 92 oem 錯誤的更改oracle sga後，導致instance無法啟動的問題解決
2008-11-18
Oracle
oracle 資料庫光纖卡出問題導致檔案系統I/OERROR
2009-01-19
Oracle資料庫Error
克隆ORACLE軟體的導致的問題
2009-11-09
Oracle
oracle rac歸檔使用nfs 導致oracle hung
2013-08-12
OracleNFS
Overview of Instance and Crash Recovery
2011-03-27
View
記一次儲存問題導致的rac故障案例
2022-10-09
ASMCMD +ASM 例項 Connected to an idle instance. 一個 / 導致的問題
2015-01-07
ASM
ORACLE資料檔名導致的奇怪問題
2012-10-30
Oracle
Oracle 19C RAC open_links_per_instance引數問題
2021-03-16
Oracle
如何定位導致Crash的程式碼位置
2014-03-11
RAC Instance Crash with ORA-600: [Kjbmprlst:Shadow] (Doc ID 740028.1)
2013-12-09
Oracle資料庫導致效能問題的可能原因
2014-04-01
Oracle資料庫
一次oracle行級鎖導致的問題
2015-04-12
Oracle
Oracle監聽日誌過大導致的問題
2015-06-09
Oracle
enq: US - contention問題 undo 使用率100%
2017-08-28
ENQ
【問題處理】恢復因誤生成PFILE 導致RAC的SPFILE無效的問題
2010-06-27
執行SQL語句導致mysqld的crash
2010-06-17
MySql
oracle兩節點RAC，由於gipc導致某節點crs無法啟動問題分析
2019-01-14
Oracle
Oracle 10G RAC歸檔引數格式問題導致歸檔至ASM時出錯
2013-02-01
Oracle 10gASM
rac 本地監聽問題導致資料斷斷續續連線
2014-02-12
Oracle RAC啟動因CTSS導致的異常
2020-05-25
Oracle
oracle RAC 環境解決sequence 不一致問題
2011-10-14
Oracle
Oracle全部索引丟失導致的效率問題處理
2014-02-17
Oracle索引
Oracle9i, 10g RAC中管理SCN演算法不同導致的資料問題
2011-03-14
Oracle演算法
故障分析 | MySQL : slave_compressed_protocol 導致 crash
2021-12-28
MySqlProtocol
解決new Thread().Start導致高併發CPU 100%的問題
2022-01-20
thread
ANALYZE導致的阻塞問題分析
2020-08-17
MySQL Flush導致的等待問題
2015-08-20
MySql
Oracle程式導致CPU 100%解決步驟(轉)
2007-08-15
Oracle
Oracle RAC日常運維-NetworkManager導致叢集故障
2019-06-08
Oracle運維
GoldenGate MSSQL Oracle的主鍵問題導致的錯誤
2013-07-16
GoSQLOracle
ORACLE自動重編譯包導致查詢被卡
2016-06-17
Oracle編譯
【BUG】RAC instance eviction in oracle11.2.0.4
2017-06-16
Oracle