磁碟故障引起的系統變慢定位

OS :solaris 10

DBMS:Oracle 10.2.0.3.0

Canada 某運營商報系統執行變的異常慢，造成資料積壓。

先出個awr 報告

log file sync                        45,755      33,981    743   59.7     Commit
CPU time                                         14,009          24.6
db file parallel write               63,119      11,374    180   20.0 System I/O
db file sequential read             736,650       3,692      5    6.5   User I/O
log file parallel write               9,148       3,081    337    5.4 System I/O

絕大部分為IO引起的。

先檢查 log日誌情況

select * from v$logfile;

有64個50m的線上日誌組。明顯不合理先

增加5個2g  的日誌組\

alter databae add logfile group 66 '/filepath/redolog66.log' size 2g;

.

alter database drop logfile group 1;
alter database drop logfile group 2;
..

alter database drop logfile group 64;
alter database drop logfile group 65;

觀察問題仍然存在。

比較幸運的是找到了一個前個月的awr 報告，一比較負載遠不如從前。

觀察系統IO情況

device    r/s    w/s   kr/s   kw/s wait actv  svc_t  %w  %b

md0       0.0    0.0    0.0    0.0  0.0  0.0    0.0   0   0

md1       0.0    0.0    0.0    0.0  0.0  0.0    0.0   0   0

md3       0.0    0.0    0.0    0.0  0.0  0.0    0.0   0   0

md5       0.0    0.0    0.0    0.0  0.0  0.0    0.0   0   0

md10      0.0    0.0    0.0    0.0  0.0  0.0    0.0   0   0

md11      0.0    0.0    0.0    0.0  0.0  0.0    0.0   0   0

md13      0.0    0.0    0.0    0.0  0.0  0.0    0.0   0   0

md15      0.0    0.0    0.0    0.0  0.0  0.0    0.0   0   0

md20      0.0    0.0    0.0    0.0  0.0  0.0    0.0   0   0

md21      0.0    0.0    0.0    0.0  0.0  0.0    0.0   0   0

md23      0.0    0.0    0.0    0.0  0.0  0.0    0.0   0   0

md25      0.0    0.0    0.0    0.0  0.0  0.0    0.0   0   0

sd0       0.0    0.2    0.0    0.1  0.0  0.0    3.9   0   0

sd1       0.0    0.2    0.0    0.1  0.0  0.0    4.2   0   0

sd2       0.0    0.0    0.0    0.0  0.0  0.0    0.0   0   0

sd3       0.0    0.0    0.0    0.0  0.0  0.0    0.0   0   0

sd4       0.0    0.0    0.0    0.0  0.0  0.0    0.0   0   0

ssd5     13.0  106.0  126.4  847.7  0.0  1.8   15.4   0 100

ssd6      0.0    3.4    0.0    1.8  0.0  0.1   34.0   0   2

ssd7      0.0    0.0    0.0    0.0  0.0  0.0    0.0   0   0

ssd8      0.0    0.0    0.0    0.0  0.0  0.0    0.0   0   0

ssd9      0.0    0.0    0.0    0.0  0.0  0.0    0.0   0   0

nfs1      0.0    0.0    0.0    0.0  0.0  0.0    0.0   0   0

每秒的寫出只有840k左右，這遠不是一磁陣的應有的效能表現

但是cp 一個大檔案效能和讀的效能卻還可以。通知前線同事先檢查一下裝置情況

磁陣的cache 特性，我會在其它的日誌介紹.

反饋是cache 的電池已過期，cache 禁用。協調更換電池。

end!