資料庫高io問題調查

一、現象：

rac叢集，有點慢，經檢查庫執行還正常，但io非常高。iowait達到100%。

二、分析與處理

iostat -d -x -k 2 |grep dm-

發現+DATADG對應的dm都繁忙，另外一個+ARCHDG對應的dm空閒。

判斷確實是資料庫請求導致磁碟繁忙。

查鎖，沒有。

查wait session，查awr報告，查到某些疑似wait程式，kill後沒有改善。

檢查cron裡expdp程式，log長時間沒有走，匯出hang住了。

expdp attach 進入任務檢視，執行kill_job，經過很長時間才kill成功。

但檢視io仍然100%。

cd /var/log/sa

檢視歷史io記錄tail sar10

示例：

19:50:01         0.00     17.38     66.10      0.00

20:00:01         0.00     17.20     57.43      0.00

20:10:01         0.00     27.44    243.20      0.00

20:20:01         0.04     18.60     68.21      0.00

20:30:01         0.00     17.75     69.12      0.00

從前一日的15：32之後出現dm磁碟佔用100%。

檢查與此時間點比較符合的程式。

ps -eo pid,lstart,etime,cmd |grep 'Fri Dec 11'

查到3個pid，是'LOCAL=NO'程式。

檢查對應的spid、sid、session、sql_text，進行分析。

kill後，還是 磁碟佔用100%，但過半小時後，io降下來了。