執行ORACLE資料庫的AIX Kernel CPU使用率高達40%的排查

還不算暈發表於2016-01-10
遇到一次AIX 5.3系統kernel使用在40%左右,syscall 2000K以上;
在執行ORACLE資料庫的主機上,一般來說CPU kernel使用率高,多為記憶體分頁問題,或者資料庫的latch free等待。或者是系統其它程式異常了。
如下為vmstat的輸出:
oracle@AA_pri.prod:/oracle>vmstat 2 5
System configuration: lcpu=10 mem=40960MB
kthr    memory              page              faults        cpu    
----- ----------- ------------------------ ------------ -----------
 r  b   avm   fre  re  pi  po  fr   sr  cy  in   sy  cs us sy id wa
14  0 1263554 1033532   0   0   0   0    0   0   8 2666774 800 64 36  0  0
14  0 1263555 1033531   0   0   0   0    0   0   6 2464021 636 64 36  0  0
14  0 1263555 1033531   0   0   0   0    0   0  15 2733151 765 64 36  0  0
15  0 1263555 1033531   0   0   0   0    0   0  44 2330788 19210 63 37  0  0
15  0 1263555 1033531   0   0   0   0    0   0  21 2497598 22673 63 37  0  0

排查:
在資料庫層面,可以通過statspack或者AWR來檢視latch free等待;
在主機層面:
1.可以檢視記憶體分頁使用情況。
2.找到使用Kernel CPU較多的程式;
  --對於確認是哪些程式使用大量Kernel CPU,在AIX上可以通過tprof -x sleep 60命令來監測。
  --tprof -x sleep 60--->取樣60秒,在當前目錄生成sleep.prof檔案。
內容如下:
AA_pri:/tmp/tools/nmon# more sleep.prof
Configuration information
=========================
System: AIX 5.3 Node: mrp_pri Machine: 00C3E0A04C00
Tprof command was:
    tprof -x sleep 60
Trace command was:
    /usr/bin/trace -ad -M -L 1118055628 -T 500000 -j 000,00A,001,002,003,38F,005,006,134,139,5A2,5A5,465,234, -o -  
Total Samples = 60025
Traced Time = 60.03s (out of a total execution time of 60.03s)
<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<

Process                                Freq  Total Kernel   User Shared  Other
=======                                ====  ===== ======   ==== ======  =====
oracleaaa                               48  87.51  61.57  12.89  12.91   0.13
AAALIBR                                   2   6.01   0.15   5.86   0.00   0.00
aioserver                                20   2.53   2.53   0.00   0.00   0.00
lrud                                      3   1.39   1.39   0.00   0.00   0.00
kbiod                                     5   0.91   0.91   0.00   0.00   0.00
PID19886                                  1   0.26   0.26   0.00   0.00   0.00
PID189552                                 1   0.26   0.26   0.00   0.00   0.00
PID191814                                 1   0.26   0.26   0.00   0.00   0.00
PID191820                                 1   0.23   0.23   0.00   0.00   0.00
PID19880                                  1   0.23   0.23   0.00   0.00   0.00
rtcmd                                     1   0.13   0.13   0.00   0.00   0.00
/usr/bin/topas                            2   0.07   0.06   0.00   0.01   0.00
wait                                      1   0.05   0.05   0.00   0.00   0.00
/usr/bin/tprof                            1   0.05   0.02   0.00   0.02   0.00
/etc/syncd                                3   0.03   0.03   0.00   0.00   0.00
zabbix_agentd:                            4   0.02   0.02   0.00   0.00   0.00
swapper                                   1   0.01   0.01   0.00   0.00   0.00
MRCLIB                                    2   0.01   0.00   0.00   0.00   0.00
ora_lgwr_aa                             1   0.01   0.00   0.00   0.00   0.00
ora_pmon_aa                             1   0.00   0.00   0.00   0.00   0.00
/etc/getty                                1   0.00   0.00   0.00   0.00   0.00
INCTM                                     1   0.00   0.00   0.00   0.00   0.00
PALIBR                                    1   0.00   0.00   0.00   0.00   0.00
tnslsnr                                   2   0.00   0.00   0.00   0.00   0.00
netm                                      1   0.00   0.00   0.00   0.00   0.00
pnsd                                      1   0.00   0.00   0.00   0.00   0.00
/etc/init                                 1   0.00   0.00   0.00   0.00   0.00
rmcd                                      1   0.00   0.00   0.00   0.00   0.00
gil                                       1   0.00   0.00   0.00   0.00   0.00
FNDCRM                                    1   0.00   0.00   0.00   0.00   0.00
/usr/bin/sleep                            1   0.00   0.00   0.00   0.00   0.00
/usr/bin/sh                               1   0.00   0.00   0.00   0.00   0.00
/usr/bin/trcstop                          1   0.00   0.00   0.00   0.00   0.00
xmgc                                      1   0.00   0.00   0.00   0.00   0.00
=======                                ====  ===== ======   ==== ======  =====
Total                                   115 100.00  68.14  18.78  12.95   0.13

Process                   PID      TID  Total Kernel   User Shared  Other
=======                   ===      ===  ===== ======   ==== ======  =====
oracleaaa             194158   231453   7.67   5.89   0.50   1.28   0.01
oracleaaa             158136   189561   7.21   5.51   0.52   1.17   0.02
oracleaaa             197832   176219   7.20   5.47   0.52   1.20   0.01
oracleaaa             168984   203561   7.17   5.51   0.50   1.15   0.01
oracleaaa             193412   195675   7.05   5.46   0.49   1.08   0.02
oracleaaa             184722    70593   6.55   4.98   0.44   1.12   0.01
oracleaaa             190586   194065   6.54   4.99   0.48   1.06   0.02
oracleaaa             171952   232589   6.25   4.89   0.41   0.94   0.01
oracleaaa             179210   214937   6.15   4.71   0.45   0.98   0.01
oracleaaa             169492   207305   6.11   4.68   0.48   0.93   0.01
FNDLIBR                125122    99601   6.01   0.15   5.86   0.00   0.00
oracleaaa             176498   237923   5.91   4.45   0.44   1.01   0.00
oracleaaa             182152   206979   5.50   4.21   0.37   0.92   0.00
oracleaaa             168208   227319   5.29   0.11   5.18   0.00   0.00
lrud                     1032     2581   0.49   0.49   0.00   0.00   0.00
lrud                     1032     3097   0.49   0.49   0.00   0.00   0.00
lrud                     1032     2839   0.41   0.41   0.00   0.00   0.00
kbiod                    6758   230697   0.40   0.40   0.00   0.00   0.00
aioserver               98562   139071   0.39   0.39   0.00   0.00   0.00
oracleaaa             153316   221701   0.37   0.08   0.28   0.01   0.00
oracleaaa             152188   197429   0.35   0.11   0.24   0.01   0.00
oracleaaa             180482   197775   0.34   0.08   0.24   0.01   0.00
oracleaaa             188584   198153   0.33   0.10   0.22   0.01   0.00
oracleaaa             152864   226173   0.33   0.12   0.21   0.00   0.00
oracleaaa             174636   175739   0.33   0.09   0.23   0.01   0.00
oracleaaa             180154   213587   0.31   0.01   0.29   0.00   0.00
PID19886                19886    79119   0.26   0.26   0.00   0.00   0.00
PID189552              189552   178857   0.26   0.26   0.00   0.00   0.00
PID191814              191814   201195   0.26   0.26   0.00   0.00   0.00
aioserver               24218    87299   0.24   0.24   0.00   0.00   0.00
aioserver              108882   150165   0.24   0.24   0.00   0.00   0.00
PID191820              191820   201201   0.23   0.23   0.00   0.00   0.00
PID19880                19880    31753   0.23   0.23   0.00   0.00   0.00
aioserver               63464   105847   0.22   0.22   0.00   0.00   0.00
aioserver               58350    79067   0.18   0.18   0.00   0.00   0.00
oracleaaa             166350    45007   0.18   0.05   0.12   0.01   0.00
aioserver              119976   161259   0.18   0.18   0.00   0.00   0.00
kbiod                    6758   208781   0.17   0.17   0.00   0.00   0.00
kbiod                    6758   234833   0.17   0.17   0.00   0.00   0.00
oracleaaa             166704   202255   0.16   0.04   0.12   0.00   0.00
kbiod                    6758   210309   0.16   0.16   0.00   0.00   0.00
aioserver               44420   106939   0.14   0.14   0.00   0.00   0.00
rtcmd                    7784   216067   0.13   0.13   0.00   0.00   0.00
aioserver               97270   137523   0.12   0.12   0.00   0.00   0.00
aioserver                9818    24783   0.11   0.11   0.00   0.00   0.00
aioserver               84370   124879   0.11   0.11   0.00   0.00   0.00
aioserver               45570    43961   0.11   0.11   0.00   0.00   0.00
aioserver               94690   134943   0.09   0.09   0.00   0.00   0.00
aioserver               30952    66513   0.09   0.09   0.00   0.00   0.00
aioserver               42172    91475   0.09   0.09   0.00   0.00   0.00
aioserver               73266    53583   0.07   0.07   0.00   0.00   0.00
aioserver                7132     9455   0.07   0.07   0.00   0.00   0.00
aioserver               88498   129007   0.06   0.06   0.00   0.00   0.00
wait                     3870     4903   0.05   0.05   0.00   0.00   0.00
/usr/bin/topas         185778   166999   0.05   0.04   0.00   0.01   0.00
oracleaaa             178694   240183   0.05   0.01   0.04   0.00   0.00
/usr/bin/tprof         162384   239105   0.05   0.02   0.00   0.02   0.00
oracleaaa             197618   239821   0.03   0.00   0.03   0.00   0.00
oracleaaa             191808   205851   0.03   0.00   0.02   0.00   0.00
oracleaaa             162034   177569   0.03   0.00   0.02   0.00   0.00
/usr/bin/topas         184380    74419   0.02   0.02   0.00   0.00   0.00
/etc/syncd               8068    27349   0.02   0.02   0.00   0.00   0.00
kbiod                    6758    26329   0.01   0.01   0.00   0.00   0.00
oracleaaa             161000   203857   0.01   0.01   0.01   0.00   0.00
swapper                     0        3   0.01   0.01   0.00   0.00   0.00
aioserver               57824    89009   0.01   0.01   0.00   0.00   0.00
zabbix_agentd:         185930    86787   0.01   0.00   0.00   0.00   0.00
/etc/syncd               8068    27091   0.01   0.01   0.00   0.00   0.00
ora_lgwr_aa          129784    43103   0.01   0.00   0.00   0.00   0.00
MRCLIB                 135202   181919   0.00   0.00   0.00   0.00   0.00
zabbix_agentd:         180946   202877   0.00   0.00   0.00   0.00   0.00
zabbix_agentd:         172238   174785   0.00   0.00   0.00   0.00   0.00
zabbix_agentd:         187992   214365   0.00   0.00   0.00   0.00   0.00
ora_pmon_aa          154232    55873   0.00   0.00   0.00   0.00   0.00
oracleaaa             126162   213487   0.00   0.00   0.00   0.00   0.00
oracleaaa             150520   174225   0.00   0.00   0.00   0.00   0.00
aioserver               67564   103597   0.00   0.00   0.00   0.00   0.00
oracleaaa             148140   205481   0.00   0.00   0.00   0.00   0.00
oracleaaa             191648   191153   0.00   0.00   0.00   0.00   0.00
oracleaaa             155354   206489   0.00   0.00   0.00   0.00   0.00
oracleaaa             151466    99309   0.00   0.00   0.00   0.00   0.00
PALIBR                 133654    64935   0.00   0.00   0.00   0.00   0.00
/etc/getty              23744    46967   0.00   0.00   0.00   0.00   0.00
FNDLIBR                145264   101097   0.00   0.00   0.00   0.00   0.00
INCTM                  138826   183709   0.00   0.00   0.00   0.00   0.00
oracleaaa             131284   180667   0.00   0.00   0.00   0.00   0.00
oracleaaa             171094    83033   0.00   0.00   0.00   0.00   0.00
FNDCRM                 164614   239405   0.00   0.00   0.00   0.00   0.00
netm                     5160     6193   0.00   0.00   0.00   0.00   0.00
oracleaaa              72760    86729   0.00   0.00   0.00   0.00   0.00
oracleaaa             159726   167991   0.00   0.00   0.00   0.00   0.00
/usr/bin/trcstop       184152   197317   0.00   0.00   0.00   0.00   0.00
/usr/bin/sleep         184150   197315   0.00   0.00   0.00   0.00   0.00
/usr/bin/sh            184150   197315   0.00   0.00   0.00   0.00   0.00
oracleaaa             182704   236311   0.00   0.00   0.00   0.00   0.00
/etc/syncd               8068    28123   0.00   0.00   0.00   0.00   0.00
/etc/init                   1      259   0.00   0.00   0.00   0.00   0.00
oracleaaa             130870   169277   0.00   0.00   0.00   0.00   0.00
oracleaaa             145862    77441   0.00   0.00   0.00   0.00   0.00
oracleaaa             156754   212609   0.00   0.00   0.00   0.00   0.00
oracleaaa              49334   242921   0.00   0.00   0.00   0.00   0.00
gil                      5418     7225   0.00   0.00   0.00   0.00   0.00
oracleaaa             155878   199531   0.00   0.00   0.00   0.00   0.00
oracleaaa             127194   211171   0.00   0.00   0.00   0.00   0.00
pnsd                    21160    46703   0.00   0.00   0.00   0.00   0.00
rmcd                    19406    50581   0.00   0.00   0.00   0.00   0.00
oracleaaa             199414   229769   0.00   0.00   0.00   0.00   0.00
oracleaaa             151574   179487   0.00   0.00   0.00   0.00   0.00
tnslsnr                152492    96539   0.00   0.00   0.00   0.00   0.00
tnslsnr                191808   205851   0.00   0.00   0.00   0.00   0.00
oracleaaa             127314    44441   0.00   0.00   0.00   0.00   0.00
xmgc                     2580     3355   0.00   0.00   0.00   0.00   0.00
aioserver              108624   149907   0.00   0.00   0.00   0.00   0.00
MRCLIB                 188368   224117   0.00   0.00   0.00   0.00   0.00
oracleaaa             160178   231707   0.00   0.00   0.00   0.00   0.00
=======                   ===      ===  ===== ======   ==== ======  =====
Total                                  100.00  68.14  18.78  12.95   0.13

相關文章