oracle啟動遭遇ORA-27102: out of memory

OS: linux 2.6.9-103.ELsmp #1 SMP

DB: 10205, 4節點RAC

背景：

節點1前幾天重啟維護，3個instance起來了倆，第3個TEST03N1啟動時不斷報錯

$ $ORACLE_HOME/bin/sqlplus / as sysdba

 

SQL*Plus: Release 10.2.0.5.0 - Production on Mon Sep 16 04:30:06 2013

 

Copyright (c) 1982, 2010, Oracle.  All Rights Reserved.

 

Connected to an idle instance.

 

SQL> startup nomount;

ORA-27102: out of memory

Linux-x86_64 Error: 28: No space left on device

 

診斷思路：

首先想到的是共享記憶體耗光了

$ ipcs -a

 

------ Shared Memory Segments --------

key        shmid      owner      perms      bytes      nattch     status     

0xa637e870 0          oracle    640        132120576  17                     

0x00000000 131073     oracle    660        4297064448 1          dest        

0x09c77ebc 229378     oracle    660        4297064448 36                     

0x9b377f58 262147     oracle    640        4297064448 38 

    

根據當前instance程式數判斷，第一行屬於ASM，後兩個為另外兩個instance，而第2行沒有被佔用，應該是TEST03N1關閉時linux回收共享記憶體段失敗導致的；

$ cat /proc/sys/kernel/shmmax

12884901888

$ cat /proc/sys/kernel/shmall

4194304

PAGESIZE為4K，最大允許共享記憶體4194304*4096= 17179869184，當前已佔用4297064448*3+132120576= 13023313920，還剩餘4156555264= 3964M；

而TEST03N1的SGA_MAX_SIZE/SGA_TARGET=4G,所以會報out of memory.

而ipcrm不起作用

$ ipcrm -m 131073

經過一系列測試，可允許設定的SGA_MAX_SIZE/SGA_TARGET最大值為3952M.

此時的共享記憶體段使用情況

$ ipcs -a

 

------ Shared Memory Segments --------

key        shmid      owner      perms      bytes      nattch     status     

0xa637e870 0          oracle    640        132120576  17                     

0x00000000 131073     oracle    660        4297064448 1          dest        

0x09c77ebc 229378     oracle    660        4297064448 40                     

0x9b377f58 262147     oracle    640        4297064448 40                     

0x7ede1a40 557060     oracle    640        4146069504 43             

 

大約還剩餘10M左右             

SQL> select to_char(17179869184-4297064448*3-132120576-4146069504) from dual;

 

TO_CHAR(

--------

10485760

 

SQL> select 10485760/1024/1024 from dual;

 

10485760/1024/1024

------------------

                10