linux叢集故障判斷兩則（一）

二、解決辦法：

通過重啟兩臺資料庫伺服器，問題解決。

三、故障原因分析

通過遠端VPN連線到客戶的伺服器端，抓取作業系統的日誌。發現叢集出現問題的時間在2009-09-27 13：05 分叢集出現了故障。故障的原因是IBM軟體開發指定歸檔路徑，重啟資料庫時出現了故障。造成資料庫關閉不徹底，F1DB01資料庫仍有DB2程式存在，而且磁碟無法被節點F1DB02接管的狀態。

四、收集日誌

通過兩個節點SOSREPORT，抓取系統日誌：

節點：F1DB01 上作業系統日誌中看到發生故障的時間點在 2009-09-27：13：05：17的時間點。

Sep 27 13:05:17 F1DB01 clurgmgrd: [3834]: script.:redhat_init_script. status of /etc/rc.d/init.d/db2v9 failed (returned 1)

說明節點1在“ Sep 27 13:05:17”發出了節點切換操作。

看來DB2資料庫可能有問題，造成了指令碼觸發另外一個節點實現接管動作。察看DB2的日誌

五、察看DB2日誌

2009-09-27-12.59.50.556262+480 I492581G458        LEVEL: Event

PID     : 16990                TID  : 3086665408  PROC : db2agent (SMESPPT) 0

INSTANCE: gspinst1             NODE : 000         DB   : SMESPPT

APPHDL  : 0-58                 APPID: *LOCAL.gspinst1.090927045817

AUTHID  : GSPINST1

FUNCTION: DB2 UDB, config/install, sqlfLogUpdateCfgParam, probe:20

CHANGE  : CFG DB SMESPPT: "Logarchmeth1" From: "USEREXIT"  To: "DISK:/share_fs/dbistppt/pptdblog"

說明軟體開發在做指定歸檔路徑操作。

2009-09-27-13.05.10.294232+480 I497618G395        LEVEL: Warning

PID     : 6485                 TID  : 3086665408  PROC : db2sysc 0

INSTANCE: gspinst1             NODE : 000

FUNCTION: DB2 UDB, routine_infrastructure, sqlerKillAllFmps, probe:5

MESSAGE : Bringing down all db2fmp processes as part of db2stop

DATA #1 : Hexdump, 4 bytes

0xBFCA140C : 0000 0000       

指定日誌路徑後，需要重啟資料庫。

2009-09-27-13.05.10.596637+480 I500015G387        LEVEL: Error

PID     : 13621                TID  : 3086575824  PROC : db2fmp (

INSTANCE: gspinst1             NODE : 000

FUNCTION: DB2 UDB, routine_infrastructure, sqlerFmpListener, probe:999

MESSAGE : FMP exiting with error. Last agent registered:

DATA #1 : Hexdump, 4 bytes

0xBFF2359C : 0000 0000

上述紅色標明停止資料庫的時候，資料庫關閉時，服務出現問題。造成資料庫關閉不徹底，F1DB01資料庫仍有DB2程式存在，而且磁碟無法被節點2接管的狀態。

找到問題原因。