過程

重啟高負載的節點

For linux ： Shutdown -r now

預期結果

1. 該節點例項及其他資源offline

2. Vip 發生fail over

3. 執行在該節點的scan   vip將發生fail over

4. Vip listener 發生failover

5. 另一節點執行例項恢復

6. 服務（該節點為prefered時）移至倖存節點

7. 客戶連線移動/重新連線至倖存節點

8. 資料庫完成重新配置後繼續對外服務

衡量標準

監控系統日誌及叢集狀態，符合預期。

實際結果

1.blcsen1p 關機前，叢集狀態

2.blcsen1p 關機

shutdown –r now

3.blcsen2p 上叢集狀態

該節點例項及其他資源offline

Vip 發生fail over

執行在該節點的scan vip 將發生fail over

Vip listener 發生failover

另一節點執行例項恢復

服務（該節點為prefered 時）移至倖存節點

客戶連線移動/ 重新連線至倖存節點

資料庫完成重新配置後繼續對外服務

過程

1. 識別ocr master節點：

grep -i "OCR MASTER" /grid/app/11.2.0/grid/log/blcsen1p/crsd/crsd.log

2. 關閉ocr master節點

預期結果

1. 該節點例項及其他資源offline

2. Vip 發生fail over

3. 執行在該節點的scan   vip將發生fail over

4. Vip listener 發生failover

5. 另一節點執行例項恢復

6. 服務（該節點為prefered時）移至倖存節點

7. 客戶連線移動/重新連線至倖存節點

8. 資料庫完成重新配置後繼續對外服務

衡量標準

監控系統日誌及叢集狀態，符合預期。

實際結果

在blcsen2p 上使用init 0 關機，觀察預期結果

blcsen2p 節點例項及其他資源offline ，服務切換到blcsen1p

Vip 發生fail over

執行在該節點的scan vip 將發生fail over

Vip listener 發生failover

另一節點執行例項恢復

服務（該節點為prefered 時）移至倖存節點

客戶連線移動/ 重新連線至倖存節點

資料庫完成重新配置後繼續對外服務

過程

故障節點啟動

預期結果

1. 當叢集擁有3或少於3個節點時，一個scan vips 和偵聽重新返回啟動的節點。

2. VIP 會遷移回啟動後的節點。

3. 之前發生fail over的服務不會自動relocate

4. 相關資源（asm，listener，instance，etc）將隨叢集重啟。

衡量標準

監控系統日誌及叢集狀態，符合預期。

實際結果

硬體節點重啟，大約10分鐘，重啟後，crs並不隨機器重啟

blcsen2p 啟動後， vips 和偵聽重新返回啟動的節點。

VIP 會遷移回啟動後的節點。

之前發生fail over 的服務不會自動relocate ，仍然在blcsen1p

相關資源（asm ，listener ，instance ，etc ）將隨叢集重啟。

過程

重啟全部節點

For linux ： shutdown –r now

預期結果

1. 全部例項、資源重啟正常

衡量標準

監控系統日誌及叢集狀態，符合預期。

實際結果

1. 兩個節點重啟

2.reboot 時間很短，大約4分鐘完成重啟動作

需要手工啟動crs

crs 無法隨機器啟動而啟動

過程

模擬例項故障

ps -ef|grep pmon

Kill -9 pid

預期結果

1. 叢集中另一節點發生例項恢復

2. 服務（該節點prefered）移動至其他可以例項

3. 客戶端連線移動或重連至其他倖存節點

4. 經過短暫hang，倖存節點繼續對外服務

5. 故障節點隨叢集重啟

衡量標準

監控系統日誌及叢集狀態，符合預期。

實際結果

殺掉blcsen1p 上smon 程式

叢集中另一節點發生例項恢復

服務（該節點prefered ）移動至其他可以例項

客戶端連線移動或重連至其他倖存節點

經過短暫hang ，倖存節點繼續對外服務

blcsen1p 資料庫例項自動重啟

故障節點隨叢集重啟

過程

停止資料庫例項

Shutdown abort

預期結果

1. 其他例項執行例項恢復

2. 服務（該節點為prefered時）移至倖存節點

3. 客戶連線移動/重新連線至倖存節點

4. 例項不會隨叢集啟動（由於使用者呼叫了shutdown）

衡量標準

監控系統日誌及叢集狀態，符合預期。

實際結果

1. 停止blcsen2p資料庫shutdown abort

blcsen1p 例項執行例項恢復

服務（該節點為prefered 時）移至倖存節點

客戶連線移動/ 重新連線至倖存節點

例項不會隨叢集啟動（由於使用者呼叫了shutdown ）

過程

1. 節點異常會由叢集自動啟動。

2. 人工shutdown的節點需要手工啟動。

3. 當關閉自動啟動選項時，也需要手工啟動。

預期結果

1. 例項重新加入RAC叢集

2. 客戶端連線根據配置進行load   balance

衡量標準

監控系統日誌及叢集狀態，符合預期。

實際結果

過程

識別ASM例項並終止

Ps -ef|grep pmon

Kill -9 <pmon pid>

預期結果

1. 該節點下列資源（*.dg,*.acfs,*.asm,*.db)offline  

2. 另一個節點執行例項恢復

3. 服務（該節點為prefered時）移至倖存節點

4. 客戶端連線移動或重連至其他倖存節點

5. 資料庫重新配置完成後，繼續對外服務。

6. 叢集日誌將顯示 由於不能訪問ocr   導致crsd offline。

衡量標準

監控系統日誌及叢集狀態，符合預期。

實際結果

1. 殺掉asm2上smon程式

該節點下列資源（ *.dg,*.acfs,*.asm,*.db)offline

asm 例項自動重啟

另一個節點執行例項恢復

服務（該節點為prefered 時）移至倖存節點

客戶端連線移動或重連至其他倖存節點

資料庫重新配置完成後，繼續對外服務。

需要重新啟動

叢集日誌將顯示 由於不能訪問ocr 導致crsd offline 。

過程

終止監聽程式

For Hp Aix  linux  Solaris:

Ps -ef|grep tnslsnr

Kill -9 <listener pid>

預期結果

1. 已連線會話無影響

2. 新連線重定向至其他節點（與連線配置有關）

3. 專用伺服器模式本地例項不再接受新連線；共享伺服器模式下可繼續接受新客戶連線。

4. listener 故障ORA AGENT自動檢測並重啟，可檢查下列日誌

  $GI_HOME/log/<nodename>/crsd/crsd.log

    $GI_HOME/log/<nodename>/agent/crsd/oraagent_<GI_owner>oraagent_

<GI_owner>.log

衡量標準

監控系統日誌及叢集狀態，符合預期。

實際結果

初始狀態

登入測試會話

殺監聽會話

已連線會話未受影響

重新連線失敗

檢查/grid/app/11.2.0/grid/log/blcsen1p/crsd/crsd.log 可見重啟監聽資訊

檢查/grid/app/11.2.0/grid/log/blcsen1p/agent/crsd

/oraagent_grid/oraagent_grid.log 可見檢測並重啟監聽資訊

重啟完成恢復正常