DNS 引起經典RAC故障

作者：吳偉龍(PrudentWoo)

一、環境介紹：

這是一套四年前部署的RAC系統，之前執行一直很好，沒有出過問題，平時基本處於無人管的狀態。

OS:Redhat EnterPrise Linux 5.8 x86_x64

DB:Oracle Database EnterPrise  11.2.0.4

GI:Oracle Grid Infrastructure 11.2.0.4

二、問題描述：

         昨天臨近下班接到現場人員故障請求，描述為資料庫無法連線，報ORA-12547:TNS: lost  CONNECT。當時第一反應是網路和監聽故障，讓現場人員進行tnsping和ping都是正常的。

三、問題現象：

         我到達現場後，首先檢視了資料庫的狀態，發現資料庫例項是停止執行狀態，並且從日誌中看不出明顯報錯；

      資料庫日誌：

     資料庫狀態：

四、手工帶起資料庫：

    日誌資訊：

五、問題分析：

         我從啟動資料庫來看，發現資料庫此時無法正常啟動，並隨著報ORA-00132，日誌報error 119。

         根據啟動提示可以將問題定位到scan，因scan故障引起資料庫無法正常啟動。

六、檢查scan配置資訊：

           我們可以看到，現在scan對應的三個地址都是通的，說明SCAN的服務是好的，但是ping scan所對應的域名的時候報無法找到主機，無法解析域名，那麼下一步可以定位應該是域名服務出問題了。

七、在兩臺資料庫伺服器上檢查域名(dns)服務，結果是域名伺服器沒有在這兩臺資料伺服器上：

八、根據resolv.conf配置找到真正的域名伺服器，發現域名域名伺服器hang住：

九、修復域名伺服器，現在可以正常解析：

十、再次啟動資料庫：

能正常啟動，故障修復。

       從整個問題的處理思路來看該故障不僅考驗解決資料庫故障能力，同時安裝，基本執行原理都有考察到，當然考驗更多的應該還是和DNS服務的深入理解。

      當然我是很慶幸的，出於職業敏感度，一堆報錯中瞬間發現問題根源ORA-00132，而沒有從其它報錯資訊入手。