由於網路卡故障導致DATAGUARD傳輸檔案失敗

kewin發表於2010-06-08
由於網路卡故障導致DATAGUARD傳輸檔案失敗
 
背景：
這是08年發生的案例，最近在整理文件時，把其輸出成文。
在SUN V880作為4個生產庫的dataguard環境，在11月28日開始發現多個生產庫無法同步log日誌到dataguard環境。
ge0是光口網路卡。
業務網路卡使用的ge0，通過eri0連線IP儲存。
診斷過程：
登入到dataguard環境的檢視系統日誌messages:
Oct 22 15:05:48 h3cdg02-or iscsid[17486]: [ID 702911 daemon.error] connect failed
Oct 22 15:06:29 h3cdg02-or eri: [ID 517527 kern.info] SUNW,eri0 : 100 Mbps full duplex link up
Oct 22 15:06:40 h3cdg02-or last message repeated 1 time
Oct 22 15:07:02 h3cdg02-or iscsid[17485]: [ID 702911 daemon.error] socket 1 connect timed out
Oct 22 15:07:02 h3cdg02-or iscsid[17485]: [ID 702911 daemon.error] connect to 192.168.10.1 failed
Oct 22 15:07:03 h3cdg02-or iscsid[17486]: [ID 702911 daemon.error] socket 5 connect timed out
Oct 22 15:07:03 h3cdg02-or iscsid[17486]: [ID 702911 daemon.error] connect failed
Oct 22 15:07:23 h3cdg02-or eri: [ID 517527 kern.info] SUNW,eri0 : 100 Mbps full duplex link up
Oct 22 15:08:03 h3cdg02-or eri: [ID 517527 kern.info] SUNW,eri0 : No response from Ethernet network : Link down -- cable problem?
Oct 22 15:08:05 h3cdg02-or eri: [ID 517527 kern.info] SUNW,eri0 : 100 Mbps full duplex link up
Oct 22 15:08:16 h3cdg02-or last message repeated 1 time


發現日誌只是報eri0的錯誤，像是網路卡或者交換機端不斷重啟。
系統CPU/IO資源使用都很少，就是通過telnet連上伺服器會覺得伺服器很慢。
實在不知道為啥。
只好使用最後一招，init 6。
重啟後，問題變嚴重了：不能telnet到伺服器。
通過RSC登入到伺服器，發現已經ping不通閘道器。 難道route資訊丟失了。
檢視路由表，確認是好的。
再檢視下網路卡資訊，ifconfig -a檢視網路卡資訊：
eri0: flags=1000842 mtu 1500 index 2
        inet 192.168.10.12 netmask ffffff00 broadcast 192.168.10.255
        ether 0:3:ba:a8:f6:bf 
ge0: flags=1000843 mtu 1500 index 3
        inet 10.63.20.130 netmask fffffc00 broadcast 10.63.23.255
        ether 0:3:ba:a8:f6:c0 

咋一看，沒有問題。但是waiting。
ge0的狀態缺少RUNNING。
對ge網路卡unplumb/plumb重新配置IP，還是照舊。問題沒有解決。
通過網路組，由於不知道連線到交換機的那個埠，無法檢視埠資訊。（後來，我覺得要是這時知道了埠，檢視下埠說不定問題早已經定位好了）
到了機房，看到ge0網路卡的狀態燈是滅的。檢視下交換機的埠，也是滅的。插拔下插到交換機上的光纖，ge0網路卡的狀態燈變綠了。可以ping 通IP，可以登入。
可能是到這裡算是結束了，但等了10分鐘，發現交換機的埠燈又滅了。難道是模組壞了？！
懷疑不如行動。
趕緊去更換了模組。再等十分鐘，沒有再出現異常。
到這裡問題真正解決。
啟資料庫，同步log日誌。
分析：
對於網路卡狀態不能為RUNNING，應該懷疑物理鏈路問題。

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/40239/viewspace-664737/，如需轉載，請註明出處，否則將追究法律責任。

相關文章