昨天中午接到使用者電話（之前使用者機房曾異常斷電），說是有套IBM 570下的RAC起不來了，遠端登上去看了一下，簡單處理了一下，其中一個節點可以正常啟動HA ORACLE；
另外一個節點，啟動HA後DATAVG先啟動正常，顯示
hdiskpower0 00f6c6d393cde2cd datavg concurrent
hdiskpower1 00f6c6d393cf633e datavg concurrent
hdiskpower2 00f6c6d393cb881e datavg concurrent
hdiskpower3 00f6c6d393ce1cd4 datavg concurrent
hdiskpower4 00f6c6d393c19815 archvg active
hdiskpower5 00f6c6d393c668ef None
hdiskpower6 00f6c6d393cea4d1 hbvg
hdiskpower7 00f6c6d375c6bb30 None
hdiskpower8 00f6c6d3bee80bcf datavg concurrent
hdisk38 none None
hdisk39 none None
hdisk40 none None
hdisk41 none None
hdiskpower9 00f6c6d3a5f78ff0 datavg concurrent
hdisk42 none None
hdisk43 none None
hdisk44 none None
hdisk45 none None
hdiskpower10 00f6c6d3ca9ea6d1 datavg concurrent
hdisk46 none None
hdisk47 none None
hdisk48 none None
hdisk49 none None
hdiskpower11 00f6c6d3f5059263 datavg concurrent

之後就自動停掉
發現暫時無法把兩個節點都起來。由於下午還要跑業務臨時單節點先用著吧。
之後使用者又說WEBLOGIC連線庫有問題，有時能連有時不能連。
再次遠端檢查發現是連線數過多，達到了，資料庫設定的process 4000上限。
晚上9點多在家裡繼續遠端
發現啟動HA時報

ERROR: The LVM time stamp for shared volume group: datavg is inconsistent

with the time stamp in the VGDA for the following nodes:

db03 db04

Starting Corrective Action: cl_resource_modify_vg_time_stamp.

Would you like to update VG: datavg timestamp on

node(s): db03 db04 for resource group: rg_db_0304 [Yes / No]:YES
回答YES，結果還是隻有一邊能啟動。
把HA停掉手動在有問題的節點varyonvg
db03:[/]# lsvg -p datavg
datavg:
PV_NAME PV STATE TOTAL PPs FREE PPs FREE DISTRIBUTION
hdiskpower0 active 1598 0 00..00..00..00..00
hdiskpower1 active 1598 8 00..00..00..00..08
hdiskpower3 active 1598 0 00..00..00..00..00
hdiskpower2 active 1598 0 00..00..00..00..00
hdiskpower9 active 798 0 00..00..00..00..00
hdiskpower8 active 1598 12 00..00..00..00..12
hdiskpower10 missing 798 94 00..00..00..00..94
hdiskpower11 missing 798 270 00..00..00..110..160
居然有兩塊盤PV STATE是missing
再看正常的那個節點，
db04:[/]# lsvg -p datavg
datavg:
PV_NAME PV STATE TOTAL PPs FREE PPs FREE DISTRIBUTION
hdiskpower0 active 1598 0 00..00..00..00..00
hdiskpower1 active 1598 8 00..00..00..00..08
hdiskpower3 active 1598 0 00..00..00..00..00
hdiskpower2 active 1598 0 00..00..00..00..00
hdiskpower9 active 798 0 00..00..00..00..00
hdiskpower8 active 1598 12 00..00..00..00..12
hdiskpower10 active 798 94 00..00..00..00..94
hdiskpower11 active 798 270 00..00..00..110..160
都正常
把有問題的一邊的卷組
db03:[/]# exportvg datavg
db03:[/]# importvg -y datavg hdiskpower0
之後手動同步HA
啟動正常了。
使用者說再重啟一下系統測試一下吧，好吧！重啟
經過漫長打等待系統終於重啟完成，啟動HA，等了一會兒，還是有問題的03節點卷組自動DOWN掉。
在好的節點04做了一下HA同步，再起HA，起RAC一切正常。
好就這樣吧，由於是遠端，而且這個機器也不在我們維保範圍內，就先這樣吧！

ERROR: The LVM time stamp for shared volume group: datavg is inconsistent

相關文章