ERROR: The LVM time stamp for shared volume group: datavg is inconsistent

quanshengaa發表於2015-03-27
ErrorLVM
昨天中午接到使用者電話（之前使用者機房曾異常斷電），說是有套IBM 570下的RAC起不來了，遠端登上去看了一下，簡單處理了一下，其中一個節點可以正常啟動HA ORACLE；
另外一個節點，啟動HA後DATAVG先啟動正常，顯示
hdiskpower0     00f6c6d393cde2cd                    datavg          concurrent
hdiskpower1     00f6c6d393cf633e                    datavg          concurrent
hdiskpower2     00f6c6d393cb881e                    datavg          concurrent
hdiskpower3     00f6c6d393ce1cd4                    datavg          concurrent
hdiskpower4     00f6c6d393c19815                    archvg          active
hdiskpower5     00f6c6d393c668ef                    None            
hdiskpower6     00f6c6d393cea4d1                    hbvg            
hdiskpower7     00f6c6d375c6bb30                    None            
hdiskpower8     00f6c6d3bee80bcf                    datavg          concurrent
hdisk38         none                                None            
hdisk39         none                                None            
hdisk40         none                                None            
hdisk41         none                                None            
hdiskpower9     00f6c6d3a5f78ff0                    datavg          concurrent
hdisk42         none                                None            
hdisk43         none                                None            
hdisk44         none                                None            
hdisk45         none                                None            
hdiskpower10    00f6c6d3ca9ea6d1                    datavg          concurrent
hdisk46         none                                None            
hdisk47         none                                None            
hdisk48         none                                None            
hdisk49         none                                None            
hdiskpower11    00f6c6d3f5059263                    datavg          concurrent

之後就自動停掉
發現暫時無法把兩個節點都起來。由於下午還要跑業務臨時單節點先用著吧。
之後使用者又說WEBLOGIC連線庫有問題，有時能連有時不能連。
再次遠端檢查發現是連線數過多，達到了，資料庫設定的process 4000上限。
晚上9點多在家裡繼續遠端
發現啟動HA時報

ERROR: The LVM time stamp for shared volume group: datavg is inconsistent

with the time stamp in the VGDA for the following nodes:

db03 db04

Starting Corrective Action: cl_resource_modify_vg_time_stamp.

Would you like to update VG: datavg timestamp on

node(s): db03 db04 for resource group: rg_db_0304 [Yes / No]:YES
回答YES，結果還是隻有一邊能啟動。
把HA停掉手動在有問題的節點varyonvg 
db03:[/]# lsvg -p datavg
datavg:
PV_NAME           PV STATE          TOTAL PPs   FREE PPs    FREE DISTRIBUTION
hdiskpower0       active            1598        0           00..00..00..00..00
hdiskpower1       active            1598        8           00..00..00..00..08
hdiskpower3       active            1598        0           00..00..00..00..00
hdiskpower2       active            1598        0           00..00..00..00..00
hdiskpower9       active            798         0           00..00..00..00..00
hdiskpower8       active            1598        12          00..00..00..00..12
hdiskpower10      missing           798         94          00..00..00..00..94
hdiskpower11      missing           798         270         00..00..00..110..160
居然有兩塊盤PV STATE是missing
再看正常的那個節點，
db04:[/]# lsvg -p datavg
datavg:
PV_NAME           PV STATE          TOTAL PPs   FREE PPs    FREE DISTRIBUTION
hdiskpower0       active            1598        0           00..00..00..00..00
hdiskpower1       active            1598        8           00..00..00..00..08
hdiskpower3       active            1598        0           00..00..00..00..00
hdiskpower2       active            1598        0           00..00..00..00..00
hdiskpower9       active            798         0           00..00..00..00..00
hdiskpower8       active            1598        12          00..00..00..00..12
hdiskpower10      active            798         94          00..00..00..00..94
hdiskpower11      active            798         270         00..00..00..110..160
都正常
把有問題的一邊的卷組
db03:[/]# exportvg datavg
db03:[/]# importvg -y datavg hdiskpower0
之後手動同步HA
啟動正常了。
使用者說再重啟一下系統測試一下吧，好吧！重啟
經過漫長打等待系統終於重啟完成，啟動HA，等了一會兒，還是有問題的03節點卷組自動DOWN掉。
在好的節點04做了一下HA同步，再起HA，起RAC一切正常。
好就這樣吧，由於是遠端，而且這個機器也不在我們維保範圍內，就先這樣吧！


來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/15797451/viewspace-1475687/，如需轉載，請註明出處，否則將追究法律責任。

相關文章