在2017/7某一天,把測試用的centos6(執行著cloudstack若干agent)給yum update了下(至CentOS6.9)。
當時沒有重啟, 可能有些程式沒有影響到。
上週末,大廈停電,伺服器都給關了,然後在第二天來電後,所有cloudstack-agent全部離線,無法正常服務。
遠端進去一看,簡直瘋掉:
-
硬碟佔有用100%,因agent僅為IAAS服務提供CPU和記憶體資源,硬碟都是比較小的。檢視發現/var/log/cloudstack/agent下的agent日誌和/tmp下的hs_err_pid等一直瘋漲。大概是這麼個意思
A fatal error has been detected by the Java Runtime Environment:
-
檢視JVM相關的程式,發現cloudstack-agent服務一直無法正常啟動,但卻在不停的建立新的程式。
只好手動結束了JVM程式,然後重啟cloudstack-agent服務和系統,皆無法讓服務正常執行。
後來執行了”yum update”,發現kernel有幾處升級,然後reboot,一切又回歸正常。
所以,沒事不要隨便搞全域性的升級,還好不是生產環境且CentOS釋出了新的補丁,要不都沒地方哭。