【故障公告】資料庫伺服器 CPU 100% 引發網站故障

部落格園團隊發表於2021-04-28

悄悄地它又突然來了 —— 資料庫伺服器 CPU 100% 問題,上次光臨時間是 3-30 8:48,這次是 4-28 9:41。

這次我們做出了快速反應,發現後立即進行主備切換,這次一次切換成功,CPU 很快恢復正常。

【故障公告】資料庫伺服器 CPU 100% 引發網站故障

但是,這次來的“真”是時候(訪問高峰),雖然資料庫 CPU 恢復正常,但高併發下的部落格站點在資料庫恢復後來不及建快取,大量請求503或者訪問緩慢,估計今天整個上午都扛不住。

幸運的是,我們估計錯了,10:15左竟然抗住了,部落格站點開始恢復正常。

但是,就在我們準備釋出故障公告時,這位不速之客竟然來了個回馬槍,10:19 它又來了。。。

【故障公告】資料庫伺服器 CPU 100% 引發網站故障

切換後的備庫伺服器又 CPU 100%,趕緊再次進行主備切換,切換回原來的資料庫伺服器,CPU 恢復正常。

但是,二次光臨“更”是時候,是更高的訪問高峰,估計今天上午部落格站點肯定是扛不住了,只能乾等熬過訪問高峰。

幸運的是,我們再次估計錯了,11:10左右竟然扛住了,部落格站點恢復了正常。

非常非常抱歉,今天上午的2次故障給大家帶來了很大的麻煩,請大家諒解。

對於這位資料庫 CPU 100% 的不速之客為什麼會光臨園子,我們不知道來由,準備留待以後排查,目前我們要集中力量稽核博文與開發新的稽核系統(詳見檢討書)。

這段時間,我們已經從開發者的服務者墮落為開發者的麻煩製作者,再次請大家諒解。

身處園子的這段黑暗歲月,我們沒有絲毫的退縮,在稽核過程中,我們讀到了一篇鼓舞我們的博文 —— 淺談“艱難困苦,玉汝於成”

相關文章