【故障公告】redis記憶體耗盡造成部落格後臺無法儲存

部落格園團隊發表於2020-12-24

非常抱歉,今天上午11:00~11:30左右,由於 redis 伺服器記憶體耗盡造成部落格後臺故障——儲存博文時總是提示“請求太過頻繁,請稍後再試”,由此給您帶來麻煩,請您諒解。

【故障公告】redis記憶體耗盡造成部落格後臺無法儲存

由於 redis 監控報警配置沒有及時更新,當 redis 伺服器記憶體耗盡時我們沒有收到報警通知,所以未能及時發現問題。當我們發現故障並定位到故障原因後,立即對 redis 進行了升級(我們使用的是阿里云云資料庫Redis版),5分鐘左右完成升級,升級後恢復正常。

又是一次黑色星期四,這次完全是我們的運維工作不到位,我們會吸取教訓,改進運維工作。

【更新】

  • 部落格後臺儲存博文時使用了基於 Redis 的分散式鎖 RedLock, “請求太過頻繁,請稍後再試”報錯是因為拿不到鎖。
  • redis 記憶體耗盡是由於一個應用錯誤地使用了這臺 redis,並且快取條目沒有加過期時間。

相關文章