【故障公告】下班前的一場暴風雨,爬蟲爬至園當機

部落格園團隊發表於2023-03-29
【故障公告】下班前的一場暴風雨,爬蟲爬至園當機

下班前的一場暴風雨,讓園子一片狼藉。頂著暴風雨,加了伺服器,但無濟於事。情急之中,斷蛛求生立轉機。

今天下班前的 17:00~17:30 左右,身份未明的爬蟲暴風雨般地襲擊園子,造成資料庫連線過萬,全站當機,由此給您帶來很大的麻煩,請您諒解。

最終我們透過給百度蜘蛛斷網才恢復正常,造成暴風雨的爬蟲不一定是百度蜘蛛,由於缺乏足夠的資料,這次襲擊園子的爬蟲身份無法確認。

給百度蜘蛛斷網,是為了減少伺服器的總負載,在上次故障時我們只遮蔽了一個網段(255個IP)的百度蜘蛛,還有大量百度蜘蛛每天在園子裡爬來爬去,雖然這些蜘蛛被關在籠子裡(限制了頻寬),但依然會給伺服器帶來不小的壓力,讓園子在暴風雨來襲時格外弱不禁風。

百度蜘蛛專用負載均衡 QPS 監控圖:
【故障公告】下班前的一場暴風雨,爬蟲爬至園當機

非常抱歉!園子這段時間故障有點多。

曾經的一系列故障公告,是我們魯莽走進雲端計算初期時代的痛苦代價。

現在還未成系列的故障公告,也許是 AI 時代即將到來的被代價。

不管怎麼樣,不管是代價還是被代價,AI 時代真的要來了。

相關文章