蜘蛛的依舊瘋狂與園子的新暢想:嘗試放出被遮蔽的百度蜘蛛網段

部落格園團隊發表於2023-09-20

因為看到博文 【故障公告】它(變異的百度蜘蛛)又來了,雪上加霜又加鹽的三月,百度搜尋部門的人昨天對園子進行了線上回訪,讓我們看到了一絲希望。

今天早上,帶著這絲希望,我們試著放出今年3月因為過於瘋狂、喜歡在別人地盤上飆車而被我們遮蔽的百度蜘蛛網段——116.179.37.0/24,看看半年之後它是否“瘋”子回頭,結果依舊是意料之中的瘋狂依舊,“瘋”性難移。

放開後,園子部落格站點的 web 伺服器 cpu 立馬飆升,“飆”字貨真價實,不帶一點誇張,放開後的 cpu 是遮蔽時的三倍左右。

放開後:

遮蔽時:

這次我們專門記錄了放開階段百度蜘蛛的請求量,取 9:00-9:04 的5分鐘資料看一下,請求量是 277358(27萬),QPS(每秒請求數)是 924(近一千)。

面對百度蜘蛛絲毫不減的瘋狂,那一絲希望瞬間一掃而光,拋開小插曲帶來的失望,燃起我們的新希望。

希望在沒有百度的日子裡,園子的發展更加陽光。

希望在沒有百度的日子裡,我們能夠發揮開源力量。

在被百度離開一年多的日子裡,我們產生了新的暢想——待園子發展壯大後,我們會發起一個公益基金會,發起一個開源搜尋引擎專案,至少給開發者提供一個沒有瘋狂蜘蛛、基於公平透明規則的搜尋引擎。

相關文章