之前沒有完整地寫過被百度降權的經歷,週末的時候一時衝動想到寫一篇作為紀念,畢竟這是二十年一遇的經歷,而且對於一個社群網站來說是天塌下來的大事。
2022年之前的十多年,我們沒有做任何SEO,但百度一直對園子很友好,好到成為一種煩惱。因為排名前,收錄快,很多想推廣的人想盡辦法騙過稽核開通部落格發推廣內容,以求快速被百度收錄,甚至有人在淘寶開店專門賣已經開通部落格的部落格園賬號,後來我們多次向淘寶投訴這個商品才被下架。
由於身在福中不知福,我們沒有花心思去研究SEO,也懶得關注搜尋排名與收錄情況,而不少人誤以為我們擅長SEO。
2022年春天,我們剛剛從2021年大半年的整改中恢復過來,百廢待興,那時最大的擔心是怕稽核工作做不到位帶來合規風險,那時甚至希望百度搜尋排名低一些,收錄慢一些,因為越容易被搜尋到,合規風險越大。再加上隨著廣告單子的突然減少,流量變現成煩惱,搜尋流量反而成為成本負擔。
當我們在被百度青睞所帶來的幸福中不思進取時,追求持續創新的百度默默無聞地升級了蜘蛛系統。
2022年4月,當創新的大腳步遇上不思進取的原地踏步,悲劇就發生了,整個園子被百度新型蜘蛛爬當機了。
2022年4月3日,它(百度蜘蛛)的首次來訪在園子裡掀起狂風暴浪,資料庫連線數過萬,負載均衡頻寬跑滿,頻寬擴容50%依然跑滿,當時我們透過限制同一個IP每天的請求數僥倖躲過。
在僥倖躲過後,我們沒有認真覆盤仔細分析,依然是不思進取地選擇放過。
2022年5月,當創新的更大腳步遇上驚慌失措的魯莽,悲劇就播種了。
2022年5月4日,它(百度蜘蛛)如同吃了興奮劑般變得格外瘋狂,由於觸發IP請求數限制被重定向到登入站點,但它那龍捲風般的天量請求直接沖垮登入站點,無奈之下,我們遮蔽了這個IP網段。
後來,由於忙於其他事情忙昏了頭,我們竟然把遮蔽的百度蜘蛛的事情給忘了。
由於我們對百度蜘蛛的魯莽遮蔽,來自百度的搜尋流量逐步降低,但由於當時我們頭頂上始終懸掛著一把劍——「稽核稽核再稽核,合規合規再合規」,已經不怎麼關注流量的升降,不再為流量增長而興奮,不再為流量的下降而擔心,再加上那段特殊的日子,流量下降被誤以為是正常現象。
當過了一段時間,當流量下降到一定幅度的時候,我們才猛然發現闖下了大禍——我們一直遮蔽著那個百度蜘蛛網段,造成百度搜尋流量持續下降。
趕緊解除遮蔽,帶著亡羊補牢的僥倖心理期待著百度搜尋的流量能逐步恢復。而我們矇在鼓裡的是,針對我們的過錯,百度當時已經鐵面無私默默無聞地宣判了,判了一個無期徒刑——從今往後,百度搜尋引擎與部落格園恩斷義絕,搜尋權重能降則降,收錄能不收則不收。
解除遮蔽後等了2個月左右,我們發現百度流量並沒有恢復的趨勢。在這段時間我們將百度蜘蛛的請求解析到一臺專門的負載均衡,限制了最高頻寬以免再次出現百度蜘蛛過高的併發請求造成當機。這樣獨立出來也帶來一個額外的好處,我們可以清楚地知道百度蜘蛛產生的頻寬費用,而結果卻讓我們驚呆了,僅僅百度蜘蛛的爬網竟然消耗了40%左右的頻寬費用。當時已經進入2022年下半年,園子一年多幾乎沒有收入的日子已經開始了。一邊百度蜘蛛肆無忌憚地消耗著頻寬費用,一邊百度搜尋流量恢復無望,我們不敢再拿越來越緊張的現金賭百度認同“浪子回頭金不換“(幸虧沒賭,不然會輸的很慘),對百度蜘蛛進行了限流。
都沒顧得上和百度說聲分手快樂,帶著現實所逼產生的勇氣,默默地對百度說了句——沒有百度的日子,園子依然可以。
但更殘酷的現實是,沒有百度的日子裡,園子過得慘兮兮,從求捐助,到求會員救園,差點沒熬過去。
在這段離開百度的悲慘日子裡,還發生了一個小插曲。2023年3月,未知原因造成百度蜘蛛躲過限流,又把園子爬當機,我們藉此時機發了篇博文吐怨氣,沒想到帶來一次戲劇性的回心轉意。
2023年9月20日與9月21日,百度搜尋部門的人看到我們3月釋出的博文,聯絡我們商量解決百度蜘蛛爬網併發請求過高的問題,最終百度設定了我們建議的爬網QPS上限,我們取消了對百度蜘蛛的限流,等著百度的回心轉意。
當我們滿懷希望地期待著幸福來敲門時,一個月過去了,百度搜尋流量沒有明顯回升,收錄問題依然沒有解決。又一月過去了,問題依然沒有解決。半年過去了,期間百度搜尋流量有小幅回升,那只是百度安慰似地給定小驚喜。現在大半年過去,所期待的幸福遙遙無期。聯絡到園子的博問剛上線沒多久就被百度判了無期徒刑——搜尋排名低、收錄很少,然後十多年一直這樣,現在部落格主站遇到的問題與博問類似。於是,我們放棄了幻想,有了一個遲到的多麼痛的領悟,原來2023年雙方商量解除限流的努力都是徒勞無益,百度的字典里根本沒有回心轉意,一旦得罪就判無期徒刑,結局早已註定。
兩年多的分開與期待,現在終於明白,園子與百度十八年友好相處的日子再也回不去了。
兩年多的離開,我們已經逐步習慣了沒有百度的日子。隨著搜尋引擎主導的網際網路時代進入尾聲,我們終將習慣沒有百度的日子。
相關連結:
- 【故障公告】它(變異的百度蜘蛛)又來了,雪上加霜又加鹽的三月
- 蜘蛛的依舊瘋狂與園子的新暢想:嘗試放出被遮蔽的百度蜘蛛網段
- 再次嘗試放出被遮蔽的百度蜘蛛網段
- 最後的一次努力:嘗試解決百度收錄與排名問題