事情是這樣的:我的部落格現在的百度收錄異常慘淡!而且,我還叮囑哪些喜歡轉載我部落格博文的朋友,不要轉載半個月內釋出的文章,因為我以為幾個月來百度不收錄、排名下降嚴重的是因為我先後更換主題-->換用360網站衛士-->文章被人快速轉載所致。
我發現最蛋疼、最詭異的是,我釋出的文章幾個月都沒被收錄!!!然後我也默默的在心裡把度娘罵了幾個月,尼瑪就算被人採集、被人第一時間轉載也不至於不收錄啊?
可實際有圖為證:
基本從5月份開始,釋出的文章就不再收錄,索引從4800掉到現在1000左右!
期間,我各種懷疑,是不是robots設定有誤?是不是外鏈go跳轉對搜尋引擎封閉等措施帶來懲罰?
直到。。。直到我今天心血來潮,想試下百度的API搜尋介面,提供sitemap資料才發現抓取失敗。
其實,在之前我就發現所有和sitemap資料提交有關的功能都提示抓取失敗!但是尼瑪,在百度抓取診斷檢測相同的連結又是成功的!!
我以為是百度站長工具出現了暫時性的問題,還反饋過:
直到今天,我還又反饋了一把:
反饋完之後,我反覆去看了下這個抓取失敗結果:
結果發現都是連線超時錯誤,DNS解析是沒問題的,確實是真實IP,看來不是使用CDN的問題:
繼續看了幾遍之後,我偶然點開了抓取異常這個工具,一看嚇一跳,每天的連線超時居然將近一半!
突然靈光一閃,連線超時,好熟悉的字眼,不是40X,也不是50X。。。沒錯,就是防火牆攔截!
趕緊登陸阿里雲ECS看了下iptables:
看到了有2個網段被禁用,先嚐試解封,然後回到百度更新了下sitemap試了下,居然成功了?!
我次奧!真是這個網段被禁封造成的!成功後,我特意再次更新sitemap。並看了下nginx日誌,發現還真是220.181.108這個IP段的IP,尼瑪,巧就巧在百度抓取診斷工具不在這個網段,可以正常抓取,迷惑了我幾個月!!!
事後,我努力的回憶了一把當時為什麼禁用了這2個網段。。。
記得,當時是Begin交流群裡有個人採集我的整個部落格。我當時用了各種辦法禁止他採集內容中的盜圖,最終他用了搜狗的圖片介面來採集我部落格的圖片。我就不好怎麼禁止了,因為搜尋引擎來的IP,CDN是自動回源的!
於是,我圖省事直接把搜狗的圖片介面IP的整個網段都給禁封了!尼瑪,當時也沒想過百度和搜狗的蜘蛛節點可能在同一個機房了??另外惡狠狠的詛咒下,採集個人部落格者木有小JJ!!
幾個月的時間,對SEO帶了非常嚴重的影響!要不是運氣好,突然想到了這麼一樁,這部落格的百度SEO就基本廢了!
廢了也沒什麼,關鍵不明不白,誰也不爽吧!此次解除禁封之後,相信不出一個月,應該就會有效果了,至少最新發布的文章是會被收錄的,不看別的,就見證下本文一個星期會不會被收錄吧!不過之前未收錄卻被轉載走的文章算是廢了,發出去雖然推送到了百度,但是百度卻沒抓取到內容,被人轉了之後估計被識別成首次釋出的原創了吧!
好了,本文算是一個吐槽貼,也是給一些網站降權、收錄異常的朋友一個參考,某些時候,收錄異常、網站被K站不一定是你SEO方面的問題,一定記得看看是不是伺服器把蜘蛛擋在門外了喲!
作者:張戈部落格 / 微信公眾號: zhanggeboke