深入百度蜘蛛IP段詳解

大家進行網站日誌分析的時候，常見到很多不同IP段的百度蜘蛛，為了方便大家更好的進行日誌分析，下面列舉了百度不同IP段常見蜘蛛的一些詳情情況，及所謂的降權蜘蛛，沙盒蜘蛛，高權重蜘蛛等等。

眾所周知，百度蜘蛛爬蟲對於網站SEO有很好的索引和幫助，能夠快速在百度首頁通過關鍵詞搜尋直達您的網站。

百度蜘蛛(Baiduspider)爬取

是搜尋引擎獲得頁面內容的一個重要的途徑，通過蜘蛛的抓取可以得到一個頁面的最主要的內容從而收錄百度資料庫系統，每次抓取之後都會再與資料庫原有的資訊進行比對，來確定頁面的總體質量。

那麼，每當蜘蛛來抓取的時候都會被網站日誌檔案記錄下來，具體包括抓取時間，抓取的頁面以及蜘蛛來路IP地址，上次說到百度蜘蛛(Baiduspider)ip來路基本能夠反映出不同蜘蛛對站點不同頁面的喜好程度，從側面也反映出整個網站不同頁面的權重值，通過自己一系列的分析，可以較為準確的評估整站的權重分佈，對於seo、文章內容價值、使用者體驗都起到很好的參考價值。

經常聽到站長們問，百度蜘蛛是什麼？最近百度蜘蛛來的太頻繁伺服器抓爆了，最近百度蜘蛛都不來了怎麼辦，還有很多站點想得到百度蜘蛛的IP段，想把IP加入白名單，但IP不固定，我們無法對外公佈。

那怎麼才能識別正確的百度蜘蛛呢？來來來，只需兩步，教你正確識別百度蜘蛛

1、檢視UA，如果UA都不對，可以直接判斷非百度搜尋的蜘蛛，目前對外公佈過的UA是：

移動UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html）

新增渲染UA:

移動UA：Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA：Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

2、反查IP

站長可以通過DNS反查IP的方式判斷某隻spider是否來自百度搜尋引擎。根據平臺不同驗證方法不同，如linux/windows/os三種平臺下的驗證方法分別如下：

1）、在linux平臺下，您可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

2)、在windows平臺或者IBM OS/2平臺下，您可以使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取。開啟命令處理器 輸入nslookup xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 來判斷是否來自Baiduspider的抓取，Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

3）、 在mac os平臺下，您可以使用dig 命令反解ip來 判斷是否來自Baiduspider的抓取。開啟命令處理器 輸入dig xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 來判斷是否來自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

專用抓取首頁ip 權重段,一般返回程式碼304 0 0代表未更新

220.181.108.83

附錄百度蜘蛛IP地址

• 123.125.68.*這個蜘蛛經常來,別的來的少,表示網站可能要進入沙盒了，或被者降權。
• 220.181.68.*每天這個IP段只增不減很有可能進沙盒或K站。
• 220.181.7.*、123.125.66.*代表百度蜘蛛IP造訪，準備抓取你東西。
• 121.14.89.*這個ip段作為度過新站考察期。
• 203.208.60.*這個ip段出現在新站及站點有不正常現象後。
• 210.72.225.*這個ip段不間斷巡邏各站。
• 125.90.88.*廣東茂名市電信也屬於百度蜘蛛IP主要造成成分，是新上線站較多，還有使用過站長工具，或SEO綜合檢測造成的。
• 220.181.108.95這個是百度抓取首頁的專用IP，如是220.181.108段的話，基本來說你的網站會天天隔夜快照。（悲劇的我竟然遮蔽了這個IP）
• 220.181.108.92同上98%抓取首頁，可能還會抓取其他(不是指內頁)220.181段屬於權重IP段此段爬過的文章或首頁基本24小時放出來。（嗯，還有這個也遮蔽了，暈死了！）
• 123.125.71.106抓取內頁收錄的，權重較低，爬過此段的內頁文章不會很快放出來，因不是原創或採集文章。（這個也有，汗！）
• 220.181.108.91屬於綜合的，主要抓取首頁和內頁或其他，屬於權重IP段，爬過的文章或首頁基本24小時放出來。
• 220.181.108.75重點抓取更新文章的內頁達到90%，8%抓取首頁，2%其他。權重IP段，爬過的文章或首頁基本24小時放出來。（這個，……！）
• 220.181.108.86專用抓取首頁IP權重段，一般返回程式碼是30400代表未更新。（還有這個……）
• 123.125.71.95抓取內頁收錄的，權重較低，爬過此段的內頁文章不會很快放出來，因不是原創或採集文章。
• 123.125.71.97抓取內頁收錄的，權重較低，爬過此段的內頁文章不會很快放出來，因不是原創或採集文章。
• 220.181.108.89專用抓取首頁IP權重段，一般返回程式碼是30400代表未更新。（好吧，220開頭的好像都被我遮蔽了，下手真心有點兒太狠了！）
• 220.181.108.94專用抓取首頁IP權重段，一般返回程式碼是30400代表未更新。
• 220.181.108.97專用抓取首頁IP權重段，一般返回程式碼是30400代表未更新。
• 220.181.108.80專用抓取首頁IP權重段，一般返回程式碼是30400代表未更新。
• 220.181.108.77專用抓首頁IP權重段，一般返回程式碼是30400代表未更新。
• 123.125.71.117抓取內頁收錄的，權重較低，爬過此段的內頁文章不會很快放出來，因不是原創或是採集文章。

注：以上IP尾數還有很多，但段位一樣的123.125.71.*段IP代表抓取內頁收錄的權重比較低，可能由於你採集文章或拼文章暫時被收錄但不放出來.。

• 220.181.108.83專用抓取首頁IP權重段，一般返回程式碼是30400代表未更新。
• 220.181.108.*段IP主要是抓取首頁佔80%，內頁佔30%，這此爬過的文章或首頁，絕對24小時內放出來和隔夜快照的!

一般成功抓取返回程式碼都200，返回304代表網站沒更新。

Google蜘蛛IP地址

216.239.33.*

216.239.35.*

216.239.37.*

216.239.39.*

216.239.51.*

216.239.53.*

216.239.55.*

216.239.57.*

216.239.59.*

64.233.161.*

64.233.189.*

66.102.11.*

66.102.7.*

66.102.9.*

66.249.64.*

66.249.65.*

66.249.66.*

66.249.71.*

66.249.72.*

72.14.207.*

谷歌蜘蛛IP段解析

202.101.43.*、222.73.247.*、66.249.65.*這三個ip段是最為常規出現的

66.249.16.*出現的站點均為新站或站點出現無法訪問情況後再次出現的ip段

210.72.225.*這個ip段不間斷巡邏各站

203.208.60.*這個ip段出現在新站及站點有不正常現象後

360蜘蛛IP段

101.226.166.*(101.226.166.195~101.226.166.254，共60個)

101.226.167.*(101.226.167.195~101.226.167.254，共60個)

101.226.168.*(101.226.168.195~101.226.168.254，共60個)

101.226.169.*(101.226.169.195~101.226.169.230，共36個)

180.153.236.*(180.153.236.11~26；180.153.236.35~180.153.236.74；180.153.236.101~180.153.236.196，共152個)

182.118.20.*(182.118.20.201~182.118.20.254，共39個)

182.118.21.*(182.118.21.201~182.118.21.*254，共54個)

182.118.22.*(182.118.22.141~182.118.22.149；182.118.22.211~182.118.22.250，共64個)

182.118.25.*(182.118.25.131~182.118.25.245；)

182.118.28.*

61.55.185.*

101.199.*.*

220.181.126.*

182.118.26.110~182.118.26.239（時效性UAIP段，主要針對網站內容更新的爬取）

360蜘蛛IP段解析

220.181.126.*、101.199.*.*據說為360舉報IP。也就是說，假如你的網站日誌出現這個IP段，你的網站被舉報了。如果是違法站，那就自求多福吧。

搜狗蜘蛛IP段

123.126.113.79-123.126.113.191

220.181.89.190

220.181.89.189

218.30.103.155

61.135.189.75

220.181.94.228

61.135.189.74

220.181.89.157

220.181.89.165

220.181.89.183

220.181.89.194

218.30.103.80

神馬蜘蛛IP段

42.156.136.*-42.156.139.*

42.120.160.*42.120.161.*

其他蜘蛛IP段

163搜尋引擎蜘蛛IP地址大全

202.106.186.*

202.108.36.*

202.108.44.*

202.108.45.*

202.108.5.*

202.108.9.*

220.181.12.*

220.181.13.*

220.181.14.*

220.181.15.*

220.181.28.*

220.181.31.*

222.185.245.*

iask搜尋引擎蜘蛛IP地址大全

61.135.152.*

msn搜尋引擎蜘蛛IP地址大全

65.54.188.*

65.54.225.*

65.54.226.*

65.54.228.*

65.54.229.*

207.46.98.*

207.68.157.*

搜搜蜘蛛IP地址

219.133.40.*

202.96.170.*

202.104.129.*

61.135.157.*

新浪搜尋引擎蜘蛛IP地址

219.142.118.*

219.142.78.*

搜狐搜尋引擎蜘蛛IP地址

61.135.132.*

220.181.26.*

220.181.19.*

Yahoo搜尋引擎蜘蛛IP地址

66.196.90.*

66.196.91.*

68.142.249.*

68.142.250.*

68.142.251.*

72.30.101.*

72.30.102.*

72.30.103.*

72.30.104.*

72.30.107.*

72.30.110.*

72.30.111.*

72.30.128.*

72.30.129.*

72.30.131.*

72.30.133.*

72.30.134.*

72.30.135.*

72.30.216.*

72.30.226.*

72.30.252.*

72.30.97.*

72.30.98.*

72.30.99.*

74.6.74.*

Yahoo中國搜尋引擎蜘蛛IP地址

202.165.102.*

202.160.178.*

202.160.179.*

202.160.180.*

202.160.181.*

202.160.183.*

中搜蜘搜尋引擎蜘蛛IP地址

202.108.4.*

202.108.4.*

202.108.33.*

202.96.51.*

219.142.53.*

好了，終於通過此文提供的IP，在遮蔽裡排除了百度蜘蛛的IP了，總結下來就是“對自己真的是太狠了”，看來一些基本的資料必須要保留呀！就像此文一樣，儲存好，隨時都可以用來參考的！遮蔽IP一定要慎重了，很容易誤傷的，這兩天QQ瀏覽器總是出現“403”錯誤估計跟IP遮蔽也有關係吧！我得好好排查一下了！

【DZ案例分析】

• 之前和大家分享過discuz蜘蛛爬行記錄外掛的安裝，在蜘蛛爬行記錄的那個外掛裡，並不是所有過來的百度蜘蛛都是百度的，其他搜尋引擎也可以偽裝成百度的IP段，所以現在就和大家來探討百度常見的IP段有哪些！

• 例如：

• 
  

• 在張圖片的記錄中117.28.255.37點前面雖然寫的是百度，其實並不是百度蜘蛛的IP段，以下是常見的百度蜘蛛IP段：

•  根據不同的IP我們可以分析網站是個怎樣的狀態.下面 就按照IIS日記上的百度蜘蛛IP為例:123.125.68.*這個蜘蛛經常來,別的來的少,表示網站可能要進入沙盒了，或被者降權。

• 220.181.68.*每天這個IP 段只增不減很有可能進沙盒或K站。

• 220.181.7.*、123.125.66.* 代表百度蜘蛛IP造訪，準備抓取你東西。

• 121.14.89.*這個ip段作為度過新站考察期。

• 203.208.60.*這個ip段出現在新站及站點有不正常現象後。

• 210.72.225.*這個ip段不間斷巡邏各站。

• 125.90.88.* 廣東茂名市電信也屬於百度蜘蛛IP 主要造成成分，是新上線站較多，還有使用過站長工具，或SEO綜合檢測造成的。

• 220.181.108.95這個是百度抓取首頁的專用IP，如是220.181.108段的話，基本來說你的網站會天天隔夜快照，絕對錯不了的，我保證。

• 220.181.108.92 同上98%抓取首頁，可能還會抓取其他 (不是指內頁)220.181段屬於權重IP段此段爬過的文章或首頁基本24小時放出來。

• 123.125.71.106 抓取內頁收錄的，權重較低，爬過此段的內頁文章不會很快放出來，因不是原創或採集文章。

• 220.181.108.91屬於綜合的，主要抓取首頁和內頁或其他，屬於權重IP 段，爬過的文章或首頁基本24小時放出來。

• 220.181.108.75重點抓取更新文章的內頁達到90%，8%抓取首頁，2%其他。權重IP 段，爬過的文章或首頁基本24小時放出來。

• 220.181.108.86專用抓取首頁IP 權重段，一般返回程式碼是304 0 0 代表未更新。

• 123.125.71.95 抓取內頁收錄的，權重較低，爬過此段的內頁文章不會很快放出來，因不是原創或採集文章。

• 123.125.71.97 抓取內頁收錄的，權重較低，爬過此段的內頁文章不會很快放出來，因不是原創或採集文章。

• 220.181.108.89專用抓取首頁IP 權重段，一般返回程式碼是304 0 0 代表未更新。

• 220.181.108.94專用抓取首頁IP 權重段，一般返回程式碼是304 0 0 代表未更新。

• 220.181.108.97專用抓取首頁IP 權重段，一般返回程式碼是304 0 0 代表未更新。

• 220.181.108.80專用抓取首頁IP 權重段，一般返回程式碼是304 0 0 代表未更新。

• 220.181.108.77 專用抓首頁IP 權重段，一般返回程式碼是304 0 0 代表未更新。

• 123.125.71.117 抓取內頁收錄的，權重較低，爬過此段的內頁文章不會很快放出來，因不是原創或採集文章。

• 220.181.108.83專用抓取首頁IP 權重段，一般返回程式碼是304 0 0 代表未更新。

• 注：以上IP尾數還有很多，但段位一樣的123.125.71.*段IP 代表抓取內頁收錄的權重比較低.可能由於你採集文章或拼文章暫時被收錄但不放出來.(意思也就是說待定)。

• 220.181.108.*段IP主要是抓取首頁佔80%，內頁佔30%，這此爬過的文章或首頁，絕對24小時內放出來和隔夜快照的，這點我可以保證