python爬蟲時ip被封如何解決

nintyuui發表於2021-09-11

python爬蟲時ip被封如何解決

1、限制要求Headers

這應該是最常見、最基本的反爬蟲類手段,主要是初步判斷你是否在操作真正的瀏覽器。

這個一般很好地解決,複製瀏覽器的Headers資訊就可以了。

特別注意的是,很多網站只需要userAgent資訊就可以透過,但也有需要驗證其他資訊的網站。例如,也有需要authorization的頁面。因此,需要新增什麼樣的Headers,需要嘗試,Referer、Accept-encoding等資訊也許是必要的。

2、限制請求IP

有時候我們的爬蟲在爬,突然出現頁面打不開,403禁止訪問錯誤,IP地址被網站禁止的可能性很高,不接受你的請求。

3、限制要求cookie

爬蟲無法登入,無法保持登入狀態時,請檢查cookie。爬蟲的cookie很可能被發現。

以上就是python爬蟲時ip被封的解決方法,大家在遇到這類問題時可以嘗試本篇的方法。爬蟲的過程中可以結合代理ip,如果大家想測試使用下,可以嘗試,免費測試包含各種類ip資源,無限呼叫IP量!更多Python學習指路:

推薦操作環境:windows7系統、Python 3.9.1,DELL G3電腦。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/3209/viewspace-2829552/,如需轉載,請註明出處,否則將追究法律責任。

相關文章