python解決反爬蟲方法的優缺點對比

我們選擇一種問題的解決辦法，通常需要考慮到想要達到的效果，還有最重要的是這個辦法本身的優缺點有哪些，與其他的方法對比哪一個更好。之前小編之前也教過大家在python應對反爬蟲的方法，那麼小夥伴們知道具體情況下選擇哪一種辦法更適合嗎？今天就其中的user-agent和ip程式碼兩個辦法進行優缺點分析比較，讓大家可以明確不同辦法的區別從而進行選擇。

方法一：

可以自己設定一下，或者更好的是，可以從一系列的user-agent裡隨機挑出一個符合標準的使用。

 缺點：

容易偽造頭部，github上有人分享開源庫fake-useragent

IP限制

如果一個固定的ip在短暫的時間內，快速大量的訪問一個網站，後臺管理員可以編寫IP限制，不讓該IP繼續訪問。

 

方法二：

比較成熟的方式是：

 

簡單的說，就是透過ip代理，從不同的ip進行訪問，這樣就不會被封掉ip了。

可是ip代理的獲取本身就是一個很麻煩的事情，網上有免費和付費的，但是質量都層次不齊。如果是企業裡需要的話，可以透過自己購買叢集雲服務來自建代理池。

缺點：

可以使用免費/付費代理，繞過檢測。

讀完本篇我們會發現，每種方法都有它的缺陷，我們要做的就是發揮使用它的優勢出。根據不同的環境情況，可以選擇適合自己操作順手的方法。對於兩種方法知識點遺忘的，可以直接點選進去進行回顧。更多Python學習指路:。