Python爬蟲教程-11-proxy代理IP，隱藏地址（貓眼電影）

Python爬蟲教程-11-proxy代理IP，隱藏地址（貓眼電影）

ProxyHandler處理（代理伺服器），使用代理IP，是爬蟲的常用手段，通常使用UserAgent 偽裝瀏覽器爬取仍然可能被網站封了IP，但是我們使用代理IP就不怕它封了我們的IP了

獲取代理IP的的網站：

• www.goubanjia.com
• www.xicidaili.com
• 使用代理來隱藏真實訪問中，代理也不允許頻繁訪問某一個固定網站，所以，代理一定要很多很多
• 需要使用，從上面的網站拷貝

基本使用步驟：

• 1.設定代理地址
• 2.建立ProxyHandler
• 3.建立Opener
• 4.安裝Opener
• 案例v11proxy檔案：https://xpwi.github.io/py/py%E7%88%AC%E8%99%AB/py11proxy.py

# 使用代理伺服器訪問貓眼
# https://maoyan.com/
from urllib import request,error

if __name__ == '__main__':

    url = "https://baidu.com/"

    # 1.設定代理地址
    proxy = {'http': '218.60.8.83:3129'}
    # 2.建立ProxyHandler
    proxy_handler = request.ProxyHandler(proxy)
    # 3.建立Opener
    opener = request.build_opener(proxy_handler)
    # 4.安裝Opener
    request.install_opener(opener)

    # 下面再進行訪問url就會使用代理伺服器
    try:
        rsp = request.urlopen(url)
        html = rsp.read().decode()
        print(html)

    except error.HTTPError as e:
        print(e)

    except Exception as e:
        print(e)

執行結果

關於爬蟲使用代理伺服器，使用代理IP，就介紹到這裡了，使用代理IP是爬蟲的常用手段，好處多多

更多文章連結：Python 爬蟲隨筆

---

• 本筆記不允許任何個人和組織轉載