爬蟲代理IP自動分配失敗的原因

jackcoden 發表於 2021-07-22
爬蟲

最近有小夥伴使用爬蟲代理的時候發現一個問題,通過爬蟲代理髮起請求之後,並沒有實現每個HTTP請求自動分配不同的代理IP,而是所有請求都是保持相同代理IP固定使用20秒之後,才會切換新的代理IP,這是什麼原因導致的呢?小夥伴提供的部分程式碼如下:

    #! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要訪問的目標頁面
    targetUrl = "http://httpbin.org/ip"

    # 要訪問的目標HTTPS頁面
    # targetUrl = "https://httpbin.org/ip"

    # 代理伺服器(產品官網 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理驗證資訊
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)[email protected]%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 設定 http和https訪問都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  設定IP切換頭
    tunnel = random.randint(1,10000)


    headers = {
        ‘Connection’:'keep-alive',
        'Accept-Language':'zh',
        "Proxy-Tunnel": str(tunnel)
    }

    for i in range(100):
        resp = requests.get(targetUrl, proxies=proxies, headers=headers)
        print resp.status_code
        print resp.text
        time.sleep(0.2)

經過除錯分析,上面的程式碼主要是兩個問題:
1、‘Connection’:’keep-alive’ 需要關閉
keep-alive 是客戶端和服務端的協議規範,開啟 keep-alive,則服務端在返回 response 後不關閉 TCP 連線,接收完響應報文後,客戶端也不關閉連線,傳送下一個 HTTP 請求時會重用該連線,這就導TCP的連結不斷開,因此爬蟲代理的自動IP切換就失效了。導致一個代理IP會長期保持使用,直到該代理IP的有效時間20秒到期之後,強制關閉TCP連線切換新的代理IP。
2、tunnel 引數設定錯誤
tunnel 是用來控制代理IP切換的控制引數。爬蟲代理會檢查tunnel的數值,數值不同就將HTTP請求隨機分配一個新代理IP轉發,tunnel相同就將HTTP請求分配相同的代理IP轉發。因此為實現每個HTTP請求通過不同的代理IP轉發,就應該在for下面實現tunnel = random.randint(1,10000),確保每次HTTP請求中的tunnel是不同的數值。

本作品採用《CC 協議》,轉載必須註明作者和本文連結