爬蟲代理IP自動分配失敗的原因

jackcoden發表於2021-07-22
爬蟲

最近有小夥伴使用爬蟲代理的時候發現一個問題，通過爬蟲代理髮起請求之後，並沒有實現每個HTTP請求自動分配不同的代理IP，而是所有請求都是保持相同代理IP固定使用20秒之後，才會切換新的代理IP，這是什麼原因導致的呢？小夥伴提供的部分程式碼如下：

    #! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要訪問的目標頁面
    targetUrl = "http://httpbin.org/ip"

    # 要訪問的目標HTTPS頁面
    # targetUrl = "https://httpbin.org/ip"

    # 代理伺服器(產品官網 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理驗證資訊
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 設定 http和https訪問都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  設定IP切換頭
    tunnel = random.randint(1,10000)


    headers = {
        ‘Connection’:'keep-alive',
        'Accept-Language':'zh',
        "Proxy-Tunnel": str(tunnel)
    }

    for i in range(100):
        resp = requests.get(targetUrl, proxies=proxies, headers=headers)
        print resp.status_code
        print resp.text
        time.sleep(0.2)

經過除錯分析，上面的程式碼主要是兩個問題：
1、‘Connection’:’keep-alive’ 需要關閉
keep-alive 是客戶端和服務端的協議規範，開啟 keep-alive，則服務端在返回 response 後不關閉 TCP 連線，接收完響應報文後，客戶端也不關閉連線，傳送下一個 HTTP 請求時會重用該連線，這就導TCP的連結不斷開，因此爬蟲代理的自動IP切換就失效了。導致一個代理IP會長期保持使用，直到該代理IP的有效時間20秒到期之後，強制關閉TCP連線切換新的代理IP。
2、tunnel 引數設定錯誤
tunnel 是用來控制代理IP切換的控制引數。爬蟲代理會檢查tunnel的數值，數值不同就將HTTP請求隨機分配一個新代理IP轉發，tunnel相同就將HTTP請求分配相同的代理IP轉發。因此為實現每個HTTP請求通過不同的代理IP轉發，就應該在for下面實現tunnel = random.randint(1,10000)，確保每次HTTP請求中的tunnel是不同的數值。

本作品採用《CC 協議》，轉載必須註明作者和本文連結

相關文章