request爬蟲

代理

在需要代理的時候，可以通過為請求方法提供proxies引數來配置單個請求：

import requests

proxies = {
  "http": "http://10.10.1.10:3128",
  "https": "http://10.10.1.10:1080",
}

requests.get("http://example.org", proxies=proxies)

當代理需要使用HTTP Basic Auth時，可以使用http://user:password@host/語法（注意結尾的/號一定要有）：

proxies = {
    "http": "http://user:pass@10.10.1.10:3128/"
}

也可以通過環境變數HTTP_PROXY和HTTPS_PROXY來配置代理

$ export HTTP_PROXY="http://10.10.1.10:3128"
$ export HTTPS_PROXY="http://10.10.1.10:1080"

$ python
>>> import requests
>>> requests.get("http://example.org")