在前一節中，我們瞭解了requests的基本用法，如基本的GET、POST請求以及Response物件。本節中，我們再來了解下requests的一些高階用法，如檔案上傳、cookie設定、代理設定等。
1. 檔案上傳
我們知道requests可以模擬提交一些資料。假如有的網站需要上傳檔案，我們也可以用它來實現，這非常簡單，示例如下：
import requests
files = {'file': open('favicon.ico', 'rb')}
r = requests.post("http://httpbin.org/post", files=files)
print(r.text)
複製程式碼在前一節中我們儲存了一個檔案favicon.ico，這次用它來模擬檔案上傳的過程。需要注意的是，favicon.ico需要和當前指令碼在同一目錄下。如果有其他檔案，當然也可以使用其他檔案來上傳，更改下程式碼即可。
執行結果如下：
{
"args": {},
"data": "",
"files": {
"file": "data:application/octet-stream;base64,AAAAAA...="
},
"form": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Content-Length": "6665",
"Content-Type": "multipart/form-data; boundary=809f80b1a2974132b133ade1a8e8e058",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.10.0"
},
"json": null,
"origin": "60.207.237.16",
"url": "http://httpbin.org/post"
}
複製程式碼以上省略部分內容，這個網站會返回響應，裡面包含files這個欄位，而form欄位是空的，這證明檔案上傳部分會單獨有一個files欄位來標識。
2. Cookies
前面我們使用urllib處理過Cookies，寫法比較複雜，而有了requests，獲取和設定Cookies只需一步即可完成。
我們先用一個例項看一下獲取Cookies的過程：
import requests
r = requests.get("https://www.baidu.com")
print(r.cookies)
for key, value in r.cookies.items():
print(key + '=' + value)
複製程式碼執行結果如下：
<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>, <Cookie __bsi=13533594356813414194_00_14_N_N_2_0303_C02F_N_N_N_0 for .www.baidu.com/>]>
BDORZ=27315
__bsi=13533594356813414194_00_14_N_N_2_0303_C02F_N_N_N_0
複製程式碼這裡我們首先呼叫cookies屬性即可成功得到Cookies，可以發現它是RequestCookieJar型別。然後用items()方法將其轉化為元組組成的列表，遍歷輸出每一個Cookie的名稱和值，實現Cookie的遍歷解析。
當然，我們也可以直接用Cookie來維持登入狀態，下面以知乎為例來說明。首先登入知乎，將Headers中的Cookie內容複製下來，如圖3-6所示。
圖3-6 Cookie
這裡可以替換成你自己的Cookie，將其設定到Headers裡面，然後傳送請求，示例如下：
import requests
headers = {
'Cookie': 'q_c1=31653b264a074fc9a57816d1ea93ed8b|1474273938000|1474273938000; d_c0="AGDAs254kAqPTr6NW1U3XTLFzKhMPQ6H_nc=|1474273938"; __utmv=51854390.100-1|2=registration_date=20130902=1^3=entry_date=20130902=1;a_t="2.0AACAfbwdAAAXAAAAso0QWAAAgH28HQAAAGDAs254kAoXAAAAYQJVTQ4FCVgA360us8BAklzLYNEHUd6kmHtRQX5a6hiZxKCynnycerLQ3gIkoJLOCQ==";z_c0=Mi4wQUFDQWZid2RBQUFBWU1DemJuaVFDaGNBQUFCaEFsVk5EZ1VKV0FEZnJTNnp3RUNTWE10ZzBRZFIzcVNZZTFGQmZn|1474887858|64b4d4234a21de774c42c837fe0b672fdb5763b0',
'Host': 'www.zhihu.com',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36',
}
r = requests.get('https://www.zhihu.com', headers=headers)
print(r.text)
複製程式碼我們發現，結果中包含了登入後的結果，如圖3-7所示，這證明登入成功。
圖3-7 執行結果
當然，你也可以通過cookies引數來設定，不過這樣就需要構造RequestsCookieJar物件，而且需要分割一下cookies。這相對煩瑣，不過效果是相同的，示例如下：
import requests
cookies = 'q_c1=31653b264a074fc9a57816d1ea93ed8b|1474273938000|1474273938000; d_c0="AGDAs254kAqPTr6NW1U3XTLFzKhMPQ6H_nc=|1474273938"; __utmv=51854390.100-1|2=registration_date=20130902=1^3=entry_date=20130902=1;a_t="2.0AACAfbwdAAAXAAAAso0QWAAAgH28HQAAAGDAs254kAoXAAAAYQJVTQ4FCVgA360us8BAklzLYNEHUd6kmHtRQX5a6hiZxKCynnycerLQ3gIkoJLOCQ==";z_c0=Mi4wQUFDQWZid2RBQUFBWU1DemJuaVFDaGNBQUFCaEFsVk5EZ1VKV0FEZnJTNnp3RUNTWE10ZzBRZFIzcVNZZTFGQmZn|1474887858|64b4d4234a21de774c42c837fe0b672fdb5763b0'
jar = requests.cookies.RequestsCookieJar()
headers = {
'Host': 'www.zhihu.com',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36'
}
for cookie in cookies.split(';'):
key, value = cookie.split('=', 1)
jar.set(key, value)
r = requests.get("http://www.zhihu.com", cookies=jar, headers=headers)
print(r.text)
複製程式碼這裡我們首先新建了一個RequestCookieJar物件，然後將複製下來的cookies利用split()方法分割，接著利用set()方法設定好每個Cookie的key和value，然後通過呼叫requests的get()方法並傳遞給cookies引數即可。當然，由於知乎本身的限制，headers引數也不能少，只不過不需要在原來的headers引數裡面設定cookie欄位了。
測試後，發現同樣可以正常登入知乎。
3. 會話維持
在requests中，如果直接利用get()或post()等方法的確可以做到模擬網頁的請求，但是這實際上是相當於不同的會話，也就是說相當於你用了兩個瀏覽器開啟了不同的頁面。
設想這樣一個場景，第一個請求利用post()方法登入了某個網站，第二次想獲取成功登入後的自己的個人資訊，你又用了一次get()方法去請求個人資訊頁面。實際上，這相當於開啟了兩個瀏覽器，是兩個完全不相關的會話，能成功獲取個人資訊嗎？那當然不能。
有小夥伴可能說了，我在兩次請求時設定一樣的cookies不就行了？可以，但這樣做起來顯得很煩瑣，我們有更簡單的解決方法。
其實解決這個問題的主要方法就是維持同一個會話，也就是相當於開啟一個新的瀏覽器選項卡而不是新開一個瀏覽器。但是我又不想每次設定cookies，那該怎麼辦呢？這時候就有了新的利器——Session物件。
利用它，我們可以方便地維護一個會話，而且不用擔心cookies的問題，它會幫我們自動處理好。示例如下：
import requests
requests.get('http://httpbin.org/cookies/set/number/123456789')
r = requests.get('http://httpbin.org/cookies')
print(r.text)
複製程式碼這裡我們請求了一個測試網址httpbin.org/cookies/set…。請求這個網址時，可以設定一個cookie，名稱叫作number，內容是123456789，隨後又請求了httpbin.org/cookies，此網址可以獲取當前的Cookies。
這樣能成功獲取到設定的Cookies嗎？試試看。
執行結果如下：
{
"cookies": {}
}
複製程式碼這並不行。我們再用Session試試看：
import requests
s = requests.Session()
s.get('http://httpbin.org/cookies/set/number/123456789')
r = s.get('http://httpbin.org/cookies')
print(r.text)
複製程式碼再看下執行結果：
{
"cookies": {
"number": "123456789"
}
}
複製程式碼成功獲取！這下能體會到同一個會話和不同會話的區別了吧！
所以，利用Session，可以做到模擬同一個會話而不用擔心Cookies的問題。它通常用於模擬登入成功之後再進行下一步的操作。
Session在平常用得非常廣泛，可以用於模擬在一個瀏覽器中開啟同一站點的不同頁面，後面會有專門的章節來講解這部分內容。
4. SSL證照驗證
此外，requests還提供了證照驗證的功能。當傳送HTTP請求的時候，它會檢查SSL證照，我們可以使用verify引數控制是否檢查此證照。其實如果不加verify引數的話，預設是True，會自動驗證。
前面我們提到過，12306的證照沒有被官方CA機構信任，會出現證照驗證錯誤的結果。我們現在訪問它，都可以看到一個證照問題的頁面，如圖3-8所示。
圖3-8 錯誤頁面
現在我們用requests來測試一下：
import requests
response = requests.get('https://www.12306.cn')
print(response.status_code)
複製程式碼執行結果如下：
requests.exceptions.SSLError: ("bad handshake: Error([('SSL routines', 'tls_process_server_certificate', 'certificate verify failed')],)",)
複製程式碼這裡提示一個錯誤SSLError，表示證照驗證錯誤。所以，如果請求一個HTTPS站點，但是證照驗證錯誤的頁面時，就會報這樣的錯誤，那麼如何避免這個錯誤呢？很簡單，把verify引數設定為False即可。相關程式碼如下：
import requests
response = requests.get('https://www.12306.cn', verify=False)
print(response.status_code)
複製程式碼這樣就會列印出請求成功的狀態碼：
/usr/local/lib/python3.6/site-packages/urllib3/connectionpool.py:852: InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings
InsecureRequestWarning)
200
複製程式碼不過我們發現報了一個警告，它建議我們給它指定證照。我們可以通過設定忽略警告的方式來遮蔽這個警告：
import requests
from requests.packages import urllib3
urllib3.disable_warnings()
response = requests.get('https://www.12306.cn', verify=False)
print(response.status_code)
複製程式碼或者通過捕獲警告到日誌的方式忽略警告：
import logging
import requests
logging.captureWarnings(True)
response = requests.get('https://www.12306.cn', verify=False)
print(response.status_code)
複製程式碼當然，我們也可以指定一個本地證照用作客戶端證照，這可以是單個檔案（包含金鑰和證照）或一個包含兩個檔案路徑的元組：
import requests
response = requests.get('https://www.12306.cn', cert=('/path/server.crt', '/path/key'))
print(response.status_code)
複製程式碼當然，上面的程式碼是演示例項，我們需要有crt和key檔案，並且指定它們的路徑。注意，本地私有證照的key必須是解密狀態，加密狀態的key是不支援的。
5. 代理設定
對於某些網站，在測試的時候請求幾次，能正常獲取內容。但是一旦開始大規模爬取，對於大規模且頻繁的請求，網站可能會彈出驗證碼，或者跳轉到登入認證頁面，更甚者可能會直接封禁客戶端的IP，導致一定時間段內無法訪問。
那麼，為了防止這種情況發生，我們需要設定代理來解決這個問題，這就需要用到proxies引數。可以用這樣的方式設定：
import requests
proxies = {
"http": "http://10.10.1.10:3128",
"https": "http://10.10.1.10:1080",
}
requests.get("https://www.taobao.com", proxies=proxies)
複製程式碼當然，直接執行這個例項可能不行，因為這個代理可能是無效的，請換成自己的有效代理試驗一下。
若代理需要使用HTTP Basic Auth，可以使用類似http://user:password@host:port這樣的語法來設定代理，示例如下：
import requests
proxies = {
"http": "http://user:password@10.10.1.10:3128/",
}
requests.get("https://www.taobao.com", proxies=proxies)
複製程式碼除了基本的HTTP代理外，requests還支援SOCKS協議的代理。
首先，需要安裝socks這個庫：
pip3 install 'requests[socks]'
複製程式碼然後就可以使用SOCKS協議代理了，示例如下：
import requests
proxies = {
'http': 'socks5://user:password@host:port',
'https': 'socks5://user:password@host:port'
}
requests.get("https://www.taobao.com", proxies=proxies)
複製程式碼6. 超時設定
在本機網路狀況不好或者伺服器網路響應太慢甚至無響應時，我們可能會等待特別久的時間才可能收到響應，甚至到最後收不到響應而報錯。為了防止伺服器不能及時響應，應該設定一個超時時間，即超過了這個時間還沒有得到響應，那就報錯。這需要用到timeout引數。這個時間的計算是發出請求到伺服器返回響應的時間。示例如下：
import requests
r = requests.get("https://www.taobao.com", timeout = 1)
print(r.status_code)
複製程式碼通過這樣的方式，我們可以將超時時間設定為1秒，如果1秒內沒有響應，那就丟擲異常。
實際上，請求分為兩個階段，即連線（connect）和讀取（read）。
上面設定的timeout將用作連線和讀取這二者的timeout總和。
如果要分別指定，就可以傳入一個元組：
r = requests.get('https://www.taobao.com', timeout=(5,11, 30))
複製程式碼如果想永久等待，可以直接將timeout設定為None，或者不設定直接留空，因為預設是None。這樣的話，如果伺服器還在執行，但是響應特別慢，那就慢慢等吧，它永遠不會返回超時錯誤的。其用法如下：
r = requests.get('https://www.taobao.com', timeout=None)
複製程式碼或直接不加引數：
r = requests.get('https://www.taobao.com')
複製程式碼7. 身份認證
在訪問網站時，我們可能會遇到這樣的認證頁面，如圖3-9所示。
圖3-9 認證頁面
此時可以使用requests自帶的身份認證功能，示例如下：
import requests
from requests.auth import HTTPBasicAuth
r = requests.get('http://localhost:5000', auth=HTTPBasicAuth('username', 'password'))
print(r.status_code)
複製程式碼如果使用者名稱和密碼正確的話，請求時就會自動認證成功，會返回200狀態碼，如果認證失敗，則返回401狀態碼。
當然，如果引數都傳一個HTTPBasicAuth類，就顯得有點煩瑣了，所以requests提供了一個更簡單的寫法，可以直接傳一個元組，它會預設使用HTTPBasicAuth這個類來認證。
所以上面的程式碼可以直接簡寫如下：
import requests
r = requests.get('http://localhost:5000', auth=('username', 'password'))
print(r.status_code)
複製程式碼此外，requests還提供了其他認證方式，如OAuth認證，不過此時需要安裝oauth包，安裝命令如下：
pip3 install requests_oauthlib
複製程式碼使用OAuth1認證的方法如下：
import requests
from requests_oauthlib import OAuth1
url = 'https://api.twitter.com/1.1/account/verify_credentials.json'
auth = OAuth1('YOUR_APP_KEY', 'YOUR_APP_SECRET',
'USER_OAUTH_TOKEN', 'USER_OAUTH_TOKEN_SECRET')
requests.get(url, auth=auth)
複製程式碼更多詳細的功能可以參考requests_oauthlib的官方文件requests-oauthlib.readthedocs.org/，在此不再贅述了。
8. Prepared Request
前面介紹urllib時，我們可以將請求表示為資料結構，其中各個引數都可以通過一個Request物件來表示。這在requests裡同樣可以做到，這個資料結構就叫Prepared Request。我們用例項看一下：
from requests import Request, Session
url = 'http://httpbin.org/post'
data = {
'name': 'germey'
}
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36'
}
s = Session()
req = Request('POST', url, data=data, headers=headers)
prepped = s.prepare_request(req)
r = s.send(prepped)
print(r.text)
複製程式碼這裡我們引入了Request，然後用url、data和headers引數構造了一個Request物件，這時需要再呼叫Session的prepare_request()方法將其轉換為一個Prepared Request物件，然後呼叫send()方法傳送即可，執行結果如下：
{
"args": {},
"data": "",
"files": {},
"form": {
"name": "germey"
},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Connection": "close",
"Content-Length": "11",
"Content-Type": "application/x-www-form-urlencoded",
"Host": "httpbin.org",
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36"
},
"json": null,
"origin": "182.32.203.166",
"url": "http://httpbin.org/post"
}
複製程式碼可以看到，我們達到了同樣的POST請求效果。
有了Request這個物件，就可以將請求當作獨立的物件來看待，這樣在進行佇列排程時會非常方便。後面我們會用它來構造一個Request佇列。
本節講解了requests的一些高階用法，這些用法在後面實戰部分會經常用到，需要熟練掌握。更多的用法可以參考requests的官方文件：docs.python-requests.org/。
本資源首發於崔慶才的個人部落格靜覓： Python3網路爬蟲開發實戰教程 | 靜覓
如想了解更多爬蟲資訊，請關注我的個人微信公眾號：進擊的Coder
weixin.qq.com/r/5zsjOyvEZ… (二維碼自動識別)