Python3中關於cookie的建立與儲存

1.cookie的作用

cookie 是指某些網站為了辨別使用者身份、進行session跟蹤而儲存在使用者本地終端上的資料，就像有些網站上的一些資料是需要登入後才能看得到，那麼想抓取某個頁面內容，就需要用到cookie來模擬登陸了。

在用cookie模擬登陸的時候，需要用到python中的CookieJar，CookieJar中有一些子類，例如：

FileCookieJar,LWPCookieJar,MoziliaCookieJar

CookieJar 管理http生成的cookie，負責cookie的儲存工作，向http當中新增指定的cookie

MozillaCookieJar和LWPCookieJar類都是FileCookieJar的子類。實現了具體的把cookie內容儲存為檔案的方法。只是這兩個類對應的標準不同而已。

2 獲取cookie

from http.cookiejar import CookieJar,LWPCookieJar
from urllib.request import Request,urlopen,HTTPCookieProcessor,build_opener
from urllib.parse import urlencode
import ssl

# ----------------------------------------獲取cookie---------------------------
# 生成一個管理cookie的物件
cookie_obj = CookieJar()
# 建立一個支援cookie的物件，物件屬於HTTPCookieProcessor
cookie_handler = HTTPCookieProcessor(cookie_obj)    
#建立一個opener
opener = build_opener(cookie_handler)   
response = opener.open('http://www.baidu.com')
print(response)
#列印cookie
for cookie in cookie_obj:
    print('key:',cookie.name)
    print('value:',cookie.value)

3 儲存cookie的檔案

from http.cookiejar import CookieJar,LWPCookieJar
from urllib.request import Request,urlopen,HTTPCookieProcessor,build_opener

filename = 'neihan.txt'
# 設定cookie儲存的檔案
cookie_obj = LWPCookieJar(filename=filename)
# 建立一個支援cookie的物件，物件屬於HTTPCookieProcessor
cookie_handler = HTTPCookieProcessor(cookie_obj)
#建立一個opener
opener = build_opener(cookie_handler)
#請求網頁
response = opener.open('http://www.neihanshequ.com')
# 儲存cookie到指定的檔案當中去
# ignore_expires=True 即便目標cookie已經在檔案中存在，仍然對其寫入
# ignore_discard=True   即便cookie將要/已經過期，仍然寫入
cookie_obj.save(ignore_expires=True,ignore_discard=True)

4 使用本地的cookie進行請求

from http.cookiejar import CookieJar,LWPCookieJar
from urllib.request import Request,urlopen,HTTPCookieProcessor,build_opener

 

cookie = LWPCookieJar()
#從檔案中讀取cookie到變數
cookie.load('neihan.txt')

request = Request('http://www.neihanshequ.com')
# 建立一個支援cookie的物件，物件屬於HTTPCookieProcessor
cookie_handler = HTTPCookieProcessor(cookie)
#建立一個opener
opener = build_opener(cookie_handler)
#請求網頁
response = opener.open(request)

# print(response.read().decode())

5 使用cookie進行模擬登陸

from http.cookiejar import CookieJar,LWPCookieJar
from urllib.request import Request,urlopen,HTTPCookieProcessor,build_opener
from urllib.parse import urlencode
import ssl

cookie = LWPCookieJar(filename='meishi.txt')
cookie_handler = HTTPCookieProcessor(cookie)
opener = build_opener(cookie_handler)
headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0'
}
post_url = 'https://i.meishi.cc/login.php?redirect=https%3A%2F%2Fi.meishi.cc%2Flogin.php%3Fac%3Dzhuce'
# urlencode對url當中的引數進行編碼
# urlencode()編碼的物件為字典型別
post_data = urlencode({
    'username':'***********',   #自己的登陸賬號
    'password':'************'   #自己的登陸密碼
})
# 請求url 並傳參，設定編碼方式
request = Request(post_url,bytes(post_data,encoding='utf-8'))
# 解決證照問題
ssl._create_default_https_context = ssl._create_unverified_context
response = opener.open(request)
print(response.read().decode())
cookie.save(ignore_discard=True,ignore_expires=True)

這裡的post_url是抓包獲取來的