爬蟲請求頭

網頁獲取：

通過urlopen來進行獲取
requset.urlopen(url,data,timeout)
第一個引數url即為URL，第二個引數data是訪問URL時要傳送的資料，第三個timeout是設定超時時間。
第二三個引數是可以不傳送的，data預設為空None，timeout預設為 socket._GLOBAL_DEFAULT_TIMEOUT
第一個引數URL是必須要加入的，執行urlopen方法之後，返回一個response物件，返回資訊便儲存在這裡面

from urllib.request import urlopen

url = "https://www.baidu.com/"
respons = urlopen(url)#最簡單的爬取情況這樣爬取大部分網頁無法爬取成功

response物件：

response.read()
read()方法就是讀取檔案裡的全部內容，返回bytes型別

print(type(respons.read()))#結果為bytes型別所以需要進行轉碼
print(type(respons.read().decode()))#通過decode轉碼結果為str

response.getcode()
返回 HTTP的響應碼，成功返回200，4伺服器頁面出錯，5伺服器問題
response.geturl()
返回 返回實際資料的實際URL，防止重定向問題
response.info()
返回 伺服器響應的HTTP報頭

Request物件

Request物件，由於urlopen引數可以傳入一個request請求（可以理解成為再加一步封裝的功能）因為在構建請求時還需要加入好多內容，通過構建一個request，伺服器響應請求得到應答，這樣顯得邏輯上清晰明確

from urllib.request import urlopen,Request
from fake_useragent import UserAgent#這個包可以隨機生成User-Agent

url = "https://www.baidu.com/"
headers = {"User-Agent":UserAgent().firefox}#生成火狐的
request = Request(url,headers=headers)
response = urlopen(request)

a=response.read().decode()

Get請求

瀏覽器通過GET方法發出請求
爬蟲主要通過get再url中加入請求的引數，由於中文的需要轉碼通過
Urllib.parse.urlencode() 針對多個引數進行轉碼操作輸入格式為字典型別
Urllib.parse.quote() 針對單個字串進行轉碼操作
Str格式.format( ) 用於拼接字串

post請求

一般在需要登入的地方用的比較多
需要在request請求中加如一個data用來傳入引數
引數的形式要以字典格式通過urllib.parse.urlencode()進行轉換成字串形式
再通過encode()函式對字串進行轉碼（預設值就可以）

傳送請求/響應header頭的含義

名稱	含義
Accept	告訴伺服器，客戶端支援的資料型別
Accept-Charset	告訴伺服器，客戶端採用的編碼
Accept-Encoding	告訴伺服器，客戶機支援的資料壓縮格式
Accept-Language	告訴伺服器，客戶機的語言環境
Host	客戶機通過這個頭告訴伺服器，想訪問的主機名
If-Modified-Since	客戶機通過這個頭告訴伺服器，資源的快取時間
Referer	客戶機通過這個頭告訴伺服器，它是從哪個資源來訪問伺服器的。（一般用於防盜鏈）
User-Agent	客戶機通過這個頭告訴伺服器，客戶機的軟體環境
Cookie	客戶機通過這個頭告訴伺服器，可以向伺服器帶資料
Refresh	伺服器通過這個頭，告訴瀏覽器隔多長時間重新整理一次
Content-Type	伺服器通過這個頭，回送資料的型別
Content-Language	伺服器通過這個頭，告訴伺服器的語言環境
Server	伺服器通過這個頭，告訴瀏覽器伺服器的型別
Content-Encoding	伺服器通過這個頭，告訴瀏覽器資料採用的壓縮格式
Content-Length	伺服器通過這個頭，告訴瀏覽器回送資料的長度

Ajax請求

用於提取動態的頁面 網頁資料根據拖動進行顯示
通過瀏覽器工具箱，查詢包的資訊，找到url的規律進行爬取
如果無法知道要迴圈多少次則規定一個死迴圈，爬取頁面為空時停止迴圈
也可以通過改變url一次性輸出更多的網頁資訊（只要伺服器允許）

https請求

因為在有些瀏覽器中存在很多證照所以在大部分網頁爬取的時候不用改變證照或者新增證照但有些自己寫證照的網站需要進行這一步操作
https請求=在http上加ssl，http請求是明文直接可以看見，為了安全要加上ssl
可以選擇忽略證照進行爬取 context = ssl._create_unverified_context()