那些年,我爬過的北科(二)——爬蟲基礎之session登陸

叄公子KCN發表於2018-12-08

(注:由於現在域名全都要備案了,.tech 域名不讓備案,下面的nladuo.tech 統一更改為 nladuo.cn

說說HTTP請求:GET與POST

在上一節中,我們在不知道原理的條件下呼叫了requests.get方法下載了HTML頁面。在本節中,我們來說說什麼是HTTP請求和它的特點。

在HTTP請求中,主要有GET和POST兩種方式,其主要區別在於:

  • GET的資訊儲存在url中,比如說我們在上節看到的“?categoryId=1”。
  • 而POST的資訊則把資訊儲存在form中,比如說我們在輸入登陸使用者名稱密碼的時候,不會在網址中看到這些隱私資訊;當然,我們在上傳大檔案的時候,比如說上傳一個1個G的視訊,也不會把視訊的資訊放到url中。

另外,HTTP是一種短連線的協議,它基於TCP。為什麼這麼說呢,因為HTTP請求的過程其實就是:

首先,我們的瀏覽器通過tcp和遠端web伺服器的埠互相建立連線;然後傳送一個指令,比如說要獲取根連線(url為'/')的內容;再然後伺服器會根據客戶端(我們的瀏覽器)的請求返回相應的結果(如HTML文字、圖片等);客戶端得到了請求之後,就會將連線關閉掉,同時web伺服器也關閉和客戶端的連線;這樣,一次HTTP請求也就完成了。

那麼瀏覽器和web伺服器是如何傳送指令的呢?

在Chrome中檢視HTTP請求

下面以nladuo.cn/test.html來作為測試頁面,在輸入連結的同時開啟Chrome的開發者工具,調整到Network選項。

那些年,我爬過的北科(二)——爬蟲基礎之session登陸

這個網頁只有一個請求,那就是它的HTML,返回“It Works”。下面,我們在請求列表中點選test.html這項,可以看到伺服器的相應頭Requests Headers和客戶端的請求頭Response Headers。

那些年,我爬過的北科(二)——爬蟲基礎之session登陸

我們點選Requests Headers邊上的view source可以看到原始的請求頭。

那些年,我爬過的北科(二)——爬蟲基礎之session登陸

在這裡面可以看到:

  • 請求了nladuo.cn上面的“/test.html”這個資源,使用了HTTP1.1版本的協議,
  • 請求的域名的Host為: nladuo.cn
  • 等等。。。

同理檢視Response Headers,

那些年,我爬過的北科(二)——爬蟲基礎之session登陸

可以看到:

  • 使用了HTTP1.1版本的協議,返回碼為200 OK
  • 日期是啥
  • 伺服器是Apache,2.4.7(Ubuntu)版本
  • 等等。。。

下面我們來使用電腦自帶的tcp客戶端telnet來模擬傳送GET請求,看看一個GET請求的實際流程。

在電腦中使用telnet客戶端

對於mac或者linux使用者,可以不用進行任何配置,開啟終端輸入telnet即可使用。

對於Windows使用者,可以在此處檢視開啟telnet部分。

使用telnet模擬GET請求

對於網站來說,預設開放的是80埠,比如在Network請求中的General中可以雖然沒有配置,但訪問的是80埠。當然,你也可以輸入nladuo.cn:80/test.html進行訪問,不過一般都不會多此一舉。

那些年,我爬過的北科(二)——爬蟲基礎之session登陸

所以我們要用tcp連結nladuo.cn的80埠,使用以下命令。

telnet nladuo.cn 80
複製程式碼

輸入之後,就可以看到nladuo.cn被解析成了ip:123.206.86.230(這裡換了個伺服器,所以ip變了,原為191.101.13.124)了,並建立起了tcp連線。在這時mac和linux使用者就可以準備輸入命令了;對於Windows系統需要首先摁下ctrl鍵 + ']' 鍵進入輸入模式,然後再按回車切換到顯式輸入模式後再輸入命令。

我們像在chrome的Network看到的一樣,首先我們要發一個GET請求訪問/test.html資源,並使用HTTP1.1版本的協議,然後再告訴伺服器我們訪問的Host是nladuo.cn。之後,我們還可以告訴伺服器User-Agent是啥,Accept-Encoding是啥,不過這些都不是最重要的,所以只要輸入前兩條即可。

GET /test.html HTTP/1.1(回車)
Host: nladuo.cn(回車+回車)
複製程式碼

在這裡,每輸入一條後輸入一個回車,在最後輸入兩個回車。在輸入兩個回車之後,等待片刻,就可以看到伺服器給我們返回的資訊了。

那些年,我爬過的北科(二)——爬蟲基礎之session登陸

這裡可以看到像之前Chrome瀏覽器中看到的一樣,返回了200 OK、時間、伺服器資訊、等等....

在相應頭後面的兩個回車後面,可以看到返回的HTML資訊:“It Works”

到這裡,這次請求就已經結束了,再等待片刻,可以看到遠端伺服器關閉了tcp連結。一次HTTP請求也正式完成了。

模擬登陸

登陸過程發生了什麼?

通過上面的利用tcp模擬http請求的案例,我們知道了客戶端傳送一個請求頭資訊,伺服器返回一個相應頭資訊+HTML後,tcp連線就關閉了。但是我們日常使用網頁中登陸網頁之後,重新整理之後瀏覽器還能記得我們登陸的資訊,這是什麼原理呢?

下面以一個簡單的登陸頁面來學習一下登陸過程中都發生了什麼?登陸的連結地址為:nladuo.cn/crawler_les…。而登陸後的隱私連結地址為:nladuo.cn/crawler_les…

首先,我們先不登入,訪問一下隱私頁面,注意要首先開啟Network,再輸入連結nladuo.cn/crawler_les…

那些年,我爬過的北科(二)——爬蟲基礎之session登陸

這裡可以看到網頁顯示出了無權檢視,並且Response Headers多了一個Set-Cookie欄位。當然,如果你沒按照我說的做,而是先輸入url,顯示出頁面,然後再開啟Network,重新整理一下頁面檢視的話,就會看到以下的結果。

那些年,我爬過的北科(二)——爬蟲基礎之session登陸

在Response Headers的Set-Cookie不見了,而Requests Headers多了一個Cookie,這兩個的值還是一樣的,都是“PHPSESSID=9m8vgq9699fun79t3ks6ljrdh7”。

當然,這個時候不管再重新整理幾次頁面,Response Headers都沒有出現新的Set-Cookie了;而在第一次的之後所有請求,Request Headers都會帶著一個Cookie。比如我們這裡檢視登陸頁面,nladuo.cn/crawler_les…,也帶了這個Cookie。

那些年,我爬過的北科(二)——爬蟲基礎之session登陸

這裡可以先帶著疑問,我們現在知道,Set-Cookie只執行一次,由伺服器返回;在此之後,瀏覽器會儲存Set-Cookie儲存的值,每次訪問這個域的內容都會帶著Set-Cookie的值,並把他放到Cookie欄位裡。

接下來,我們嘗試一下登陸,這裡,使用者名稱和密碼都預設為nladuo,我們只要在輸入框輸入nladuo即可。點選登陸後,我們可以看到這裡發了一個POST請求,顯示出了“登陸成功”。

那些年,我爬過的北科(二)——爬蟲基礎之session登陸

相比GET而言,POST的請求頭中多了Content-Type和Content-Length兩個欄位,因為這次是把資料放到了Form Data中,而不是在url裡了。這裡Content-Length就是傳送位元組的長度,Content-Type則是傳送的型別,這裡會把表單中的欄位轉換成鍵值對,如uname:nladuo,passwd=nladuo轉換為uname=nladuo&passwd=nladuo,這樣正好也是26個字元。

當然,這裡,我們也可以用Telnet模擬POST請求,讀者可以看一下,這裡就不多說了。

那些年,我爬過的北科(二)——爬蟲基礎之session登陸

下面,我們再看一下Cookie,可以發現這裡Cookie沒有變,還是 “PHPSESSID=9m8vgq9699fun79t3ks6ljrdh7”。

Cookie與Session

看到這裡,帶著疑問,可以引出Cookie和Session的概念了。

我們上面看到的Cookie是一種客戶端的技術,而Session則是服務端的技術。登陸的過程其實就是一個會話開始的時候,伺服器給客戶端一個ID,如上面看到的Set-Cookie,這其實就代表會話的開始,而當瀏覽器關閉後,一次會話也就結束了。

那些年,我爬過的北科(二)——爬蟲基礎之session登陸

在一次會話中,使用者的狀態儲存在伺服器中,而客戶端是儲存一個會話ID,所以當我們在沒登陸的時候請求nladuo.cn/crawler_les…頁面時,伺服器會在快取資料庫裡的PHPSESSID這張表查詢id為9m8vgq9699fun79t3ks6ljrdh7的欄位,判斷使用者是否登陸了,然後根據查詢的結果來返回不同的頁面。

那些年,我爬過的北科(二)——爬蟲基礎之session登陸

比如,我們在沒有登陸前,快取伺服器中PHPSESSID中9m8vgq9699fun79t3ks6ljrdh7的is_login欄位是NULL,所以伺服器查詢到is_login是空的,所以不給使用者看隱私頁面。當我們登陸的時候,如果使用者名稱密碼正確,伺服器就會給快取伺服器上的9m8vgq9699fun79t3ks6ljrdh7欄位的is_login設定為True,當使用者下次請求隱私頁面的時候,就可以看到正確的返回結果了。

那些年,我爬過的北科(二)——爬蟲基礎之session登陸

使用Cookie模擬登陸

通過上面的學習,我們知道了如何進行登入,下面我們用程式碼模擬一下這個步驟:1.首先登陸,2.儲存Cookie,3.帶著Cookie請求隱私頁面

# 1. 先登陸
resp1 = requests.post("http://nladuo.cn/crawler_lesson2/do_login.php",
  data={
    "uname": "nladuo",
    "passwd": "nladuo"
})

# 2. 儲存伺服器傳回來的Cookie
print("Set-Cookie:", resp1.headers["set-cookie"])
cookie = resp1.headers["set-cookie"].split(";")[0]

# 3. 再通過cookie請求隱私頁面
resp = requests.get("http://nladuo.cn/crawler_lesson2/private.php",
  headers={
    "Cookie":  cookie  # 現用瀏覽器或者Telnet傳送Post請求登入, 把cookie粘到這裡
})
print(resp.content)
複製程式碼

執行程式碼,可以看到這裡登陸成功,返回了隱私頁面。

那些年,我爬過的北科(二)——爬蟲基礎之session登陸

使用requests.session模擬登陸

不過,上面的方式手動管理Cookie總感覺有些麻煩,Requests庫給我提供了一個更方便的物件:requests.session,它可以像瀏覽器一樣記錄我們的會話中的Cookie。

import requests

# 1. 建立一個Session
session = requests.session()
# 2. 登陸
session.post("http://nladuo.cn/crawler_lesson2/do_login.php",
             data={"uname": "nladuo", "passwd": "nladuo"})
# 3. 訪問隱私頁面
resp = session.get("http://nladuo.cn/crawler_lesson2/private.php")
print(resp.content)
複製程式碼

現在,我們的程式碼中的流程就像人用瀏覽器的操作的過程一樣了,登陸一下,直接請求隱私頁面就好了。

執行程式碼後,可以看到同樣的正確結果。

那些年,我爬過的北科(二)——爬蟲基礎之session登陸

相關文章