Python-網頁轉義字元及正則全文匹配

前言

大部分情況下，通過request去請求網頁，response.text返回來的都是正常值，但是有一些反爬蟲比較嚴重的網站(比如知乎)就不會是這樣。知乎會返回轉義字元，例如：

header = {
    "User-Agent":"Mozilla/5.0 (X11; Linux x86_64; rv:57.0) Gecko/20100101 Firefox/57.0",
    "HOST":"www.zhihu.com",
    "Referer":"https://www.zhihu.com/signup?next=%2F",
}
def rget():
    response = session.get("https://www.zhihu.com/signup?next=%2F", headers=header)
    target_str = response.text
    print(target_str)

rget()

在給知乎的登入頁面發請求後，列印返回結果(內容太多，只返回一小部分)：

"token":{"xsrf":"9b6c6406-db1b-45fa-8626-296c037cfc00","xUDID":"ANBsasFlAg2PTgaqB1CHBtsWMijmJ20s89E="},"account":{"lockLevel":{}

發現有很多字元是轉義的，登入需要用到的xsrf欄位也在這裡面，這樣做正則匹配就很麻煩。

解決的辦法是將html進行轉義：

import html

target_str = html.unescape(response.text)

就能夠得到正常的返回資訊了：

"token":{"xsrf":"9febf0fd-7c47-4695-93b6-f670e518d920","xUDID":"ACDsF5lmAg2PTi2GMwQTl0Cwh88G51BOgzc="},

正則匹配

匹配xsrf的值 （為了方便測試，只將一小部分值提取出來做匹配）：

tokens = `"token":{"xsrf":"9febf0fd-7c47-4695-93b6-f670e518d920","xUDID":"ACDsF5lmAg2PTi2GMwQTl0Cwh88G51BOgzc="},:`
matchs = re.search(r`xsrf[:"w-]+`, tokens)
if matchs:
    print(matchs.group(0))
else:
    print("未匹配")

得到輸出結果為：

xsrf":"9febf0fd-7c47-4695-93b6-f670e518d920"

然後再借用replace將引號替換，然後用split將值用冒號分開：

import re

tokens = `"token":{"xsrf":"9febf0fd-7c47-4695-93b6-f670e518d920","xUDID":"ACDsF5lmAg2PTi2GMwQTl0Cwh88G51BOgzc="},:`
matchs = re.search(r`xsrf[:"w-]+`, tokens)

nstr = matchs.group(0).replace(""", "").split(":")
finall = nstr[1]
print(finall)

就得到了我需要的xsrf：

9febf0fd-7c47-4695-93b6-f670e518d920

---

xUDID的提取也是如此，這兩個值在知乎登入的時候是需要攜帶的，所以要提取：

import re

tokens = `"token":{"xsrf":"9febf0fd-7c47-4695-93b6-f670e518d920","xUDID":"ACDsF5lmAg2PTi2GMwQTl0Cwh88G51BOgzc="},:`
matchs = re.search(r`xUDID[:"w-]+=`, tokens)
nstr = matchs.group(0).replace(""", "").split(":")
finall = nstr[1]
print(finall)

ACDsF5lmAg2PTi2GMwQTl0Cwh88G51BOgzc=

---

re正則匹配html的坑

上面的正則可以匹配到字串了，如果正常登入的話要將請求返回的內容文字進行匹配的，也就是匹配response.text，程式碼是否就是

matchs = re.search(r`xUDID[:"w-]+=`, response.text)

坑就在這裡！

re預設匹配的是單行字串，而response.text的返回值雖然是一個html頁面的構成，但是它是分行的，第一行是html頭<! DOCUMENT html>不是我想要的整個文字進行匹配。

re是支援整個文字匹配的，需要在正則程式碼加上引數re.DOTALL即可：

matchs = re.search(r`xUDID[:"w-]+=`, response.text， re.DOTALL)

就可以對整個返回的文字進行匹配了