4、爬蟲-資料獲取之雙R（CS/BS）與chrom檢查工具使用-requests請求

little小新發表於2024-07-01
爬蟲

模擬客戶端請求服務端：

  ·模擬請求行和請求頭、請求體

"""
模擬客戶端請求
獲取靜態資料和動態資料
使用python自己去構造請求
使用request
"""
"""
請求的構成：
請求行、請求頭、請求體
"""

###########################靜態頁面載入請求的###############################
import requests
import json
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"

}
url = "https://www.xinpianchang.com/discover/article-49-0?utm_source=xpcWeb&utm_medium=navigatorCate&index=11"

#用於傳送 HTTP 請求、向url傳送請求、將返回結構存在response中
response = requests.request("GET",url,headers=headers)

#以text格式輸出請求到的內容
print(f"{response.text}")

#requests.get用於 傳送特定的請求（如.get、.post、.put）
#requests.get(url,headers=headers)



####################動態網頁的請求、如獲取評論區的內容#############################
#先獲取評論區的url
comment_url = "https://www.xinpianchang.com/api/xpc/comments/article/v2?article_id=12850027"

#使用get請求
response_comment = requests.get(comment_url,headers=headers)
#將請求到的內容輸出text格式或json格式
#print(f"{response_comment.text}")
print(f"{response_comment.json()}") #注意只有內容的格式是字典的才能以json格式輸出

相關文章