python爬蟲學習1

爬蟲的概念

• 爬蟲是模擬瀏覽器傳送請求，獲取響應。

爬蟲的流程

• url—>傳送請求，獲取響應—>提取資料—>儲存
• 傳送請求，獲取響應—>提取url

HTTP

• 超文字傳輸協議
• 預設埠號：80

HTTPS

• HTTP + SSL(安全套接字層)
• 預設埠號：443

HTTPS比HTTP更安全，但是效能更低
爬蟲要根據當前url地址的響應為準，當前url地址的elements的內容和url的響應不一樣，與瀏覽器所渲染的畫面不一樣
頁面上的資料在哪裡

• 當前url地址對應的響應中
• 其他的url地址對應的響應中
  • 比如ajax請求
• js生成的
  • 部分資料在響應中
  • 全部通過js生成的

url的形式

• scheme: 協議（例如：http,https,ftp）
• host: 伺服器的IP地址或者域名
• port： 伺服器的埠（如果是走協議預設埠 80/443）
• path： 訪問資源的路徑
• query-string：引數，傳送給http伺服器的資料
• anchor：跳轉到網頁指定的錨點位置

HTTP請求的形式

• GET / HTTP/1.1
• Host: www.baidu.com
• Connection: keep-alive
• Cache-Control: max-age=0
• Upgrade-Insecure-Requests: 1
• User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36
• Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,/;q=0.8,application/signed-exchange; v=b3;q=0.9
• Sec-Fetch-Site: none
• Sec-Fetch-Mode: navigate
• Sec-Fetch-User: ?1
• Sec-Fetch-Dest: document
• Accept-Encoding: gzip, deflate, br
• Accept-Language: zh-CN,zh;q=0.9
• Cookie: BIDUPSID=11C0422945762C4F73B4527923B8204E; PSTM=1603198765; BAIDUID=11C0422945762C4FB2BD7D207CCE8704:FG=1; BD_UPN=12314753; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; BAIDUID_BFESS=11C0422945762C4FB2BD7D207CCE8704:FG=1; COOKIE_SESSION=19164_0_8_2_8_0_0_0_8_0_0_0_19161_0_5_0_1606642120_0_1606642125%7C9%23328_6_1605098782%7C3; Hm_lvt_aec699bb6442ba076c8981c6dc490771=1606309975,1606622825,1606647175; H_PS_645EC=0ffcLk9%2FLqT01DVW8UgimaovtcnoQShCtV%2Fx%2Fx9KCsYKb%2FsvbLSlkrZXEGw; BD_HOME=1; H_PS_PSSID=1453_33061_31253_33113_33098_33101_33183_33181_33185; BA_HECTOR=25258k2lak8k002lbu1fs71v10q

Cookie與Session的區別？

• Cookie 儲存在瀏覽器本地，Session存在伺服器本地，Cookie有儲存上限

常見的請求方法

• GET
• POST
  
  

GET與POST方法有什麼區別

• POST請求暫時記住大檔案傳輸與表單提交

響應狀態碼（status code）

• 200：成功
• 302：臨時轉移至新的url
• 307：臨時轉移至新的url
• 404：not found
• 500：伺服器內部錯誤

字串的複習

• str型別和bytes型別
  • bytes：二進位制
    • 網際網路上的資料都是以二進位制的方式傳輸的
  • str： Unicode的呈現形式

字元（character）是各種文字和符號的總稱，包括國家文字、標點符號、圖形符號、數字等

字符集是多個字元的集合

字符集包括：ASCII字符集、GB2312字符集、GB1803字符集、Unicode字符集

ASCII編碼是一個位元組，Unicode編碼通常是兩個位元組。UTF-8是Unicode的實現方式之一。

str和bytes如何轉換

• str使用encode方法轉化為bytes
• bytes通過decode轉化為str
• 編碼方式必須一樣，否則會出現亂碼

給我自己的福利