Request模組實戰01 ---簡單爬取頁面

Request模組實戰01 — 簡單爬取頁面（四步曲）

---

1.request模組

 - urllib模組
 - request模組

2.request模組：

python中原生的一款基於網路請求的模組，功能強大，簡單便捷，效率高
作用：模擬瀏覽器傳送請求

3.如何使用：(request模組的編碼流程)

- 1.指定url
- 2.發起請求
- 3.獲取響應資料
- 4.持久化儲存

4.程式碼實現

# -*- coding: utf-8
#  @Time    : 2020/12/7 23:24
#  @Author  : ZYX
#  @File    : request01_firstblood.py
# @software: PyCharm
import requests
if __name__ == '__main__':
    # 1.指定url
    url = "https://www.sogou.com/"
    # 2.傳送請求
    #    get方法會返回一個響應物件
    response = requests.get(url)
    # 3.獲取響應資料.text 返回的是字元形式的響應資料
    page_text = response.text
    print(page_text)
    # 4.持久化儲存
    with open('./data/sogou.html','w',encoding='utf-8') as fp:
        fp.write(page_text) # 將爬取的資料寫入檔案
    print('爬取資料結束！！！')

通過執行結果可以看出，爬蟲小程式成功完成，並且將對應的檔案儲存在了指定檔案目錄下。

開啟儲存的html檔案，使用谷歌瀏覽器開啟，成功執行。至此，第一個爬蟲小程式順利完成！

---