【閱讀筆記】《Python3網路爬蟲開發實戰》PDF文件

zhiyerang發表於2020-01-14

崔慶才個人部落格:https://cuiqingcai.com/

 

  • 在window、linux、Mac上安裝Python3的相關連結。

這裡會介紹 Windows 、 Linux 和Mac 三大平臺下的安裝過程 。 相關連結如下 。
口 官方網站: http ://python.org
口 下載地址: https ://www.python . org/downloads
口 第三方庫 : https ://pypi . python.org/pypi
口 官方文件 : https ://docs.python .org/3
口 中文教程 : http ://www. runoob .com/python3/python3-tutorial.html
口 Awesome Python: https://github.com/vinta/awesome-python
口 Awesome Python 中文版 : https: //github . com/jobbole/awesome-python-cn

  • 爬蟲需要安裝的請求庫【詳見文件P10】

爬蟲可以簡單分為幾步:抓取頁面、分析頁面和儲存資料。
在抓取頁面的過程中 ,我們需要模擬瀏覽器向伺服器發出請求,所以需要用到一些 Python 庫來實
現 HTTP 請求操作 。 在本書中,我們用到的第三方庫有 requests 、 Selenium 和 aiohttp 等。
附:命令pip freeze可檢視當前已經安裝的包。

 

  • Selenium 是一個自動化測試工具,利用它我們可以驅動瀏覽器執行特定的動作,如點選、下拉等操作 。【詳見文

相關文章