資料來源
首先分析全國各個城市地鐵圖的資料來源,無非就是百度或者高德,這次選擇用高德作為資料來源。
基本環境配置
版本:Python3
系統:Windows
相關模組:
安裝請求庫
pip install requests
安裝DOM解析庫
pip install lxm
安裝自動化測試工具,需要瀏覽器來配合
pip install selenium
主要爬蟲思路:
1、獲取資料
從DOM節點獲取所有地鐵城市
2、解釋資料:
頁面ajax清求的介面資料
介面非同步渲染後的DOM節點資料
3、儲存資料
本人對於Python學習建立了一個小小的學習圈子,為各位提供了一個平臺,大家一起來討論學習Python。歡迎各位到來Python學習群:960410445一起討論視訊分享學習。Python是未來的發展方向,正在挑戰我們的分析能力及對世界的認知方式,因此,我們與時俱進,迎接變化,並不斷的成長,掌握Python核心技術,才是掌握真正的價值所在。