利用Python自動爬取全國30+城市地鐵圖資料

嗨學程式設計發表於2019-01-18

利用Python自動爬取全國30+城市地鐵圖資料

資料來源

首先分析全國各個城市地鐵圖的資料來源,無非就是百度或者高德,這次選擇用高德作為資料來源。

基本環境配置

版本:Python3

系統:Windows

相關模組:

安裝請求庫

pip install requests

安裝DOM解析庫

pip install lxm

安裝自動化測試工具,需要瀏覽器來配合

pip install selenium

主要爬蟲思路:

1、獲取資料

從DOM節點獲取所有地鐵城市

2、解釋資料:

頁面ajax清求的介面資料

介面非同步渲染後的DOM節點資料

3、儲存資料

本人對於Python學習建立了一個小小的學習圈子,為各位提供了一個平臺,大家一起來討論學習Python。歡迎各位到來Python學習群:960410445一起討論視訊分享學習。Python是未來的發展方向,正在挑戰我們的分析能力及對世界的認知方式,因此,我們與時俱進,迎接變化,並不斷的成長,掌握Python核心技術,才是掌握真正的價值所在。

利用Python自動爬取全國30+城市地鐵圖資料

實現程式碼

利用Python自動爬取全國30+城市地鐵圖資料


相關文章