Python爬取房產資料,在地圖上展現!

嗨學程式設計發表於2019-01-16
Python爬取房產資料,在地圖上展現!

這次我們寫的是用python爬蟲爬取烏魯木齊的房產資料並展示在地圖上,地圖工具我用的是 BDP個人版-免費線上資料分析軟體,資料視覺化軟體 ,這個可以匯入csv或者excel資料。

首先還是分析思路,爬取網站資料,獲取小區名稱,地址,價格,經緯度,儲存在excel裡。再把excel資料上傳到BDP網站,生成地圖報表

本人對於Python學習建立了一個小小的學習圈子,為各位提供了一個平臺,大家一起來討論學習Python。歡迎各位到來Python學習群:960410445一起討論視訊分享學習。Python是未來的發展方向,正在挑戰我們的分析能力及對世界的認知方式,因此,我們與時俱進,迎接變化,並不斷的成長,掌握Python核心技術,才是掌握真正的價值所在。

本次我使用的是scrapy框架,可能有點大材小用了,主要是剛學完用這個練練手,再寫程式碼前我還是建議大家先分析網站,分析好資料,再去動手寫程式碼,因為好的分析可以事半功倍,烏魯木齊樓盤,2017烏魯木齊新樓盤,烏魯木齊樓盤資訊 - 烏魯木齊吉屋網 這個網站的資料比較全,每一頁獲取房產的LIST資訊,並且翻頁,點進去是詳情頁,獲取房產的詳細資訊(包含名稱,地址,房價,經緯度),再用pipelines儲存item到excel裡,最後在bdp生成地圖報表,廢話不多說上程式碼:

JiwuspiderSpider.py

Python爬取房產資料,在地圖上展現!

item.py

Python爬取房產資料,在地圖上展現!


pipelines.py 注意此處是吧mongodb的儲存方法註釋了,可以自選選擇儲存方式

Python爬取房產資料,在地圖上展現!

最後報表的資料

Python爬取房產資料,在地圖上展現!

mongodb資料庫

Python爬取房產資料,在地圖上展現!


相關文章