這次我們寫的是用python爬蟲爬取烏魯木齊的房產資料並展示在地圖上,地圖工具我用的是 BDP個人版-免費線上資料分析軟體,資料視覺化軟體 ,這個可以匯入csv或者excel資料。
首先還是分析思路,爬取網站資料,獲取小區名稱,地址,價格,經緯度,儲存在excel裡。再把excel資料上傳到BDP網站,生成地圖報表
本人對於Python學習建立了一個小小的學習圈子,為各位提供了一個平臺,大家一起來討論學習Python。歡迎各位到來Python學習群:960410445一起討論視訊分享學習。Python是未來的發展方向,正在挑戰我們的分析能力及對世界的認知方式,因此,我們與時俱進,迎接變化,並不斷的成長,掌握Python核心技術,才是掌握真正的價值所在。
本次我使用的是scrapy框架,可能有點大材小用了,主要是剛學完用這個練練手,再寫程式碼前我還是建議大家先分析網站,分析好資料,再去動手寫程式碼,因為好的分析可以事半功倍,烏魯木齊樓盤,2017烏魯木齊新樓盤,烏魯木齊樓盤資訊 - 烏魯木齊吉屋網 這個網站的資料比較全,每一頁獲取房產的LIST資訊,並且翻頁,點進去是詳情頁,獲取房產的詳細資訊(包含名稱,地址,房價,經緯度),再用pipelines儲存item到excel裡,最後在bdp生成地圖報表,廢話不多說上程式碼:
JiwuspiderSpider.py
item.py
pipelines.py 注意此處是吧mongodb的儲存方法註釋了,可以自選選擇儲存方式
最後報表的資料
mongodb資料庫