通過資料分析那些宜居的城市
相信對與不少在北上廣深飄著的年輕人來說,是選擇繼續留在大城市拼搏呢還是回到小城市發展,一直都困擾著他們。畢竟像網路上說的那樣,“異鄉容不下肉身,故鄉裝不下靈魂”。那麼退居到二三線找一個城市安居樂業,房子首先是要考慮解決的問題,不同城市的購房成本也是不一樣的。不過從總體上來看,新一線或二三線城市的購房成本比在一線城市中購房要低不少,而且有不少新一線城市是很適合居住的城市,今天小編以一個爬蟲工作者通過獲取資料分析來為大家分析一下,逃離北上廣之後,還有哪些城市適合年輕人定居。
需求:根據輸入的城市名獲取該城市的房價資訊,對獲得的資料進行簡單的分析。
目標網站:
實現思路:像鏈家這樣的網站一般反爬策略是做的比較好的,並且獲取的資料也不少,所以在訪問過程中是需要加上代理ip的。本文使用了最簡單的爬蟲動態轉發代理。實現程式碼如下:
#! -*- encoding:utf-8 -*- import base64 import sys import random PY3 = sys.version_info[0] >= 3 def base64ify(bytes_or_str): if PY3 and isinstance(bytes_or_str, str): input_bytes = bytes_or_str.encode('utf8') else: input_bytes = bytes_or_str output_bytes = base64.urlsafe_b64encode(input_bytes) if PY3: return output_bytes.decode('ascii') else: return output_bytes class ProxyMiddleware(object): def process_request(self, request, spider): # 代理伺服器(產品官網 ) proxyHost = "t.16yun.cn" proxyPort = "31111" # 代理驗證資訊 proxyUser = "username" proxyPass = "password" request.meta['proxy'] = "http://{0}:{1}".format(proxyHost,proxyPort) # 新增驗證頭 encoded_user_pass = base64ify(proxyUser + ":" + proxyPass) request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass # 設定IP切換頭(根據需求) tunnel = random.randint(1,10000) request.headers['Proxy-Tunnel'] = str(tunnel)
通過獲取到的資料分統計了一下全國主要一些城市的購房成本,其中長沙、瀋陽、重慶、杭州 的房價收入比相對偏低,相對來說要輕鬆些,當然除了房子本身之外,一個城市的各種設施等因素也是不少年輕人著重考慮的,所以考慮定居一城市也是需要從多方面進行考量的。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31522063/viewspace-2843155/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 通過vmstat的簡單分析資料庫操作資料庫
- 經濟學人智庫:2024年全球宜居指數
- 如何通過資料分析,提升MMO遊戲次日留存遊戲
- 如果通過流資料實現實時分析?
- 如何通過統計分析工具做好APP的資料分析和運營APP
- 通過Wireshark抓包分析談談DNS域名解析的那些事兒DNS
- 資料分析完之後的資料展現方式有那些?
- 通過Vue的過濾器實現資料的資料脫敏Vue過濾器
- 大資料:通過裝置行為分析降低支付風險大資料
- 一次通過DB_LINK抽取資料過慢原因分析
- 通過IP來判斷所在城市
- 通過shell抓取html資料HTML
- 財務資料分析不可錯過的大資料分析平臺大資料
- 宜信的105條資料庫軍規資料庫
- 100萬顆宜居行星(理論上)可以繞黑洞執行
- iOS Jailbreak Principles - Undecimus 分析(二)通過 String XREF 定位核心資料iOSAI
- 資料需求分析過程
- 手遊買量投放中,那些常見的資料分析思路
- 在遊戲的世界裡,我們能通過大資料分析知道哪些祕密?遊戲大資料
- 【故障分析】通過壞塊提示資訊確定損壞的資料庫物件資訊資料庫物件
- 2.3 通過DBCA建立資料庫資料庫
- indexedDB 通過索引查詢資料Index索引
- 通過Web API查詢資料WebAPI
- 通過duplicat恢復資料庫資料庫
- 通過SQLLDR匯入LOB資料SQL
- Alphabet 將通過 AI 主導智慧城市合約AlphabetAI
- 大資料分析過程是如何的大資料
- 資料採集與分析的那些事——從資料埋點到AB測試
- 通過原始碼分析Mybatis的功能原始碼MyBatis
- Mysql資料庫是如何通過索引定位資料MySql資料庫索引
- 如何通過資料管理影響資料質量
- 通過資料庫檔案還原資料庫資料庫
- 通過現有的資料庫備份建立新的資料庫資料庫
- 通過修改資料字典,變更表的owner
- 通過shell指令碼得到資料字典的資訊指令碼
- 親身體驗:日本IT公司不是宜居之地,建議大家不要重蹈我的覆轍
- 【流沙】宜信安全資料平臺實踐
- MySQL 通過 binlog 恢復資料MySql