通過資料分析那些宜居的城市
相信對與不少在北上廣深飄著的年輕人來說,是選擇繼續留在大城市拼搏呢還是回到小城市發展,一直都困擾著他們。畢竟像網路上說的那樣,“異鄉容不下肉身,故鄉裝不下靈魂”。那麼退居到二三線找一個城市安居樂業,房子首先是要考慮解決的問題,不同城市的購房成本也是不一樣的。不過從總體上來看,新一線或二三線城市的購房成本比在一線城市中購房要低不少,而且有不少新一線城市是很適合居住的城市,今天小編以一個爬蟲工作者通過獲取資料分析來為大家分析一下,逃離北上廣之後,還有哪些城市適合年輕人定居。
需求:根據輸入的城市名獲取該城市的房價資訊,對獲得的資料進行簡單的分析。
目標網站:
實現思路:像鏈家這樣的網站一般反爬策略是做的比較好的,並且獲取的資料也不少,所以在訪問過程中是需要加上代理ip的。本文使用了最簡單的爬蟲動態轉發代理。實現程式碼如下:
#! -*- encoding:utf-8 -*- import base64 import sys import random PY3 = sys.version_info[0] >= 3 def base64ify(bytes_or_str): if PY3 and isinstance(bytes_or_str, str): input_bytes = bytes_or_str.encode('utf8') else: input_bytes = bytes_or_str output_bytes = base64.urlsafe_b64encode(input_bytes) if PY3: return output_bytes.decode('ascii') else: return output_bytes class ProxyMiddleware(object): def process_request(self, request, spider): # 代理伺服器(產品官網 ) proxyHost = "t.16yun.cn" proxyPort = "31111" # 代理驗證資訊 proxyUser = "username" proxyPass = "password" request.meta['proxy'] = "http://{0}:{1}".format(proxyHost,proxyPort) # 新增驗證頭 encoded_user_pass = base64ify(proxyUser + ":" + proxyPass) request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass # 設定IP切換頭(根據需求) tunnel = random.randint(1,10000) request.headers['Proxy-Tunnel'] = str(tunnel)
通過獲取到的資料分統計了一下全國主要一些城市的購房成本,其中長沙、瀋陽、重慶、杭州 的房價收入比相對偏低,相對來說要輕鬆些,當然除了房子本身之外,一個城市的各種設施等因素也是不少年輕人著重考慮的,所以考慮定居一城市也是需要從多方面進行考量的。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31522063/viewspace-2843155/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 2022年浪過的那些城市
- 杭州,蘇州,成都哪個最宜居?
- 如果通過流資料實現實時分析?
- 通過Wireshark抓包分析談談DNS域名解析的那些事兒DNS
- 如何通過資料分析,提升MMO遊戲次日留存遊戲
- 資料分析完之後的資料展現方式有那些?
- 通過Vue的過濾器實現資料的資料脫敏Vue過濾器
- iOS Jailbreak Principles - Undecimus 分析(二)通過 String XREF 定位核心資料iOSAI
- 財務資料分析不可錯過的大資料分析平臺大資料
- 宜信的105條資料庫軍規資料庫
- 經濟學人智庫:2024年全球宜居指數
- 宜居又休閒:數探南寧美好生活
- 資料需求分析過程
- 大資料分析過程是如何的大資料
- 資料採集與分析的那些事——從資料埋點到AB測試
- 100萬顆宜居行星(理論上)可以繞黑洞執行
- 通過原始碼分析Mybatis的功能原始碼MyBatis
- MySQL 通過 binlog 恢復資料MySql
- 2.3 通過DBCA建立資料庫資料庫
- indexedDB 通過索引查詢資料Index索引
- 通過duplicat恢復資料庫資料庫
- 通過Web API查詢資料WebAPI
- 手遊買量投放中,那些常見的資料分析思路
- 通過DataWorks資料整合歸檔日誌服務資料至MaxCompute進行離線分析
- 如何通過資料管理影響資料質量
- Mysql資料庫是如何通過索引定位資料MySql資料庫索引
- 在遊戲的世界裡,我們能通過大資料分析知道哪些祕密?遊戲大資料
- 通過抓包分析 HTTPSHTTP
- Alphabet 將通過 AI 主導智慧城市合約AlphabetAI
- Springboot通過AOP整合多資料來源,分析@Transaction切換資料來源不生效問題Spring Boot
- 通過Z-Order技術加速Hudi大規模資料集分析方案
- Intellij IDEA 通過資料庫生成 POJOIntelliJIdea資料庫POJO
- CCNA - Part10 資料包的通訊過程
- 使用Java通過POI讀取EXCEL中的資料JavaExcel
- 【流沙】宜信安全資料平臺實踐
- 親身體驗:日本IT公司不是宜居之地,建議大家不要重蹈我的覆轍
- 通過分析LinkedHashMap瞭解LRUHashMap
- 【SQL】Oracle資料庫通過job定期重建同步表資料SQLOracle資料庫