通過資料分析那些宜居的城市

mmz_77發表於2021-11-19

相信對與不少在北上廣深飄著的年輕人來說,是選擇繼續留在大城市拼搏呢還是回到小城市發展,一直都困擾著他們。畢竟像網路上說的那樣,“異鄉容不下肉身,故鄉裝不下靈魂”。那麼退居到二三線找一個城市安居樂業,房子首先是要考慮解決的問題,不同城市的購房成本也是不一樣的。不過從總體上來看,新一線或二三線城市的購房成本比在一線城市中購房要低不少,而且有不少新一線城市是很適合居住的城市,今天小編以一個爬蟲工作者通過獲取資料分析來為大家分析一下,逃離北上廣之後,還有哪些城市適合年輕人定居。

需求:根據輸入的城市名獲取該城市的房價資訊,對獲得的資料進行簡單的分析。

目標網站:

實現思路:像鏈家這樣的網站一般反爬策略是做的比較好的,並且獲取的資料也不少,所以在訪問過程中是需要加上代理ip的。本文使用了最簡單的爬蟲動態轉發代理。實現程式碼如下:

#! -*- encoding:utf-8 -*-
        import base64            
        import sys
        import random
        PY3 = sys.version_info[0] >= 3
        def base64ify(bytes_or_str):
            if PY3 and isinstance(bytes_or_str, str):
                input_bytes = bytes_or_str.encode('utf8')
            else:
                input_bytes = bytes_or_str
            output_bytes = base64.urlsafe_b64encode(input_bytes)
            if PY3:
                return output_bytes.decode('ascii')
            else:
                return output_bytes
        class ProxyMiddleware(object):                
            def process_request(self, request, spider):
                # 代理伺服器(產品官網 )
                proxyHost = "t.16yun.cn"
                proxyPort = "31111"
                # 代理驗證資訊
                proxyUser = "username"
                proxyPass = "password"
                request.meta['proxy'] = "http://{0}:{1}".format(proxyHost,proxyPort)
                # 新增驗證頭
                encoded_user_pass = base64ify(proxyUser + ":" + proxyPass)
                request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass                    
                # 設定IP切換頭(根據需求)
                tunnel = random.randint(1,10000)
                request.headers['Proxy-Tunnel'] = str(tunnel)

通過獲取到的資料分統計了一下全國主要一些城市的購房成本,其中長沙、瀋陽、重慶、杭州 的房價收入比相對偏低,相對來說要輕鬆些,當然除了房子本身之外,一個城市的各種設施等因素也是不少年輕人著重考慮的,所以考慮定居一城市也是需要從多方面進行考量的。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31522063/viewspace-2843155/,如需轉載,請註明出處,否則將追究法律責任。

相關文章