python爬取qq音樂歌手排行熱度資料

mmz_77發表於2022-05-23
最近浪姐3的熱度真的很高,乘風破浪的姐姐初舞臺表演熱度榜單公佈,王心凌熱度斷層第一,《愛你》的播放量高達730萬次,第二名和第三名加起來的資料都沒有她高,熱度碾壓式斷層水平。之前都是劉畊巨集女孩火出圈,現在網路上都是王心凌男孩火出圈,網友:們都表示自己的青春回來了!
我們就是說王心凌真的永遠的神!《愛你》直接登頂QQ音樂飆升榜!而且前十排名王心凌就佔了9首,這熱度真的不要太高了。那作為爬蟲我們也來蹭下熱度吧,今天我們就利用python我們們再來抬高一波QQ音樂的熱度吧,獲取王心凌在qq音樂的所有音樂資料。在獲取資料之前簡單的分析了下網站,反爬機制還是有的,在訪問過程中我們基本的反爬措施需要做好,隨機ua,cookie,代理IP。這裡選擇了由億牛雲提供的爬蟲代理。爬蟲實現程式碼如下:
Plain Text
複製程式碼
1

#! -*- encoding:utf-8 -*-
2


3

    import requests
4

    import random
5


6

    # 要訪問的目標頁面
7

    targetUrl = "
8


9

    # 要訪問的目標HTTPS頁面
10

    # targetUrl = "
11


12

    # 代理伺服器(產品官網 )
13

    proxyHost = "t.16yun.cn"
14

    proxyPort = "31111"
15


16

    # 代理驗證資訊
17

    proxyUser = "username"
18

    proxyPass = "password"
19


20

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
21

        "host" : proxyHost,
22

        "port" : proxyPort,
23

        "user" : proxyUser,
24

        "pass" : proxyPass,
25

    }
26


27

    # 設定 http和https訪問都是用HTTP代理
28

    proxies = {
29

        "http"  : proxyMeta,
30

        "https" : proxyMeta,
31

    }
32


33


34

    #  設定IP切換頭
35

    tunnel = random.randint(1,10000)
36

    headers = {"Proxy-Tunnel": str(tunnel)}
37


38


39


40

    resp = requests.get(targetUrl, proxies=proxies, headers=headers)
41


42

    print resp.status_code
43

    print resp.text
通過獲取到的資料,我們得到指定歌手單曲的歌曲名,專輯名,播放連結以及評論資訊。原本的爬取過程是比較複雜的,這裡我簡化了,只是重點講述了下新增代理的過程。希望對一些新手爬蟲有學習意義。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31522063/viewspace-2896547/,如需轉載,請註明出處,否則將追究法律責任。

相關文章