百度VIP音樂爬取

weixin_33670713發表於2019-01-25

百度VIP音樂爬取

網頁分析

分析音樂的真實地址

url拼接 獲取所有資料

批量獲取singid

程式碼編寫

獲取所有的songid

根據songid獲取音樂的真實地址

儲存音樂檔案

無版權音樂稻香的爬取

全部程式碼加q群獲取

網頁分析

目標站點:http://music.taihe.com/search?key=陳粒

程式碼視訊書籍練習題等資料進群696541369 即可免費獲取

分析音樂的真實地址

選擇一首歌 以陳粒的走馬為例

開啟開發者工具,選擇network -> media -> 重新整理網頁就能獲取到音樂的真實地址

12650374-1ccef548a4898662

但是得到的地址在檢視原始碼中是讀取不到的,肯定是百度音樂對其進行了隱藏。這種時候一般會有兩種情況。第一種是使用了 JavaScript 對請求連線進行了拼接或加密,第二種是資料被隱藏了。由於我們不清楚是出現了那種情況。所以我們只能慢慢的去分析請求的資料。

12650374-3c6f14f7a60eab05
12650374-d015e2469dbb88c4

經過分析我們可以看到真實的音樂地址是存在於這個API裡面http://musicapi.taihe.com/v1/restserver/ting?method=baidu.ting.song.playAAC&format=jsonp&callback=jQuery17206453751179783578_1544942124991&songid=243093242&from=web&_=1544942128336

並且我們請求這個 API 返回的是一個 json 資料(也就是python的字典資料型別)。只要我們使用字典的規則就能將我們的所有資料給提取到。

url拼接 獲取所有資料

前面我們得到了音樂的真實地址,接下來我們就是分析真實地址的 url ,以期待得到下載所有音樂的訣竅。

12650374-e42f493e57fe6f52
12650374-05fc571290e199e2

仔細分析一下 url 就可以發現,?後面的from引數與_即使不存在也不影響資料的請求。

並且後面的引數中的songid其實就是歌曲的唯一id,from引數其實就是表明從哪個平臺過來的

所以等一下我們下載音樂時,只要批量獲取到歌曲的songid就能將所有的歌曲給全部下載下來了。不管音樂是否是VIP的,又或者時無版權的均可爬取。

批量獲取singid

12650374-b323b98934a1f32e

使用開發者工具,檢視網頁原始碼就能檢視到songid的位置,如果我們分析一個歌手頁面的url你會發現同樣可以構造。

到此,整個網頁分析就結束了。

程式碼編寫

獲取所有的songid

根據目標地址,獲取目標地址的所有songid

def get_songid():

url = 'http://music.taihe.com/search?key=%E9%99%88%E7%B2%92'

response = requests.get(url=url)

html = response.text

sids = re.findall(r'sid":(d+),',html)

return sids

根據songid獲取音樂的真實地址

def get_music_url(songid):

api_url = 'http://musicapi.taihe.com/v1/restserver/ting?method=baidu.ting.song.playAAC&format=jsonp&callback=jQuery17206453751179783578_1544942124991&songid={songid}&from=web'

response = requests.get(api_url.format(songid=songid))

str_json = re.findall(r'{.*}', response.text)[0]

data = json.loads(str_json)

music_name = data['songinfo']['title']

music_url = data['bitrate']['file_link']

print(music_url, music_name)

儲存音樂檔案

def save_file(filename, content):

with open(file=filename, mode="wb") as f:

f.write(content)

無版權音樂稻香的爬取

12650374-5dd774f140d56bfe
12650374-92298f9cbdb8572e

相關文章