Python爬蟲全網搜尋並下載音樂

       現在寫一篇部落格總是喜歡先談需求或者本內容的應用場景，是的，如果寫出來的東西沒有任何應用價值，確實也沒有實際意義。今天的最早的需求是來自於如何免費[白嫖]下載全網優質音樂，我去b站上面搜尋到了一個大牛做過的一個歌曲搜素神器，介面是這樣的：

       確實很好用的，而且涵蓋了網際網路上面大多數主流的音樂網站，涉及到的版本也很多，可謂大而全，但是一個技術人的追求遠遠不會如此，於是我就想去了解其中背後的原理，因為做過網路爬蟲的人都知道，爬蟲只能爬取某一頁或者某些頁的網站資源，所以我很好奇它背後是怎麼實現的？
       筆者一直以來都是做的基於Python3.7版本的網路爬蟲，所以本文也是基於此來學習記錄的。首先爬取的網站不是對應的音樂網站，而是一個音樂直鏈搜尋，那裡匯聚了大多數音訊音樂的解析功能，介面如下：

        所以自制一個搜尋引擎的思想也很直觀了，那就是利用第三方的介面，直接對該伺服器發起請求即可，然後將獲取的資料進行解析儲存。這裡以最近比較火的歌曲“白月光與硃砂痣”下載為例：

       解析的結果如上，獲取的資料格式是json型別，並且除了要有歌名以外，還要有音樂平臺。
原始碼實現如下：

import requests
import jsonpath
import os
"""
    1.url
    2.模擬瀏覽器請求
    3.解析網頁原始碼
    4.儲存資料
"""
def song_download(url,title,author):
    # 建立資料夾
    os.makedirs("music",exist_ok=True)
    path = 'music\{}.mp3'.format(title)
    print('歌曲:{0}-{1},正在下載...'.format(title,author))
    # 下載（這種讀寫檔案的下載方式適合少量檔案的下載）
    content = requests.get(url).content
    with open(file = title + author + '.mp3',mode='wb') as f:
        f.write(content)
    print('下載完畢,{0}-{1},請試聽'.format(title,author))

def get_music_name():
    """
    搜尋歌曲名稱
    :return:
    """
    name = input("請輸入歌曲名稱:")
    print("1.網易雲:netease\n2.QQ:qq\n3.酷狗:kugou\n4.酷我:kuwo\n5.百度:baidu\n6.喜馬拉雅:ximalaya")
    platfrom = input("輸入音樂平臺型別:")
    print("-------------------------------------------------------")
    url = 'https://music.liuzhijin.cn/'
    headers = {
        "user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36",
        # 判斷請求是非同步還是同步
        "x-requested-with":"XMLHttpRequest",
    }
    param = {
        "input":name,
        "filter":"name",
        "type":platfrom,
        "page": 1,
    }
    res = requests.post(url=url,data=param,headers=headers)
    json_text = res.json()

    title = jsonpath.jsonpath(json_text,'$..title')
    author = jsonpath.jsonpath(json_text,'$..author')
    url = jsonpath.jsonpath(json_text, '$..url')
    if title:
        songs = list(zip(title,author,url))
        for s in songs:
            print(s[0],s[1],s[2])
        print("-------------------------------------------------------")
        index = int(input("請輸入您想下載的歌曲版本:"))
        song_download(url[index],title[index],author[index])
    else:
        print("對不起，暫無搜尋結果!")

if __name__ == "__main__":
    get_music_name()

演示一下執行效果：

然後檔案下就會出現對應的歌曲.mp3檔案

並且每次的歌曲檢索都是在PyCharm專業版的控制檯中進行的，這樣的使用者體驗就非常糟糕，所以針對以上兩個問題，我對原始碼進行了改進。

# 匯入模組
from tkinter import *
import requests
import jsonpath
import os
from urllib.request import urlretrieve

# 2.功能實現
"""
    1.url
    2.模擬瀏覽器請求
    3.解析網頁原始碼
    4.儲存資料
"""
def song_download(url,title,author):
    # 建立資料夾
    os.makedirs("music",exist_ok=True)
    path = 'music\{}.mp3'.format(title)
    text.insert(END,'歌曲:{0}-{1},正在下載...'.format(title,author))
    # 文字框滑動
    text.see(END)
    # 更新
    text.update()
    # 下載
    urlretrieve(url,path)
    text.insert(END,'下載完畢,{0}-{1},請試聽'.format(title,author))
    # 文字框滑動
    text.see(END)
    # 更新
    text.update()

def get_music_name():
    """
    搜尋歌曲名稱
    :return:
    """
    name = entry.get()
    platfrom = var.get()
    # name = '白月光與硃砂痣'
    url = 'https://music.liuzhijin.cn/'
    headers = {
        "user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36",
        # 判斷請求是非同步還是同步
        "x-requested-with":"XMLHttpRequest",
    }
    param = {
        "input":name,
        "filter":"name",
        "type":platfrom,
        "page": 1,
    }
    res = requests.post(url=url,data=param,headers=headers)
    json_text = res.json()

    title = jsonpath.jsonpath(json_text,'$..title')
    author = jsonpath.jsonpath(json_text,'$..author')
    url = jsonpath.jsonpath(json_text, '$..url')
    print(title,author,url)
    song_download(url[0],title[0],author[0])


# 1.使用者介面
# 建立畫板
root = Tk()
# 設定視窗標題
root.title('全網音樂下載器')
# 設定視窗大小以及出現的位置
root.geometry('560x450+400+200')
# 標籤元件
label = Label(root,text="請輸入下載的歌曲:",font=('楷體',20))
# 定位與佈局
label.grid(row=0)
# 輸入框元件
entry = Entry(root,font=('宋體',20))
entry.grid(row=0,column=1)
# 單選按鈕
var = StringVar()
r1 = Radiobutton(root,text='網易雲',variable=var,value='netease')
r1.grid(row=1,column=0)
r2 = Radiobutton(root,text='QQ',variable=var,value='qq')
r2.grid(row=1,column=1)
# 列表框
text = Listbox(root,font=('楷體',16),width=50,height=15)
text.grid(row=2,columnspan=2)
# 下載按鈕
button1 = Button(root,text='開始下載',font=('楷體',15),command=get_music_name)
button1.grid(row=3,column=0)
button2 = Button(root,text='退出程式',font=('楷體',15),command=root.quit)
button2.grid(row=3,column=1)
# 顯示介面
root.mainloop()

# 如何將.py程式碼打包成.exe檔案

我們再來看看效果吧

這樣加上了UI介面和部分程式碼優化之後，就可以通過.py程式碼打包成.exe檔案釋出給使用者使用了。