用Python分析44萬條資料，揭祕如何成為網易雲音樂評論區的網紅段子手

有個段子講“十年文案老司機，不如網易評論區，網易文豪遍地走，評論全部單身狗”，網易雲音樂的評論區也一直都是各類文案大神的聚集地。

那麼我們普通使用者到底如何成為網易雲音樂評論裡的熱評段子手？

讓我來分析一下。

獲取資料

其實邏輯並不複雜：

1. 爬取歌單列表裡的所有歌單url。

2. 進入每篇歌單爬取所有歌曲url，去重。

3. 進入每首歌曲首頁爬取熱評，彙總。

歌單列表是這樣的：

翻頁並觀察它的url變化，注意下方動圖，每次翻頁末尾變化35。

採用requests+pyquery來爬取。

在學習過程中有什麼不懂得可以加我的
python學習交流扣扣qun，784758214
群裡有不錯的學習視訊教程、開發工具與電子書籍。
與你分享python企業當下人才需求及怎麼從零基礎學習好python，和學習什麼內容
def get_list():
    list1 = []
    for i in range(0,1295,35):
        url = 'https://music.163.com/discover/playlist/?order=hot&cat=%E5%8D%8E%E8%AF%AD&limit=35&offset='+str(i)
        print('已成功採集%i頁歌單\n' %(i/35+1))
        data = []
        html = restaurant(url)
        doc = pq(html)
        for i in range(1,36): # 一頁35個歌單
            a = doc('#m-pl-container > li:nth-child(' + str(i) +') > div > a').attr('href')
            a1 = 'https://music.163.com/api' + a.replace('?','/detail?')
            data.append(a1)
        list1.extend(data)
        time.sleep(5+random.random())
    return list1

這樣我們就可以獲得38頁每頁35篇歌單，共1300+篇歌單。

下面我們需要進入每篇歌單爬取所有歌曲url，並且要注意最後“去重”，不同歌單可能包含同一首歌曲。

點開一篇歌單，注意紅色圈出的id。

觀察一下，我們要在每篇歌單下方獲取的資訊也就是紅框圈出的這些，利用剛剛爬取到的歌單id和網易雲音樂的api（下一篇文章細講）可以構造出：

不方便看的話我們解析一下json。

def get_playlist(url):
    data = []
    doc = get_json(url)
    obj=json.loads(doc)
    jobs=obj['result']['tracks']
    for job in jobs:
        dic = {}
        dic['name']=jsonpath.jsonpath(job,'$..name')[0] #歌曲名稱
        dic['id']=jsonpath.jsonpath(job,'$..id')[0] #歌曲ID
        data.append(dic)
    return data

這樣我們就獲取了所有歌單下的歌曲，記得去重。

#去重
data = data.drop_duplicates(subset=None, keep='first', inplace=True)

剩下就是獲取每首歌曲的熱評了，與前面獲取歌曲類似，也是根據api構造，很容易就找到了。

def get_comments(url,k):
    data = []
    doc = get_json(url)
    obj=json.loads(doc)
    jobs=obj['hotComments']
    for job in jobs:
        dic = {}
        dic['content']=jsonpath.jsonpath(job,'$..content')[0] 
        dic['time']= stampToTime(jsonpath.jsonpath(job,'$..time')[0])
        dic['userId']=jsonpath.jsonpath(job['user'],'$..userId')[0]  #使用者ID
        dic['nickname']=jsonpath.jsonpath(job['user'],'$..nickname')[0]#使用者名稱
        dic['likedCount']=jsonpath.jsonpath(job,'$..likedCount')[0] 
        dic['name']= k
        data.append(dic)
    return data

彙總後就獲得了44萬條音樂熱評資料。

資料分析

清洗填充一下。

def data_cleaning(data):
    cols = data.columns
    for col in cols:
        if data[col].dtype ==  'object':
            data[col].fillna('缺失資料', inplace = True)
        else:
            data[col].fillna(0, inplace = True)
    return(data)

按照點贊數排個序。

#排序
df1['likedCount'] = df1['likedCount'].astype('int')
df_2 = df1.sort_values(by="likedCount",ascending=False)
df_2.head()

再看看哪些熱評是被複制貼上搬來搬去的。

#排序
df_line = df.groupby(['content']).count().reset_index().sort_values(by="name",ascending=False)
df_line.head()

第一個和第三個只是末尾有沒有句號的區別，可以歸為一類。這樣的話，重複次數最多個這句話竟然重複了412次，額~~

看看上熱評次數次數最多的是哪位大神？從他的身上我們能學到什麼經驗？

df_user = df.groupby(['userId']).count().reset_index().sort_values(by="name",ascending=False)
df_user.head()

按照 user_id 彙總一下，排序。

成功“捕獲”一枚“段子手”，上熱評次數高達347，我們再看看這位大神究竟都評論些什麼？

df_user_max = df.loc[(df['userId'] == 101***770)]
df_user_max.head()

這位“失眠的陳先生”看來各種情話嫻熟於手啊，下面就以他舉例來看看如何成為網易雲音樂評論裡的熱評段子手吧。

資料視覺化

先看看這347條評論的贊數分佈。

#贊數分佈圖
import matplotlib.pyplot as plt
data = df_user_max['likedCount']
#data.to_csv("df_user_max.csv", index_label="index_label",encoding='utf-8-sig')
plt.hist(data,100,normed=True,facecolor='g',alpha=0.9)
plt.show()

很明顯，贊數並不多，大部分都在500贊之內，幾百贊卻能躋身熱評，這也側面說明了這些歌曲是比較小眾的，看來是經常在新歌區廣撒網。

我們使用len() 求出每條評論的字串長度，再畫個分佈圖

評論的字數集中在18—30字之間，這說明在留言時要注意字數，保險的做法是不要太長讓人讀不下去，也不要太短以免不夠經典。

做個詞雲。

可以看出他的評論風格是以一首歌使他“想起”“感覺”為開頭，賓語通常是“喜歡的女孩子”，也經常用”她”來指代。寄託的情感是“後悔”“悲傷”，感慨的終點是“放下”。

也許我們可以通過分析規律收穫點贊，成為熱評網紅段子手。但最終能打動人心的，依然是基於歌曲本身的真誠分享，和點出歌中蘊含的真正共鳴。

如果你依然在程式設計的世界裡迷茫，可以加入我們的Python學習扣qun：784758214，看看前輩們是如何學習的。交流經驗。從基礎的python指令碼到web開發、爬蟲、django、資料探勘等，零基礎到專案實戰的資料都有整理。送給每一位python的小夥伴！分享一些學習的方法和需要注意的小細節，點選加入我們的 python學習者聚集地