用 Python 瞭解一下最炫國漫《霧山五行》

看動漫的小夥伴應該知道最近出了一部神漫《霧山五行》，其以極具特色的水墨畫風和超燃的打鬥場面廣受好評，首集播出不到 24 小時登頂 B 站熱搜第一，豆瓣開分 9.5，火爆程度可見一斑，就打鬥場面而言，說是最炫動漫也不為過，當然唯一有一點不足之處就是集數有點少，只有 3 集。

下面放幾張動圖，一起欣賞一下。

看過動圖之後，是不是覺得我所說的最炫動漫，並非虛言，接下來我們爬取一些評論，瞭解一下大家對這部動漫的看法，這裡我們選取 B 站、微博和豆瓣這 3 個平臺來爬取資料。

爬取 B 站

我們先來爬取 B 站彈幕資料，動漫連結為：https://www.bilibili.com/bangumi/play/ep331423，彈幕連結為：http://comment.bilibili.com/186803402.xml，爬取程式碼如下：

url = "http://comment.bilibili.com/218796492.xml"
req = requests.get(url)
html = req.content
html_doc = str(html, "utf-8")  # 修改成utf-8
# 解析
soup = BeautifulSoup(html_doc, "lxml")
results = soup.find_all('d')
contents = [x.text for x in results]
# 儲存結果
dic = {"contents": contents}
df = pd.DataFrame(dic)
df["contents"].to_csv("bili.csv", encoding="utf-8", index=False)

如果對爬取 B 站彈幕資料不瞭解的小夥伴可以看一下：爬取 B 站彈幕。

我們接著將爬取的彈幕資料生成詞雲，程式碼實現如下：

def jieba_():
    # 開啟評論資料檔案
    content = open("bili.csv", "rb").read()
    # jieba 分詞
    word_list = jieba.cut(content)
    words = []
    # 過濾掉的詞
    stopwords = open("stopwords.txt", "r", encoding="utf-8").read().split("\n")[:-1]
    for word in word_list:
        if word not in stopwords:
            words.append(word)
    global word_cloud
    # 用逗號隔開詞語
    word_cloud = '，'.join(words)

def cloud():
    # 開啟詞雲背景圖
    cloud_mask = np.array(Image.open("bg.png"))
    # 定義詞雲的一些屬性
    wc = WordCloud(
        # 背景圖分割顏色為白色
        background_color='white',
        # 背景圖樣
        mask=cloud_mask,
        # 顯示最大詞數
        max_words=500,
        # 顯示中文
        font_path='./fonts/simhei.ttf',
        # 最大尺寸
        max_font_size=60,
        repeat=True
    )
    global word_cloud
    # 詞雲函式
    x = wc.generate(word_cloud)
    # 生成詞雲圖片
    image = x.to_image()
    # 展示詞雲圖片
    image.show()
    # 儲存詞雲圖片
    wc.to_file('cloud.png')

jieba_()
cloud()

 看一下效果：

爬取微博

我們再接著爬取動漫的微博評論，我們選擇的爬取目標是霧山五行官博頂置的這條微博的評論資料，如圖所示：

爬取程式碼實現如下所示：

urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

# 爬取一頁評論內容
def get_one_page(url):
    headers = {
        'User-agent' : 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3880.4 Safari/537.36',
        'Host' : 'weibo.cn',
        'Accept' : 'application/json, text/plain, */*',
        'Accept-Language' : 'zh-CN,zh;q=0.9',
        'Accept-Encoding' : 'gzip, deflate, br',
        'Cookie' : '自己的cookie',
        'DNT' : '1',
        'Connection' : 'keep-alive'
    }
    # 獲取網頁 html
    response = requests.get(url, headers = headers, verify=False)
    # 爬取成功
    if response.status_code == 200:
        # 返回值為 html 文件，傳入到解析函式當中
        return response.text
    return None

# 解析儲存評論資訊
def save_one_page(html):
    comments = re.findall('<span class="ctt">(.*?)</span>', html)
    for comment in comments[1:]:
        result = re.sub('<.*?>', '', comment)
        if '回覆@' not in result:
            with open('wx_comment.txt', 'a+', encoding='utf-8') as fp:
                fp.write(result)

for i in range(50):
    url = 'https://weibo.cn/comment/Je5bqpmCn?uid=6569999648&rl=0&page='+str(i) 
    html = get_one_page(url)
    print('正在爬取第 %d 頁評論' % (i+1))
    save_one_page(html)
    time.sleep(3)

對於爬取微博評論不熟悉的小夥伴可以參考：爬取微博評論。

同樣的，我們還是將評論生成詞雲，看一下效果：

爬取豆瓣

最後，我們爬取動漫的豆瓣評論資料，動漫的豆瓣地址為：https://movie.douban.com/subject/30395914/，爬取的實現程式碼如下：

def spider():
    url = 'https://accounts.douban.com/j/mobile/login/basic'
    headers = {"User-Agent": 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)'}
    # 評論網址，為了動態翻頁，start 後加了格式化數字，短評頁面有 20 條資料，每頁增加 20 條
    url_comment = 'https://movie.douban.com/subject/30395914/comments?start=%d&limit=20&sort=new_score&status=P'
    data = {
        'ck': '',
        'name': '使用者名稱',
        'password': '密碼',
        'remember': 'false',
        'ticket': ''
    }
    session = requests.session()
    session.post(url=url, headers=headers, data=data)
    # 初始化 4 個 list 分別存使用者名稱、評星、時間、評論文字
    users = []
    stars = []
    times = []
    content = []
    # 抓取 500 條，每頁 20 條，這也是豆瓣給的上限
    for i in range(0, 500, 20):
        # 獲取 HTML
        data = session.get(url_comment % i, headers=headers)
        # 狀態碼 200 表是成功
        print('第', i, '頁', '狀態碼：',data.status_code)
        # 暫停 0-1 秒時間，防止IP被封
        time.sleep(random.random())
        # 解析 HTML
        selector = etree.HTML(data.text)
        # 用 xpath 獲取單頁所有評論
        comments = selector.xpath('//div[@class="comment"]')
        # 遍歷所有評論，獲取詳細資訊
        for comment in comments:
            # 獲取使用者名稱
            user = comment.xpath('.//h3/span[2]/a/text()')[0]
            # 獲取評星
            star = comment.xpath('.//h3/span[2]/span[2]/@class')[0][7:8]
            # 獲取時間
            date_time = comment.xpath('.//h3/span[2]/span[3]/@title')
            # 有的時間為空，需要判斷下
            if len(date_time) != 0:
                date_time = date_time[0]
                date_time = date_time[:10]
            else:
                date_time = None
            # 獲取評論文字
            comment_text = comment.xpath('.//p/span/text()')[0].strip()
            # 新增所有資訊到列表
            users.append(user)
            stars.append(star)
            times.append(date_time)
            content.append(comment_text)
    # 用字典包裝
    comment_dic = {'user': users, 'star': stars, 'time': times, 'comments': content}
    # 轉換成 DataFrame 格式
    comment_df = pd.DataFrame(comment_dic)
    # 儲存資料
    comment_df.to_csv('db.csv')
    # 將評論單獨再儲存下來
    comment_df['comments'].to_csv('comment.csv', index=False)

spider()

對於爬取豆瓣評論不熟悉的小夥伴，可以參考：爬取豆瓣評論。

看一下生成的詞雲效果：