Python：獲取豆瓣電影TOP250列表

weixin_33924312發表於2017-08-08
Python

完成這些操作主要用到了 BeautifulSoup 和 requests 這兩個庫，使用之前要提前安裝好相應的庫。

參考：
Quickstart — Requests 2.18.3 documentation
Beautiful Soup 4.4.0 文件 — beautifulsoup 4.4.0 文件

程式碼如下：

#!/usr/bin/python3
# -*- coding:utf-8 -*-

from bs4 import BeautifulSoup
import requests,re

#列表第一頁的開始地址
ROOT_URL = 'https://movie.douban.com/top250'

def download_html(url):
    # 偽裝成瀏覽器
    headers = {'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:54.0) Gecko/20100101 Firefox/54.0'}
    return requests.get(url,headers=headers).content

def parse_html(html):
    soup = BeautifulSoup(html,'lxml') #建立 BeautifulSoup 物件
    movie_list = soup.find('ol',attrs={'class':'grid_view'}) # 定位到每一頁的電影列表
    
    result = []

    for val in movie_list.find_all('li'):
        rank = val.find('em').getText() #每部電影的排名
        rating = val.find('span',attrs={'class':'rating_num'}).getText() #評分
        #電影介紹，有幾部電影是沒有簡介的（例如《小森林 夏秋篇》），這需要注意
        description = val.find('p',attrs={'class':'quote'}) 

        if description:
            description = description.find('span').getText()

        info = val.find('a') # 提供給以下三行用
        url = info['href'] # 電影在豆瓣上的連結
        name = info.find('img')['alt'] #電影名
        cover = info.find('img')['src'] #電影的封面圖片地址

        add = {}
        add['rank'] = rank
        add['rating'] = rating
        add['name'] = name
        add['cover'] = cover
        add['url'] = url
        if description:
            add['description'] = description
        result.append(add)

    return result


if __name__ == '__main__':

    result = []
    with open('result.md','w') as file: #用 markdown 形式儲存最終結果
        for start in range(0,250,25):
            #網址有https://movie.douban.com/top250?start=n&filter= 的規律
            # n 從 0 到 225，每次遞增 25
            url = ROOT_URL + "?start=" + str(start) 
            # 輸出地址，好知道到了那一頁
            print(url)

            html_data = download_html(url)  
    
            for val in parse_html(html_data):
                # 接下來一行是顯示電影封面圖片，顯示效果不好暫時註釋掉
                #file.write('![](' + val['cover'] + ')\n')
                file.write(val['rank']+'. [**'+val['name']+'**]('+val['url']+') ( '+val['rating']+' )\n')
                if 'description' in val:
file.write(val['description']+'\n')

最終結果（資訊量有點大，暫時只貼上前 20 個結果）

  1. 肖申克的救贖 ( 9.6 )
    希望讓人自由。
  2. 霸王別姬 ( 9.5 )
    風華絕代。
  3. 這個殺手不太冷 ( 9.4 )
    怪蜀黍和小蘿莉不得不說的故事。
  4. 阿甘正傳 ( 9.4 )
    一部美國近現代史。
  5. 美麗人生 ( 9.5 )
    最美的謊言。
  6. 千與千尋 ( 9.2 )
    最好的宮崎駿，最好的久石讓。
  7. 辛德勒的名單 ( 9.4 )
    拯救一個人，就是拯救整個世界。
  8. 泰坦尼克號 ( 9.2 )
    失去的才是永恆的。
  9. 盜夢空間 ( 9.2 )
    諾蘭給了我們一場無法盜取的夢。
  10. 機器人總動員 ( 9.3 )
    小瓦力，大人生。
  11. 海上鋼琴師 ( 9.2 )
    每個人都要走一條自己堅定了的路，就算是粉身碎骨。
  12. 三傻大鬧寶萊塢 ( 9.1 )
    英俊版憨豆，高情商版謝耳朵。
  13. 忠犬八公的故事 ( 9.2 )
    永遠都不能忘記你所愛的人。
  14. 放牛班的春天 ( 9.2 )
    天籟一般的童聲，是最接近上帝的存在。
  15. 大話西遊之大聖娶親 ( 9.2 )
    一生所愛。
  16. 教父 ( 9.2 )
    千萬不要記恨你的對手，這樣會讓你失去理智。
  17. 龍貓 ( 9.1 )
    人人心中都有個龍貓，童年就永遠不會消失。
  18. 楚門的世界 ( 9.0 )
    如果再也不能見到你，祝你早安，午安，晚安。
  19. 亂世佳人 ( 9.2 )
    Tomorrow is another day.
  20. 天堂電影院 ( 9.1 )
    那些吻戲，那些青春，都在影院的黑暗裡被淚水沖刷得無比清晰。

最後我個人不是很想把它稱為爬蟲，在我看來這更多的是一種批量話的自動操作，能免去很多麻煩，所以沒有在標題中提及爬蟲這個詞。

歡迎評論或者點選喜歡~

來自個人 Python 文集

相關文章