import urllib.parse
import urllib.request
def create_request(page):
base_url = 'https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&'
data = {
'start': (page - 1) * 20,
'limit': 20
}
data = urllib.parse.urlencode(data)
url = base_url + data
print(url)
headers = {
'User-Agent': ' Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}
# 請求物件定製
request = urllib.request.Request(url=url, headers=headers)
return request
def get_content(request):
response = urllib.request.urlopen(request)
content = response.read().decode('utf-8')
return content
def down_load(page, content):
with open("douban" + str(page) + ".json", 'w', encoding="utf-8") as fd:
fd.write(content)
# 程式入口
if __name__ == '__main__':
start_page = int(input("請輸入起始的頁碼"))
end_page = int(input("請輸入結束的頁碼"))
for page in range(start_page, end_page + 1):
request = create_request(page)
# 獲取響應資料
content = get_content(request)
# 下載
down_load(page, content)
python爬蟲 爬取豆瓣電影 1-10 ajax 資料
相關文章
- Python爬蟲教程-17-ajax爬取例項(豆瓣電影)Python爬蟲
- 【python爬蟲案例】利用python爬取豆瓣電影TOP250評分排行資料!Python爬蟲
- 爬蟲01:爬取豆瓣電影TOP 250基本資訊爬蟲
- scrapy爬取豆瓣電影資料
- Python爬蟲筆記(4):利用scrapy爬取豆瓣電影250Python爬蟲筆記
- python更換代理爬取豆瓣電影資料Python
- Python爬取分析豆瓣電影Top250Python
- 使用python爬取豆瓣電影TOP250Python
- 爬取豆瓣電影Top250和資料分析
- 爬蟲如何爬取貓眼電影TOP榜資料爬蟲
- Springboot+JPA下實現簡易爬蟲--爬取豆瓣電視劇資料Spring Boot爬蟲
- Python爬蟲例項:爬取貓眼電影——破解字型反爬Python爬蟲
- 擼個爬蟲,爬取電影種子爬蟲
- 【Python】從0開始寫爬蟲——轉身扒豆瓣電影Python爬蟲
- 【python爬蟲案例】利用python爬取豆瓣讀書評分TOP250排行資料Python爬蟲
- 手把手教你網路爬蟲(爬取豆瓣電影top250,附帶原始碼)爬蟲原始碼
- Python爬取電影天堂Python
- 爬蟲教程——用Scrapy爬取豆瓣TOP250爬蟲
- Python爬取豆瓣電影的短評資料並進行詞雲分析處理Python
- scrapy入門:豆瓣電影top250爬取
- 爬蟲豆瓣美女爬蟲
- 06、豆瓣爬蟲爬蟲
- 房產資料爬取、智慧財產權資料爬取、企業工商資料爬取、抖音直播間資料python爬蟲爬取Python爬蟲
- 豆瓣top250資料爬取
- 【Python3網路爬蟲開發實戰】6-Ajax資料爬取-1-什麼是AjaxPython爬蟲
- 【Python3網路爬蟲開發實戰】6-Ajax資料爬取-3-Ajax結果提取Python爬蟲
- Python網路爬蟲實踐案例:爬取貓眼電影Top100Python爬蟲
- 教你用python登陸豆瓣並爬取影評Python
- 【Python3網路爬蟲開發實戰】6-Ajax資料爬取-4-分析Ajax爬取今日頭條街拍美圖Python爬蟲
- python——豆瓣top250爬取Python
- Python爬蟲框架:scrapy爬取高考派大學資料Python爬蟲框架
- Python爬蟲入門【3】:美空網資料爬取Python爬蟲
- 輕鬆利用Python爬蟲爬取你想要的資料Python爬蟲
- python爬蟲---網頁爬蟲,圖片爬蟲,文章爬蟲,Python爬蟲爬取新聞網站新聞Python爬蟲網頁網站
- python爬蟲——爬取大學排名資訊Python爬蟲
- python爬蟲--爬取鏈家租房資訊Python爬蟲
- python爬蟲練習之爬取豆瓣讀書所有標籤下的書籍資訊Python爬蟲
- 【Python爬蟲&資料分析】2018年電影,你看了幾部?Python爬蟲