import urllib.parse
import urllib.request
def create_request(page):
base_url = 'https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&'
data = {
'start': (page - 1) * 20,
'limit': 20
}
data = urllib.parse.urlencode(data)
url = base_url + data
print(url)
headers = {
'User-Agent': ' Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}
# 請求物件定製
request = urllib.request.Request(url=url, headers=headers)
return request
def get_content(request):
response = urllib.request.urlopen(request)
content = response.read().decode('utf-8')
return content
def down_load(page, content):
with open("douban" + str(page) + ".json", 'w', encoding="utf-8") as fd:
fd.write(content)
# 程式入口
if __name__ == '__main__':
start_page = int(input("請輸入起始的頁碼"))
end_page = int(input("請輸入結束的頁碼"))
for page in range(start_page, end_page + 1):
request = create_request(page)
# 獲取響應資料
content = get_content(request)
# 下載
down_load(page, content)
python爬蟲 爬取豆瓣電影 1-10 ajax 資料
相關文章
- Python爬蟲教程-17-ajax爬取例項(豆瓣電影)Python爬蟲
- scrapy爬取豆瓣電影資料
- 爬蟲01:爬取豆瓣電影TOP 250基本資訊爬蟲
- Python爬蟲筆記(4):利用scrapy爬取豆瓣電影250Python爬蟲筆記
- 【python爬蟲案例】利用python爬取豆瓣電影TOP250評分排行資料!Python爬蟲
- python更換代理爬取豆瓣電影資料Python
- [python爬蟲] BeautifulSoup和Selenium對比爬取豆瓣Top250電影資訊Python爬蟲
- 爬取豆瓣電影Top250和資料分析
- 全棧 - 9 實戰 爬取豆瓣電影資料全棧
- 爬蟲如何爬取貓眼電影TOP榜資料爬蟲
- 使用python爬取豆瓣電影TOP250Python
- Python爬取分析豆瓣電影Top250Python
- 擼個爬蟲,爬取電影種子爬蟲
- Python爬蟲入門 | 7 分類爬取豆瓣電影,解決動態載入問題Python爬蟲
- Python 爬蟲實戰(1):分析豆瓣中最新電影的影評Python爬蟲
- Python爬蟲例項:爬取貓眼電影——破解字型反爬Python爬蟲
- 手把手教你網路爬蟲(爬取豆瓣電影top250,附帶原始碼)爬蟲原始碼
- 【Python】從0開始寫爬蟲——轉身扒豆瓣電影Python爬蟲
- scrapy入門:豆瓣電影top250爬取
- 爬蟲教程——用Scrapy爬取豆瓣TOP250爬蟲
- 利用Python爬蟲爬取天氣資料Python爬蟲
- nodejs 30行程式碼 爬豆瓣電影資料NodeJS行程
- 06、豆瓣爬蟲爬蟲
- 爬蟲豆瓣美女爬蟲
- Python爬取電影天堂Python
- 房產資料爬取、智慧財產權資料爬取、企業工商資料爬取、抖音直播間資料python爬蟲爬取Python爬蟲
- Python爬取豆瓣電影的短評資料並進行詞雲分析處理Python
- 【python爬蟲案例】利用python爬取豆瓣讀書評分TOP250排行資料Python爬蟲
- 豆瓣top250資料爬取
- Node.js爬取豆瓣資料Node.js
- Springboot+JPA下實現簡易爬蟲--爬取豆瓣電視劇資料Spring Boot爬蟲
- Python爬蟲框架:scrapy爬取高考派大學資料Python爬蟲框架
- Python爬蟲入門【3】:美空網資料爬取Python爬蟲
- 正規表示式_爬取豆瓣電影排行Top250
- python爬蟲---網頁爬蟲,圖片爬蟲,文章爬蟲,Python爬蟲爬取新聞網站新聞Python爬蟲網頁網站
- 教你用python登陸豆瓣並爬取影評Python
- 豆瓣電影TOP250爬蟲及視覺化分析筆記爬蟲視覺化筆記
- Python網路爬蟲(正則, 內涵段子,貓眼電影, 鏈家爬取)Python爬蟲