25行程式碼帶你爬取4399小遊戲資料，看下童年的遊戲是否還在

松鼠愛吃餅乾發表於2020-09-28
行程遊戲

前言

本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,如有問題請及時聯絡我們以作處理。

還記得童年的網頁小遊戲嗎？今天帶大家爬取4399小遊戲網站的資料，遊戲名字+連結地址

目標網站

http://www.4399.com/
25行程式碼帶你爬取4399小遊戲資料，看下童年的遊戲是否還在

 

基本環境配置

  • python 3.6
  • pycharm
  • requests
  • parsel
  • csv

 

爬蟲程式碼

匯入需要用到的工具

1import requests
2import parsel
3import csv

 

請求網頁

1    url = 'http://www.4399.com/flash_fl/5_{}.htm'.format(page)
2    headers = {
3        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
4    }
5    response = requests.get(url=url, headers=headers)
6    response.encoding = response.apparent_encoding

 

25行程式碼帶你爬取4399小遊戲資料，看下童年的遊戲是否還在

 

解析網頁，爬取資料

1    for li in lis:
2        dit ={}
3        data_url = li.css('a::attr(href)').get()
4        new_url = 'http://www.4399.com' + data_url.replace('http://', '/')
5        dit['遊戲地址'] = new_url
6        title = li.css('img::attr(alt)').get()
7        dit['遊戲名字'] = title
8        print(new_url, title)

 

儲存資料

1f = open('4399遊戲.csv', mode='a', encoding='utf-8-sig', newline='')
2
3csv_writer = csv.DictWriter(f, fieldnames=['遊戲地址', '遊戲名字'])
4csv_writer.writeheader()
5f.close()
6# 想要原始碼的請關注公眾號：松鼠愛吃餅乾
7# 傳送‘4399’即可免費獲取

 

執行程式碼，效果如下圖

25行程式碼帶你爬取4399小遊戲資料，看下童年的遊戲是否還在

 

25行程式碼帶你爬取4399小遊戲資料，看下童年的遊戲是否還在

 

每秒200條資料，超快的爬取速度

相關文章