python爬取貓眼電影top100儲存到CSV
程式碼沒含量,希望幫到入門的小白。
import requests
import re,json
from lxml import etree
import csv
class Spider():
def open_csv(self):
```
在CSV檔案的開頭寫一行標題
:return:
```
with open(`data.csv`, `a`, newline=``) as f:
spamwriter = csv.writer(f)
spamwriter.writerow([`title`, `star`, `date`, `score`])
def __get_page(self,url,headers):
```
獲取文字內容
:param url:
:param headers:
:return:
```
try:
response = requests.get(url,headers=headers)
if response.status_code == 200:
return response.text
else:
return None
except Exception:
return None
def __parse_page(self,html):
```
解析HTML,並得到提取的資料
:param html:
:return:
```
data = etree.HTML(html)
results = data.xpath(`//*[@class="board-wrapper"]/dd/div/div`)
for result in results:
# 電影名稱 電影主演 電影上映日期 評分
ws = [
result.xpath(`./div[1]/p[1]/a/text()`)[0],
result.xpath(`./div[1]/p[2]/text()`)[0].strip(),
result.xpath(`./div[1]/p[3]/text()`)[0],
result.xpath(`./div[2]/p/i[1]/text()`)[0] + result.xpath(`./div[2]/p/i[2]/text()`)[0],
]
#儲存到CSV
with open(`data.csv`,`a`,newline=``) as f:
writer = csv.writer(f)
writer.writerow(ws)
def run(self):
```
程式執行入口
:return:
```
self.open_csv()
for i in range(11):
url =`http://maoyan.com/board/4?offset={}`.format(10*i)
headers = {`User-Agent`: `Mozilla/5.0 (Windows NT 10.0; WOW64)`
` AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36`
}
html = self.__get_page(url,headers)
self.__parse_page(html)
#例項化類
spider = Spider()
spider.run()
相關文章
- python-爬蟲-css提取-寫入csv-爬取貓眼電影榜單Python爬蟲CSS
- python爬取貓眼正在熱映電影Python
- Python3爬取貓眼電影資訊Python
- Python爬蟲例項:爬取貓眼電影——破解字型反爬Python爬蟲
- 爬蟲如何爬取貓眼電影TOP榜資料爬蟲
- python初級爬蟲之貓眼電影Python爬蟲
- Python網路爬蟲(正則, 內涵段子,貓眼電影, 鏈家爬取)Python爬蟲
- Python反爬:利用js逆向和woff檔案爬取貓眼電影評分資訊PythonJS
- Python爬蟲教程-11-proxy代理IP,隱藏地址(貓眼電影)Python爬蟲
- vue仿貓眼電影webappVueWebAPP
- python3 網路爬蟲開發實戰 貓眼top100Python爬蟲
- Python爬蟲入門實戰之貓眼電影資料抓取(理論篇)Python爬蟲
- Python爬蟲入門實戰之貓眼電影資料抓取(實戰篇)Python爬蟲
- Python爬取電影天堂Python
- 【Python3網路爬蟲開發實戰】3.4-抓取貓眼電影排行Python爬蟲
- python+requests爬取B站影片儲存到本地Python
- Python爬取貓眼評分9.5的《海王》的3萬條評論Python
- [python爬蟲] BeautifulSoup爬取+CSV儲存貴州農產品資料Python爬蟲
- 【Python3網路爬蟲開發實戰】3-基本庫的使用-4抓取貓眼電影排行Python爬蟲
- 使用python爬取豆瓣電影TOP250Python
- Python爬取分析豆瓣電影Top250Python
- python 爬取飄花電影 下載地址Python
- 貓眼票房大屏投影及常規版資料爬取
- python更換代理爬取豆瓣電影資料Python
- Python爬蟲筆記(4):利用scrapy爬取豆瓣電影250Python爬蟲筆記
- Python爬蟲教程-17-ajax爬取例項(豆瓣電影)Python爬蟲
- python爬蟲 爬取豆瓣電影 1-10 ajax 資料Python爬蟲
- Python一鍵獲取日漫Top100榜單電影資訊Python
- 擼個爬蟲,爬取電影種子爬蟲
- Python專案實踐:串列埠字串資料的讀取、分割與儲存到csv檔案Python串列埠字串
- scrapy爬取豆瓣電影資料
- 手把手教你用RecyclerView實現貓眼電影選擇效果View
- python爬取股票資料並存到資料庫Python資料庫
- 貓眼研究院:2021年度電影型別票房榜–喜劇電影Top10型別
- python入門012~使用requests爬取網路圖片並儲存到本地Python
- python 爬蟲 5i5j房屋資訊 獲取並儲存到資料庫Python爬蟲資料庫
- 1.HtmlAgilityPack爬取優酷電影名HTML
- 爬蟲01:爬取豆瓣電影TOP 250基本資訊爬蟲