scrapy框架簡介和基礎應用

Bound_w發表於2019-03-01
框架

一.什麼是Scrapy？

Scrapy是一個為了爬取網站資料，提取結構性資料而編寫的應用框架，非常出名，非常強悍。所謂的框架就是一個已經被整合了各種功能（高效能非同步下載，佇列，分散式，解析，持久化等）的具有很強通用性的專案模板。對於框架的學習，重點是要學習其框架的特性、各個功能的用法即可。

二.安裝

Linux：

      pip3 install scrapy

Windows：

      a. pip3 install wheel

      b. 下載https://pan.baidu.com/s/1806sZyW_mmgAI489hSThOQ

      c. 進入下載目錄，執行 pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl

      d. pip3 install pywin32

      e. pip3 install scrapy

三.基礎使用

　　1.建立專案：scrapy startproject 專案名稱

　　　　專案結構：

　　　　　　　　　　

scrapy.cfg 專案的主配置資訊。（真正爬蟲相關的配置資訊在settings.py檔案中）

items.py 設定資料儲存模板，用於結構化資料，如：Django的Model

pipelines 資料持久化處理

settings.py 配置檔案，如：遞迴的層數、併發數，延遲下載等 spiders 爬蟲目錄，如：建立檔案，編寫爬蟲解析規則

 

2.建立爬蟲應用程式：

　　　　　　cd project_name（進入專案目錄）

　　　　　　scrapy genspider 應用名稱 爬取網頁的起始url （例如：scrapy genspider qiubai www.qiushibaike.com）

 3.編寫爬蟲檔案:在步驟2執行完畢後，會在專案的spiders中生成一個應用名的py爬蟲檔案，檔案原始碼如下：

# -*- coding: utf-8 -*-
import scrapy

class QiubaiSpider(scrapy.Spider):
    name = 'qiubai' #應用名稱
    #允許爬取的域名（如果遇到非該域名的url則爬取不到資料）
    allowed_domains = ['https://www.qiushibaike.com/']
    #起始爬取的url
    start_urls = ['https://www.qiushibaike.com/']

     #訪問起始URL並獲取結果後的回撥函式，該函式的response引數就是向起始的url傳送請求後，獲取的響應物件.該函式返回值必須為可迭代物件或者NUll 
     def parse(self, response):
        print(response.text) #獲取字串型別的響應內容
        print(response.body)#獲取位元組型別的相應內容　

 4.設定修改settings.py配置檔案相關配置:

修改內容及其結果如下：
19行：USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36' #偽裝請求載體身份

22行：ROBOTSTXT_OBEY = False  #可以忽略或者不遵守robots協議

   5.執行爬蟲程式：scrapy crawl  應用名稱

小試牛刀：將糗百首頁中段子的內容和標題進行爬取

# -*- coding: utf-8 -*-
import scrapy

class QiubaiSpider(scrapy.Spider):
    name = 'qiubai'
    allowed_domains = ['https://www.qiushibaike.com/']
    start_urls = ['https://www.qiushibaike.com/']

    def parse(self, response):
        #xpath為response中的方法，可以將xpath表示式直接作用於該函式中
        odiv = response.xpath('//div[@id="content-left"]/div')
        content_list = [] #用於儲存解析到的資料
        for div in odiv:
            #xpath函式返回的為列表，列表中存放的資料為Selector型別的資料。我們解析到的內容被封裝在了Selector物件中，需要呼叫extract()函式將解析的內容從Selecor中取出。
            author = div.xpath('.//div[@class="author clearfix"]/a/h2/text()')[0].extract()
            content=div.xpath('.//div[@class="content"]/span/text()')[0].extract()

            #將解析到的內容封裝到字典中
            dic={
                '作者':author,
                '內容':content
            }
            #將資料儲存到content_list這個列表中
            content_list.append(dic)

        return content_list

　　執行爬蟲程式：

scrapy crawl 爬蟲名稱 ：該種執行形式會顯示執行的日誌資訊
    scrapy crawl 爬蟲名稱 --nolog：該種執行形式不會顯示執行的日誌資訊

 

然後在生成的.csv檔案中檢視是否下載完成！！！

相關文章