scrapy分散式淺談+京東示例

scrapy分散式淺談+京東示例：

學習目標：

1. 分散式概念與使用場景

2. 淺談去重

3. 淺談斷點續爬

4. 分散式爬蟲編寫流程

5. 基於scrapy_redis的分散式爬蟲（陽關院務與京東圖書案例）

環境準備：

1. 下載redis-cli（客戶端）以及redis-server（服務端）

2. 安裝Another Redis Desktop Manager視覺化工具

3. 連結：https://pan.baidu.com/s/1rl8IUY7Lq54aePT54LnAkQ 提取碼：1234

4. scrapy-redis原始碼：git clone https://github.com/rolando/scrapy-redis.git

 

分散式概念與使用場景：

1. 分散式聽起來很高大上，但是它只是提高爬蟲功能與執行效率的一個環節，

2. 當你的資料是海量的時候，或者老闆叫你在短時間內獲得大量的資料，這時候才是分散式出場的時候，然而當你使用分散式的時候，難點不在於怎麼部署以及編寫程式碼；

3. 爬蟲的速度越快，所造成對方的伺服器負擔越重，這時候反爬才是你所真正考慮以及應對的。

4. 概念：需要搭建一個分散式機群，然後再機群的每一臺電腦中執行同一組程式，讓對某一個網站的資料進行聯合分佈爬取

 

淺談去重：

1. 好處：能夠減少伺服器的壓力以及保證資料的準確性；

2. 每核心次請求的時候，先判斷這個請求是否在已經爬取的佇列當中，存在捨去，不存在爬取；

3. 採用scrapy-redis中的set集合做的去重（可做持久化儲存）。

 

淺談斷點續爬：

1. 如果執行爬蟲down掉了，在下一次啟動的時候可以接入上次end的位置繼續。

2. 斷點續爬就是將資料佇列 集合以及任務佇列實現本地持久化儲存

 

分散式爬蟲編寫流程：

1. 編寫普通scrapy爬蟲

   • 建立專案

   • 明確目標

   • 建立爬蟲（普通scrapy爬蟲以及crawlSpider爬蟲）

   • 儲存內容

2. 改造分散式爬蟲

   • 匯入scrapy-redis中的分散式爬蟲類

   • 繼承類

   • 登出start_url & allowed-domains

   • 設定redis_key獲取start_urls

   • 設定__init__獲取允許的域

3. 改造settings檔案

   • copy配置檔案（配置如下）

   • #所有的JDspider---換成自己的爬蟲名稱
      SPIDER_MODULES = ['JDspider.spiders']
      NEWSPIDER_MODULE = 'JDspider.spiders'
      ​
      USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 Edg/84.0.522.40'
      ​
      # 設定重複過濾器的模組
      DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
      # 設定調取器，scrap_redis中的排程器具備與資料庫互動的功能
      SCHEDULER = "scrapy_redis.scheduler.Scheduler"
      # 設定當爬蟲結束的時候是否保持redis資料庫中的去重集合與任務佇列，程式結束後不清空redis資料庫
      SCHEDULER_PERSIST = True
      #SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"
      #SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderQueue"
      #SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderStack"
      ​
      ITEM_PIPELINES = {
          # 'JD.pipelines.ExamplePipeline': 300,
          # 當開啟該管道，該管道將會把資料存到Redis資料庫中，也可以自己設定資料庫
          'scrapy_redis.pipelines.RedisPipeline': 400,
      }
      # 設定redis資料庫
      REDIS_URL = "redis://127.0.0.1:6379"
      ​
      # LOG_LEVEL = 'DEBUG'
      ​
      # Introduce an artifical delay to make use of parallelism. to speed up the
      # crawl.
      #請求間隔時長
      DOWNLOAD_DELAY = 1

      

陽光院務平臺scrapy-redis-Crawlspider:

編寫Spider：基本程式碼很好理解就沒寫註釋

import scrapy
 from sunsite.items import SunsiteItem
 ​
 class SunproSpider(scrapy.Spider):
     name = 'sunpro'
     # allowed_domains = ['www.xxx.com']
     start_urls = ['http://wz.sun0769.com/political/index/politicsNewest?id=1&page=1']
 ​
     def parse(self, response):
         li_list = response.xpath("/html/body/div[2]/div[3]/ul[2]//li")
         for li in li_list:
             item = SunsiteItem()
             item['title'] = li.xpath("./span[3]/a/text()").extract_first()
             status= li.xpath("./span[2]/text()").extract_first().split('\n                        ')[1]
 ​
             item['status'] = status.split("\n                    ")[0]
             # print(item)
             yield item

 

編寫CrawlSpider:

import scrapy
 from scrapy.linkextractors import LinkExtractor
 from scrapy.spiders import CrawlSpider, Rule
 from sunsite.items import SunsiteItem
 from scrapy_redis.spiders import RedisCrawlSpider
 ​
 class SunprocrawlSpider(RedisCrawlSpider):
     name = 'Sunprocrawl'
     # allowed_domains = ['www.xxx.com']
     # start_urls = ['http://wz.sun0769.com/political/index/politicsNewest?id=1&page=1']
     redis_key = 'sunurl'
     rules = (
         Rule(LinkExtractor(allow=r'id=1&page=\d+'), callback='parse_item', follow=True),
     )
 ​
     def parse_item(self, response):
         li_list = response.xpath("/html/body/div[2]/div[3]/ul[2]//li")
         for li in li_list:
             item = SunsiteItem()
             item['title'] = li.xpath("./span[3]/a/text()").extract_first()
             status = li.xpath("./span[2]/text()").extract_first().split('\n                        ')[1]
 ​
             item['status'] = status.split("\n                    ")[0]
             # print(item)
             yield item

item編寫：

import scrapy
 ​
 ​
 class SunsiteItem(scrapy.Item):
     title = scrapy.Field()
     status = scrapy.Field()

 

京東圖書scrapy-redis：

JDSpider:（基礎程式碼在Github中）

# -*- coding: utf-8 -*-
 #該spider在基礎spider上進行分散式修改
 import scrapy
 from JDspider.items import JdspiderItem
 import json
 #-----1匯入分散式爬蟲類
 from scrapy_redis.spiders import RedisSpider
 ​
 class JdproSpider(RedisSpider): #----2繼承RedisSpider類方法
     name = 'JDpro'
     # start_urls = ['https://book.jd.com/booksort.html']
     # ----4 設定redis-key
     redis_key = 'tranurl'
 ​
     # ----5 設定__init__
     def __init__(self, *args, **kwargs):
         domain = kwargs.pop('domain', '')
         self.allowed_domains = list(filter(None, domain.split(',')))
         super(JdproSpider, self).__init__(*args, **kwargs)
 ​
     def parse(self, response):
         #獲取圖書大分類中的列表
         big_node_list = response.xpath("//div[@class='mc']//dt/a")
 ​
         # 【：1】切片，先獲取一類資料測試
         # for big_node in big_node_list[:1]:
         for big_node in big_node_list:
             #大分類的名稱
             big_category = big_node.xpath("./text()").extract_first()
             #大分類的URL
             big_category_link = response.urljoin(big_node.xpath("./@href").extract_first())
             # print(big_category, big_category_link)
             # 獲取所有圖書小分類節點列表
             #注意點---獲取兄弟節點的xpath語法結構；小分類的整體節點
             small_node_list = big_node.xpath("../following-sibling::dd[1]/em/a")
             #【：1】切片，先獲取一類資料測試
             for small_node in small_node_list[:1]:
                 temp = {}
                 temp['big_category'] = big_category
                 temp['big_category_link'] = big_category_link
                 #獲取小分類的名稱
                 temp['small_category'] = small_node.xpath("./text()").extract_first()
                 #獲取小分類的URL
                 temp['small_category_link'] = response.urljoin(small_node.xpath("./@href").extract_first())
                 # print(temp)
                 #注意點，篩選出來的資料持續傳輸，meta的使用
                 yield scrapy.Request(
                     url=temp['small_category_link'],
                     callback= self.parse_book_link,
                     #上面儲存的item傳遞給下一個解析函式
                     meta = {'data':temp}
                 )
 ​
     #解析詳情
     def parse_book_link(self,response):
         temp = response.meta['data']
 ​
         #獲取到Book的標籤
         book_list = response.xpath("//*[@id='J_goodsList']/ul/li/div")
         # print(len(book_list))
         #遍歷標籤頁
         for book in book_list:
             item = JdspiderItem()
 ​
             item['big_category'] = temp['big_category']
             item['big_category_link'] = temp['big_category_link']
             item['small_category'] = temp['small_category']
             item['small_category_link'] = temp['small_category_link']
             #書的名字
             item['bookname'] = book.xpath('./div[3]/a/em/text()|./div/div[2]/div[2]/div[3]/a/em/text()').extract_first()
             #書的作者
             item['author'] = book.xpath('./div[4]/span[1]/a/text()|./div/div[2]/div[2]/div[4]/span[1]/span[1]/a/text()').extract_first()
             #書的URL
             item['link'] = response.urljoin(book.xpath('./div[1]/a/@href|./div/div[2]/div[2]/div[1]/a/@href').extract_first())
             # print(item)
             # 獲取圖書編號，目的拼接圖書的Price
             skuid = book.xpath('.//@data-sku').extract_first()
             # skuid = book.xpath('./@data-sku').extract_first()
             # print("skuid:",skuid)
             # 拼接圖書價格地址
             pri_url = 'https://p.3.cn/prices/mgets?skuIds=J_' + skuid
             # print(pri_url)
 ​
             yield scrapy.Request(url=pri_url, callback=self.parse_price, meta={'meta_1': item})
             #拿到一條資料測試，可以開啟
             # break
     def parse_price(self,response):
         #拿到傳遞過來的item
         item = response.meta['meta_1']
         #解析json頁面
         dict_data = json.loads(response.body)
         #解析價錢，傳遞到item中
         item['price'] = dict_data[0]['p']
         # print(item)
         yield item
 ​

程式執行方式：

1. 開啟redis-server.exe

2. 開啟redis-cli.exe

3. 找到爬蟲檔案下的spider

4. scrapy runspider spiderName

5. 在redis-cli中輸入：lpush redis-keyName(spider中定義的redis-key名字) URL（網頁的連結）

實現效果：

 

完整專案程式碼：

Github：https://github.com/xbhog/scrapyRedis

致謝：如果對您有幫助，希望隨手一個star，感謝！！