python3安裝scrapy並執行成功

吞吞吐吐的發表於2017-09-12
Python

今天，python 3 安裝 scrapy， 並執行成功。特此紀念！

我的環境：windows 10(64位) + python 3.5.2(64位)

其中幾個要點說明一下：

1、有幾個依賴庫需要事先單獨安裝

往往，在安裝scrapy依賴庫，即在

pip install scrapy

過程中，會出現紅色錯誤的。此時，做兩件事

  1. 更新pip: $ python pip install --upgrade pip
  2. 去lfd下載單獨的whl檔案，pip安裝之(若有多個依賴庫安裝出現紅色文字錯誤，則此步重複！)

2、特別地，pywin32的安裝問題

  1. 去lfd下載單獨的whl檔案，pip安裝之
  2. 然後，執行命令$ python pywin32_postinstall.py -install，切記！

好了，執行官網首頁的例子：

import scrapy

class BlogSpider(scrapy.Spider):
    name = `blogspider`
    start_urls = [`https://blog.scrapinghub.com`]

    def parse(self, response):
        for url in response.css(`ul li a::attr("href")`).re(`.*/category/.*`):
            yield scrapy.Request(response.urljoin(url), self.parse_titles)

    def parse_titles(self, response):
        for post_title in response.css(`div.entries > ul > li a::text`).extract():
            yield {`title`: post_title}

儲存為myspider.py檔案，命令列進入此資料夾，執行如下命令，使啟動爬蟲：

scrapy runspider myspider.py

OK了，可以看到成功的資訊。

本文轉自羅兵部落格園部落格，原文連結：http://www.cnblogs.com/hhh5460/p/5707043.html，如需轉載請自行聯絡原作者


相關文章