Windows下安裝配置爬蟲工具Scrapy及爬蟲環境

爬蟲工具Scrapy在Mac和Linux環境下都相對好裝，但是在Windows上總會碰到各種莫名其妙的問題。本文記錄下Scrapy在Window上的安裝過程。
本文是基於Python2.7及Windows 10安裝Scrapy及各種爬蟲相關庫。

下載安裝Scrapy

Scrapy官方文件

1. 按照官網建議下載安裝Anaconda,使用這個安裝比直接pip安裝會少很多問題。
   下載地址

2. 安裝完成後，python2.7也會自動安裝好，然後執行以下命令安裝Scrapy.

conda install -c conda-forge scrapy

安裝mysql驅動

1. 下載並安裝mysql官方的驅動程式。下載地址

2. 下載mysql的python驅動程式,可以把兩個都裝上，使用的時候再決定用哪個。

• MySQL官方的純Python驅動

pip install mysql-connector-python

• 封裝了MySQL C驅動的Python驅動

  1. 安裝Python版C++編譯程式。下載地址

  2. 拷貝mysql驅動(32位不需要這一步)，將”C:Program FilesMySQL” 拷貝到 “C:Program Files (x86)MySQL”。
     目的是為了防止下一步的錯誤”Cannot open include file: ‘config-win.h’: No such file or directory”

  3. 安裝驅動

     pip install MySQL-python
     

  4. 安裝資料庫連線池工具

     pip install DBUtils
     

安裝其它相關的依賴庫

安裝BeautifulSoup

Beautiful Soup提供一些簡單的、python式的函式用來處理導航、搜尋、修改分析樹等功能。

pip install beautifulsoup4

安裝PyQuery

PyQuery庫也是一個非常強大又靈活的網頁解析庫。

pip install pyquery