淺談Python中的scrapy的安裝和建立工程。

1 安裝

Scrapy依賴的庫比較多，至少需要依賴庫有Twisted 14.0，lxml 3.4，pyOpenSSL 0.14。而在不同平臺環境又各不相同，所以在安裝之前最好確保把一些基本庫安裝好。

Anaconda是包含了常用的資料科學庫的Python發行版本，我的電腦是在Anaconda的環境下進行安裝的。

如果沒有安裝Anaconda，可以根據以下連結進行安裝，https://blog.csdn.net/qq_39138295/article/details/80805902

如果已經安裝，那麼可以輕鬆地通過conda命令安裝Scrapy。

安裝命令如下：

conda install Scrapy

接下來，當安裝完成之後，可以順帶進行檢測是否已經安裝完畢。

在命令列輸入scrapy 命令，如果顯示以下介面，就是已經安裝成功了。

2. 建立爬蟲專案，建立爬蟲檔案，執行爬蟲檔案

（1）建立專案

（2）使用pycharm開啟檔案

將剛才建立在桌面的檔案拖入pycharm中。

 

上圖中的scrapy.cfg檔案是專門用來部署爬蟲專案到伺服器中的。

（3）在pycharm中建立專案

 

 

我們會看到剛才的soiders檔案中多出來一個我們剛剛建立的py檔案。

檔案內容的簡單介紹：

（4）執行爬蟲檔案

在終端執行：

一些基礎的知識後面會繼續奉上。