scrapy入門教程1:scrapy環境配置以及安裝

發表於2016-06-02

0. 基本環境說明

  1. 本文截圖及執行環境均在MAC OS X 10.9.5上實現,但基本步驟與win 7環境上相同(其實我是先在win7折騰了一把,然後為了寫這篇教程,又在OS X 上面重新搞了一遍)
  2. scrapy版本為1.0
  3. 參考文獻以及下載連結:

1. 基本環境配置

1. anaconda

剛接觸python和機器學習的人,想必已經被python中眼花繚亂的安裝包和相關類庫搞的菊花一緊。我之前也是各種血淚史,完全沒有老司機帶著我。折騰了差不多半個月,python環境依舊裝的破破爛爛。Windows和linux以及MACOS環境下都是演過了,各種蛋疼。直到某一天我見到了anaconda。才感覺這個世界上依舊是好人多,人間還是充滿愛的。

anaconda是一個開源的、免費的python類庫的集合,貌似一裝就安裝了200+的包,各種依賴包各種搞定。所以趕快戳頂層連結去下載吧。下面介紹的其他工具一些是anaconda自帶的,一些是通過anaconda安裝的,總之,anaconda是一切的基石。

2. MySQL 模組安裝

anaconda模組竟然木有自帶MySQL連線模組,用下面的命令來安裝吧,後面抓取的內容要塞到資料庫裡面的喲~

3. scrapy 安裝

下面就是安裝scrapy了,其實也是簡單的不要要的~,因為我們已經安裝了anaconda,所以一切都簡單的不要要的喲~,裡面會讓你有些包更新,直接輸入y確認就好了。

注意:在使用conda install 安裝的過程中,有時候因為網路問題或者其他問題會引起失敗,此時要仔細看提示說明,尋找原因,如果是網路原因的話,重新輸入以上命令即可~。我教研室有個師弟,因為網路原因裝了8回,所以騷年洗洗菊花做好準備吧~

相關文章