Python開發環境詳細配置Anaconda+請求庫+解析庫+資料庫+儲存庫+web庫+爬蟲框架+部署庫---Windows篇

首先是一些連結
Python官網
Python官網下載地址
第三方庫
官方文件
中文教程
了不起的Python

安裝方式有兩種
首選anaconda安裝，它整合了Python的科學計算環境和常用庫，後面環境配置更加簡便
另一種是下載安裝包標準安裝，百度有步驟，很簡單

---

1.Anaconda安裝

下載連結
下載3.6版本的就可以了

然後下一步

這個可以讓anaconda的Python3.6作為系統認可的Python3.6
pycharm等軟體可以直接使用anaconda的Python3.6

然後執行圖形介面

在anaconda安裝路徑中新增Python3（就是複製Python）

新增系統變數

高階系統設定–>環境變數–>系統變數path編輯
新增anaconda路徑，新增anaconda/scripts路徑

---

2.請求庫的安裝

1.requests庫的安裝
若是anaconda安裝，這些庫已經存在

2.selenium庫的安裝

3.Chromedriver的安裝

首先下載Chrome瀏覽器
幫助，關於Google Chrome，記住版本號

開啟Chromedriver官網，下載
官網
下載速度問題可以去找映象站

下載完成後，將其可執行檔案新增到環境變數中，
或直接複製到python的scripts資料夾中

開啟埠後，在程式碼中可以正常呼叫

4.GeckoDriver庫的安裝

同上，這個庫對應的火狐瀏覽器的驅動
首先正確安裝火狐瀏覽器，記住版本號

驅動下載地址

同理，將其複製到python/scripts目錄下

驗證使用

5.PhantomJS無介面的瀏覽器安裝

PhantomJS是一個無介面的，可指令碼程式設計的WebKit瀏覽器引擎，它原生支援多種Web標準，DOM操作，CSS選擇器，JSON，Canvas，SVG。

下載地址

依然將其複製到python的scripts目錄下
命令列可以直接呼叫

selenium 不好好支援 phantomJS了，以後用到再看能否正常爬取

6.aiohttp庫的安裝

requests庫是一個阻塞式HTTP請求庫，當我們發出一個請求後，程式會一直等待伺服器響應，直到得到響應後，程式才會進行下一步處理。其實，這個過程比較耗費時間。如果程式可以在這個等待過程中做一些其他的事情，如進行請求的排程，響應的處理，那麼爬取效率一定會大大提高。
aioHTTP就是一個這樣的提供非同步web服務的庫
aiohttp的非同步操作藉助於 async/await 的關鍵字的寫法變得更加簡潔，架構更加清晰。使用非同步請求庫進行資料抓取時，會大大提高效率。

另外，官方還推薦了兩個庫，一個是字元編碼檢測庫，cchardet
另一個是加速DNS的解析庫，aiodns.

測試

---

3.解析庫的安裝

1.lxml庫的安裝

anaconda自帶，否則，pip安裝即可

2.beautifulsoup庫的安裝

沒有的話pip安裝即可

3.pyquery庫的安裝

4.tesserocr庫的安裝–OCR識別驗證碼


識別這張圖片

識別中文目前會亂碼，可能沒有語料庫
pip 安裝出錯了，於是百度，採用conda安裝，成功

測試

---

4.資料庫的安裝

1.MYSQL資料庫的安裝

較為簡單的方法是下載phpstudy
裡面整合了MySQL資料庫，開啟關閉管理都很方便
且整合PHPmyadmin網頁管理

2.MongoDB資料庫的安裝

下載地址

將bin目錄放到系統變數中

3.Redis資料庫的安裝

下載地址

安裝Redis 桌面管理工具

---

5.儲存庫的安裝

1.pymysql

2.pymongo

3.redis-py

4.redis-dump的安裝

Redis-dump是一個用於Redis資料庫匯入匯出的工具，是基於ruby實現的
第一步，安裝ruby

ruby下載地址
翻牆下載吧孩子們
各憑本事

這是ruby在中國的映象，速度快好用

---

6.web庫的安裝

1.flask安裝

anaconda自帶，但是例子呼叫有錯誤，用時再搞

2.tornado安裝

依然

---

7.APP爬取庫的相關安裝

這部分用到再進行安裝吧

---

8.爬蟲框架的安裝

1.pyspider框架的安裝

執行

可以直接瀏覽器開啟

2.Scrapy框架的安裝

3.scrapy-splash

pass

4.scrapy-redis

---

9.部署相關庫的安裝

1.docker

下載連結

安裝失敗，還是Linux用吧

2.scrapyd安裝

3.scrapyd-client安裝