分散式爬蟲學習筆記

透明的胡蘿蔔發表於2017-08-13
分散式爬蟲筆記
安裝python 虛擬環境    （將使用python2/3的專案分開）
    1、安裝virtualenvcmd
            cmd命令:pip install virtualenv
    2、因為下載開發包很慢，所以下載開發包的第三方映象--python豆瓣源（百度）
        安裝djangio
            cmd命令:pip install -i https://pypi.douban.com/simple/  django
    3、新建virtualenv
            cmd命令:E:\virtualenv_test>virtualenv scrapytest
                該目錄下就會出現scrapytest虛擬環境，裡面是python最初的包
            
            E:\virtualenv_test\scrapytest\Scripts>activate.bat
    4、利用Phython3.5新建一個虛擬環境
        啟用(scrapypy3) E:\virtualenv_test\scrapytest\Scripts\scrapypy3\Scripts>deactivate.bat
        退出(scrapypy3) E:\virtualenv_test\scrapytest\Scripts\scrapypy3\Scripts>deactivate.bat
    5、安裝 virtualenvwrapper(虛擬環境管理器)
            E:\virtualenv_test\scrapytest\Scripts\scrapypy3\Scripts>pip install virtualenvwrapper
        1、配置系統變數 WORKON_HOME=E:\Evns
        2、C:\Users\lenovo>pip install virtualenvwrapper-win
        3、C:\Users\lenovo>workon
            顯示E:\Evns下的虛擬環境（一個資料夾）
    6、快速建立虛擬環境
        C:\Users\lenovo>mkvirtualenv py2scrapy
        退出輸入deactivate
        進入輸入workon py2scrapy
    7、安裝request sccrapy
        缺包參考:www.lfd.uci.edu/~gohlke/pythonlibs/
        1\pip request
        2\(py2scrapy) G:\python3.5>pip install -i       https://pypi.douban.com/simple scrapy
            我用的是python3.5 32位
    8、建立一個python2.7的版本
            mkvirtualenv --python=路徑+python.exe
            這樣就可以在workon目錄下建立不同python版本的虛擬環境
       

相關文章