CentOS7.0 （Linux）快速配置Scrapy爬蟲開發環境

weixin_34087301發表於2017-05-08
CentOSLinux爬蟲開發環境

由於專門為黑蘋果買的SSD容量很低，用來跑資料明顯不現實。
所以把機房的主機裝上CentOS 用來跑資料，執行的最小化安裝，沒有圖形化介面，從U盤拷貝肯定是有點困難的。所以就用一些Linux命令來完成這些工作。

一、遠端拷貝

scp 是遠端拷貝命令 用這個命令可以將你的檔案 或者 資料夾搬運到你要訪問的主機上

scp [可選引數] file_source file_target 
# 例如 針對於單檔案a.text 拷貝到同一區域網下一臺Linux主機的目錄/home下
scp a.txt root@192.168.123.2:/home 
# 針對於 資料夾 b 拷貝到同一區域網下一臺Linux主機的目錄/home下
scp -r b root@192.168.123.2:/home

例如我的就是
scp -r /Users/eno/PycharmProjects/S_Topic root@192.168.123.193:/home

二、配置基本的開發環境

CentOS自帶Python2.7，不過沒有pip 所以需要安裝（pip相當於CentOS的yum）

第一步：安裝擴充源

EPEL (Extra Packages for Enterprise Linux)是基於Fedora的一個專案，為“紅帽系”的作業系統提供額外的軟體包，適用於RHEL、CentOS和Scientific Linux.

yum install wget # 若有則忽略
wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
rpm -ivh epel-release-latest-7.noarch.rpm

**第二步 ** 安裝python-pip

sudo yum -y install python-pip

**第三步 ** 安裝Python的必要的開發環境

yum install gcc libffi-devel python-devel openssl-devel

第四步 清除cache

sudo yum clean all

三、建立虛擬環境

第一步 安裝virtualenv

virtualenv就是用來為一個應用建立一套“隔離”的Python執行環境。

virtualenv用於建立獨立的Python環境，多個Python相互獨立，互不影響，它能夠：

  1. 在沒有許可權的情況下安裝新套件
  2. 不同應用可以使用不同的套件版本
  3. 套件升級不影響其他應用

安裝方式

sudo pip install virtualenv

第二步 建立

virtualenv venv

第三步 啟用

source venv/bin/active```
# 四、在虛擬環境中快速部署Scrapy開發環境

## 第一步 匯出安裝包

匯出原專案的開發環境所需要的安裝包

匯出到requirements.txt

pip freeze > <目錄>/requirements.txt


## 第二步 拷貝requirements.txt至CentOS下
 使用scp 或者 U盤拷貝都可 

## 第三步 批量安裝開發包

注意 必須在virtualenv 環境下

pip install -r requirements.txt.


## 第四步 測試
由於mongodb 環境還沒搭建，所以搭建mongodb資料庫再來測試

相關文章