CentOS7.0 (Linux)快速配置Scrapy爬蟲開發環境

weixin_34087301發表於2017-05-08

由於專門為黑蘋果買的SSD容量很低,用來跑資料明顯不現實。
所以把機房的主機裝上CentOS 用來跑資料,執行的最小化安裝,沒有圖形化介面,從U盤拷貝肯定是有點困難的。所以就用一些Linux命令來完成這些工作。

一、遠端拷貝

scp 是遠端拷貝命令 用這個命令可以將你的檔案 或者 資料夾搬運到你要訪問的主機上

scp [可選引數] file_source file_target 
# 例如 針對於單檔案a.text 拷貝到同一區域網下一臺Linux主機的目錄/home下
scp a.txt root@192.168.123.2:/home 
# 針對於 資料夾 b 拷貝到同一區域網下一臺Linux主機的目錄/home下
scp -r b root@192.168.123.2:/home

例如我的就是
scp -r /Users/eno/PycharmProjects/S_Topic root@192.168.123.193:/home

二、配置基本的開發環境

CentOS自帶Python2.7,不過沒有pip 所以需要安裝(pip相當於CentOS的yum)

第一步:安裝擴充源

EPEL (Extra Packages for Enterprise Linux)是基於Fedora的一個專案,為“紅帽系”的作業系統提供額外的軟體包,適用於RHEL、CentOS和Scientific Linux.

yum install wget # 若有則忽略
wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
rpm -ivh epel-release-latest-7.noarch.rpm 

**第二步 ** 安裝python-pip

sudo yum -y install python-pip

**第三步 ** 安裝Python的必要的開發環境

yum install gcc libffi-devel python-devel openssl-devel

第四步 清除cache

sudo yum clean all

三、建立虛擬環境

第一步 安裝virtualenv

virtualenv就是用來為一個應用建立一套“隔離”的Python執行環境。

virtualenv用於建立獨立的Python環境,多個Python相互獨立,互不影響,它能夠:

  1. 在沒有許可權的情況下安裝新套件
  2. 不同應用可以使用不同的套件版本
  3. 套件升級不影響其他應用

安裝方式

sudo pip install virtualenv

第二步 建立

virtualenv venv

第三步 啟用

source venv/bin/active```
# 四、在虛擬環境中快速部署Scrapy開發環境

## 第一步 匯出安裝包

匯出原專案的開發環境所需要的安裝包

匯出到requirements.txt

pip freeze > <目錄>/requirements.txt


## 第二步 拷貝requirements.txt至CentOS下
 使用scp 或者 U盤拷貝都可 

## 第三步 批量安裝開發包

注意 必須在virtualenv 環境下

pip install -r requirements.txt.


## 第四步 測試
由於mongodb 環境還沒搭建,所以搭建mongodb資料庫再來測試

相關文章