背景
Scrapy爬蟲的確是好使好用，去過scrapinghub的官網瀏覽一下，更是讚歎視覺化爬蟲的犀利。scrapinghub有一系列的產品，開源了大部分專案，Portia負責視覺化爬蟲的編輯，SpiderCloud負責雲端爬蟲的部署，Scrapy是實現他們底層的技術。國內的視覺化爬蟲技術也有不少，據我所知就這幾種：
如果有其他優秀的視覺化爬蟲我沒有提到，大家可以補充。他們的功能暫不討論，但他們都沒有開源的，不方便我們研究。
而scrapinghub將Portia開源出來了，我們可以通過這個渠道瞭解視覺化的爬蟲。雖然開源出來了，可是安裝真的不容易啊。
安裝
安裝之前交代一下，系統和環境吧！
- 系統：Ubuntu14 server
- Python：2.7
- 目標版本：2.0.8
有這兩個就夠了，這兩個是必須的。至於Python的版本可不可以是3.0以上呢？我只能說在3.0以上的版本環境下，我沒有安裝成功過，可能是我個人操作失誤的原因。
如果僅僅是使用的話，docker和本地安裝都是可以的，至於Vagrant可不可以，我就沒試過了。
我這裡優先說本地部署的方式，因為這種方式以後要改造程式碼再部署的話比較方便。官方文件說的比較簡單，按照官網文件來安裝，肯定要踩不少的坑。
我們擬定將Portia安裝在/opt目錄下面
1、克隆Portia
cd /opt
sudo git clone https://github.com/scrapinghub/portia.git
如果沒有git的話，執行sudo apt-get install git安裝Git
2、不要使用虛擬環境
不知道你們有沒有強迫症，反正我是有的，用什麼pyenv和virtualenv搞過虛擬環境，讓我踩了不少坑。裡面有什麼坑呢？
- 安裝的指令碼需要新建檔案，需要sudo，如果使用了sudo，你的pyenv就白裝了，sudo會使用系統的Python2.7。
- portia和splash的指令碼的寫法不同，導致pyenv和virtualenv生效的情況也不一樣。
結論是，我輸了，我使用系統的Python2.7來安裝。
3、安裝指令碼
cd portia
sudo ./provision.sh install_deps install_splash install_python_deps
接下來可以等待安裝完成。
4、替換下載慢的指令碼(可選)
這步是可選的，如果sip或者PyQt下載的比較慢，可以先手動下載好。
http://sourceforge.net/projects/pyqt/files/sip/sip-4.17/sip-4.17.tar.gz
http://sourceforge.net/projects/pyqt/files/PyQt5/PyQt-5.5.1/PyQt-gpl-5.5.1.tar.gz
分別改名為sip.tar.gz和pyqt5.tar.gz放在/downlaods目錄中，/downloads沒有就新建一個。
然後vi /tmp/splash-2.3.x/dockerfiles/splash/provision.sh把
#curl -L -o /downloads/sip.tar.gz http://sourceforge.net/projects/pyqt/files/sip/sip-${SPLASH_SIP_VERSION}/sip-${SPLASH_SIP_VERSION}.tar.gz && \
#curl -L -o /downloads/pyqt5.tar.gz http://sourceforge.net/projects/pyqt/files/PyQt5/PyQt-${SPLASH_PYQT_VERSION}/PyQt-gpl-${SPLASH_PYQT_VERSION}.tar.gz && \註釋掉，儲存退出。再次在portia目錄下執行./provision.sh install_splash
最後等待安裝，當然，如果你網路好，這步可以忽略。
5、配置nginx
vi nginx/nginx.conf
修改：
root /opt/portia/portiaui/dist;
location /static {
alias /opt/portia/portiaui/dist;
}儲存退出。
執行sudo ./provision.sh configure_nginx configure_initctl
6、安裝前端依賴和UI
sudo ./provision.sh install_frontend_deps build_assets
7、執行
前面的準備工作都做好了，現在執行Portia
export PYTHONPATH='/opt/portia/portia_server:/opt/portia/slyd:/opt/portia/slybot'
slyd/bin/slyd -p 9002 -r portiaui/dist & portia_server/manage.py runserver
現在開啟瀏覽器http://localhost:9001爽爽吧！
題外話
在ctrl+c停掉應用後，再次啟動會被提示埠已佔用。這個時候使用ps -ef | grep slyd，把對應的slyd埠kill掉