爬蟲專案部署

爬蟲專案部署到linux

部署之前準備工作

（1）下載安裝xshell，遠端連線到伺服器配置好爬蟲的環境。
（2）安裝xftp(主要是傳輸專案檔案的)，在伺服器上建立一個專案資料夾，把py檔案放進去，注意導包的時候使用 from b import ,而不是使用from a.b import ,a為專案的主資料夾。

連線Xshell方式：

方法1

（1）開啟xshell，連線遠端伺服器。輸入：ssh 伺服器ip，例如：ssh 192.168.10.236，然後按enter鍵。預設的，ssh 會嘗試用當前使用者作為使用者名稱來連線,如果沒有，就必須提供一個：ssh -l leni 192.168.0.103 -p 或者ssh leni@192.168.0.0103,-p為埠。預設為22.
（2）在彈出框裡面根據提示輸入使用者名稱，按確認鍵。
（3）在根據提示輸入密碼。這樣就連線成功了。

方法2

開啟xshell—>點選左上角的檔案按鈕–》新建–》首先填寫連線資訊，名稱、（自己定義）；協議（預設SSH）；主機（伺服器的ip）；埠號（伺服器的埠）————-》最後填寫使用者身份驗證資訊，方法（預設）；使用者名稱（伺服器的使用者名稱）；密碼（伺服器的密碼）——–》最後點選確認按鈕

常用命令

（1）cd
（2）ls
（3）rm

部署步驟

（1）ps -ef|grep 程式名 ，檢視該程式是否已執行，建議命名：spider_程式名
（2）如果要停止該程式 ，執行命令： kill -9 程式Id
（3）部署前，確保同一程式已經停止
（4）在xshell裡面找到xftp按鈕，就在xshell圖示傍邊
（5）單擊開啟，點選彈出框‘連線’按鈕，在左側選擇專案
（6）通過ftp把svn上的爬蟲程式(spider資料夾中)，拷入/accicdent目錄中
（7）部署：cd 到 程式目錄 如：cd /accident/driverLicenNoCheck
（8）執行：nohup python（有時候需要寫python的版本） 程式名（帶字尾 如：NoCheck.py） &（表示後臺執行） 例：nohup python NoCheck.py &

補充

screen:是在大批量操作時不二的選擇
screen 示例:

[root@pvcent107 ~]# screen -dmS Urumchi
[root@pvcent107 ~]# screen -list
There is a screen on:
12842.Urumchi (Detached)
1 Socket in /tmp/screens/S-root.

[root@pvcent107 ~]# screen -r Urumchi
當我們用“-r”連線到 screen 會話後，我們就可以在這個偽終端裡面為所欲為，再也不用擔心 HUP 訊號會對我們的程式造成影響，也不用給每個命令前都加上“nohup”或者“setsid”了

1. 使用了 screen 後新程式的程式樹:

[root@pvcent107 ~]# screen -r Urumchi
[root@pvcent107 ~]# ping www.ibm.com &
[1] 9488
[root@pvcent107 ~]# pstree -H 9488
init─┬─Xvnc
├─acpid
├─atd
├─screen───bash───ping
├─2*[sendmail]

而使用了 screen 後就不同了，此時 bash 是 screen 的子程式，而 screen 是 init（PID為1）的子程式。那麼當 ssh 斷開連線時，HUP 訊號自然不會影響到 screen 下面的子程式了
.