teprunner測試平臺部署到Linux系統Docker

dongfanger發表於2021-03-13

本文是一篇過渡,在進行用例管理模組開發之前,有必要把入門篇開發完成的程式碼部署到Linux系統Docker中,把部署流程走一遍,這個過程對後端設計有決定性影響。

本地執行

通過在Vue專案執行npm run serve和在Django專案執行python manage.py runserver,我們把專案在本地跑起來了,示意圖如下:

前端在本地啟了個Node伺服器,後端在本地啟了個Django伺服器,分別使用80808000埠。瀏覽器有個同源策略:域名、埠、協議三者一致才能進行訪問,否則會由於跨域訪問而被瀏覽器攔截。圖中前後端的埠不一致,出現了跨域,前端是無法直接請求後端的。解決辦法是在vue.config.js中配置devServer

這是Node開的一個代理伺服器,當前端請求後端時,會先發向Node代理伺服器,Node代理伺服器以相同的引數向真正的後端伺服器進行請求,再把響應返回給前端。在本專案中,前端請求仍然是發給http://127.0.0.1:8080,瀏覽器不會攔截,Node代理伺服器會幫你把請求轉發給後端8000埠。

Nginx部署

搞懂了本地執行代理轉發,再來看看Nginx部署。Nginx本身是個伺服器,就像Node伺服器一樣,也可以看做Apache Tomcat。Vue專案使用npm run build命令把程式碼構建為dist目錄靜態檔案,放到Nginx伺服器中載入出來,結合Docker示意圖如下:

相比於本地執行,Nginx部署時,前端變化比較大,一:dist靜態檔案拷貝到了/usr/share/nginx/html目錄中,二:對/路徑來說,Nginx會監聽80埠,三:對/api路徑來說,Nginx會把請求轉發到後端伺服器埠,這也叫做反向代理。後端沒有什麼變化,為了和本地執行看著有點區別,把埠稍微改了下,Docker內部使用80埠。

這裡比較關鍵的是理解Docker teprunner-frontendDocker teprunner-backendLinux三者之間的關係。如果不知道Docker,那麼應該聽說過虛擬機器,Docker從概念上理解就像是虛擬機器,這三者可以看做是三臺主機。Linux的IP是172.16.25.13180埠對映到了Docker teprunner-frontend80埠,8099埠對映到了Docker teprunner-backend80埠,如圖中下方雙向箭頭所示。在Linux上訪問http://127.0.0.1,能開啟登入頁面,但是無法向後端發起請求,因為從80埠直接請求8099埠,跨域了。解決辦法是在Docker teprunner-frontend藉助Nginx進行反向代理,把請求先傳送到Nginx伺服器,再轉發給Linux8099埠。

不能在Docker teprunner-frontend中把/api的代理設定為http://127.0.0.1:8099,因為這個Docker容器的8099埠並沒有啟用,啟用的是Linux這臺機器上的8099埠,所以需要通過IP來指定。

整體思路明確了,接下來就開始動手操作。

編寫deploy指令碼

前端

開啟teprunner-frontend資料夾,新建deploy/nginx.conf檔案:

/路徑從user/share/nginx/html讀檔案,入口為index.html/api轉發到http://172.16.25.131:8099。這個檔案會拷貝到Docker映象中。新建Dockerfile檔案:

FROM定義了基礎映象,可以理解為作業系統,前端專案基於nginx來構建。WORKDIR定義了映象當前工作目錄,意思是在執行後面COPY操作時,映象目錄用哪一個。COPY分別把dist靜態檔案和nginx.conf配置檔案拷貝到映象中,COPY指令第一個引數是本機目錄,第二個引數是映象目錄。映象目錄通過WORKDIR來指定,本機目錄通過Docker上下文來指定,新建build.sh檔案:

DockerContext指定了Docker上下文為teprunner-frontend根目錄。這裡的Shell指令碼有兩個階段,第1階段是使用node編譯:

docker run  # 執行映象 
--rm  # 執行後刪除容器
-v $(pwd)/../:/data/src  # $(pwd)指當前工作目錄,把根目錄掛載到data/src
-v /root/.npm/_logs:/root/.npm/_logs  # 掛載日誌檔案
-w /data/src/  # 映象當前工作目錄
$BUILDER_IMAGE  # 執行映象為node:latest,用node編譯前端程式碼
/bin/sh -c "npm install && npm run build"  # /bin/sh是shell可執行程式,呼叫執行npm命令

第2階段是打包成Docker映象:

docker build  # 構建映象
-f $Dockerfile  # 指定Dockerfile檔案位置
-t $PkgName  # 映象包名
$DockerContext  # Docker上下文

後端

後端也是類似的,先新建deploy/Dockerfile檔案:

後端專案基於python:3.8來構建,接著設定了時區,COPY . .把Django原始檔直接複製到了映象目錄/app/release中,RUN指令執行pip install命令安裝依賴包,CMDRUN有點區別,RUN指令在docker build時就執行,CMD指令在docker run時才執行,預定義啟動命令。

這裡簡化了遷移資料庫migrate等啟動命令,伺服器資料庫和本地用的同一個。

再新建build.sh檔案:

Python程式碼不需要編譯,打包成Docker映象就可以了。

部署到Ubuntu系統Docker

Linux系統是核心版本,它有很多發行版本,比如CentOS、Ubuntu,本文采用了Ubuntu,只有一個原因,它長的好看。

大學室友曾經衝動地把Windows系統換成了Ubuntu,還天天跟我們炫耀有多酷炫有多牛逼,過了兩三天發現Office不好用,也玩不了遊戲,就又換回來了。哈哈,Ubuntu平時玩玩就好了,除非是做Linux核心開發。

下載軟體:

  • VMware 破解版
  • Ubuntu Desktop 20.04

安裝過程此處不再另加贅述。開啟虛擬機器的Ubuntu:

開啟Terminal,輸入su,輸入密碼,切換到root

發現缺少許可權就su一下。

安裝curl

apt-get install curl

安裝docker

curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun

使用ifconfig查詢虛擬機器IP:

不要選擇.gitnode_modules資料夾,把teprunner-frontend打成壓縮包。不要選擇.git__pycache__資料夾,把teprunner-backend打成壓縮包。複製前後端壓縮包到虛擬機器Documents解壓:

Ubuntu Desktop的好處是提供了影像化操作介面,適合我這種小白使用者。使用命令列編輯工具vi或者圖形編輯工具gedit編輯teprunner-frontend/deploy/nginx.conf檔案中/api轉發地址為你的虛擬機器實際IP地址:

開啟兩個Terminal,分別cdteprunner-frontend/deployteprunner-backend/deploy,執行./build.sh命令。

如果執行提示^M之類報錯,那是因為在Windows編輯後複製到Linux格式不一致,使用apt-get install dos2unix命令安裝工具後進行格式轉化,比如dos2unix build.shdos2unix Dockerfile

前端構建截圖:

第一次因為要下載node依賴包和拉取nginx映象,會比較慢,第二次就快很多了。

後端構建截圖:

第一次因為要拉取python映象,會比較慢,第二次就快多了。

都構建完成後,輸入docker images命令就能看到打包好的Docker映象了:

啟動前端映象:

docker run -p 80:80 teprunner-frontend

啟動後端映象:

docker run -p 8099:80 teprunner-backend

映象啟動後就變成了Docker容器,可以理解為一臺虛擬主機。-p引數用於對映Ubuntu埠和Docker埠。可以新增-d引數讓容器在後臺執行。docker ps -a檢視容器,docker kill CONTAINERdocker stop CONTAINER退出容器。

最後可以在虛擬機器中訪問http:127.0.0.1進行登入了,本地機器想要訪問的話,需要把127.0.0.1改為你的虛擬機器實際IP,比如http://172.16.25.131

小結

本文先介紹了本地執行和Nginx部署的示意圖,涉及到跨域訪問和反向代理。接著編寫deploy指令碼,編譯程式碼,構建映象。最後部署到Ubuntu系統的Docker中執行起來。在使用過程中,也感受到了Docker這一劃時代技術的魅力,如果沒有Docker,我們需要在Ubuntu上面安裝nginx、node、python等軟體,有了Docker,我們只需要安裝Docker,其他都基於Docker映象構建就可以了。teprunner測試平臺的用例採用的是程式碼形式,這就涉及到了程式碼存放位置的問題,為了讓pytest能呼叫執行,肯定是存放到檔案裡面的。本文實踐給了個重要提醒,如果後端把程式碼直接寫入磁碟檔案,每次打包映象部署後,就會把已儲存的用例程式碼抹掉。解決這個問題的第一個辦法是用K8S,第二個辦法是把程式碼存資料庫。學習版採用了第二個辦法存資料庫,執行時動態從資料庫拿程式碼生成檔案。第一個辦法思路借鑑:

最後,簡單聊下Docker和K8S,Docker是Docker公司的,K8S是Google的,Docker是家小公司搞的,在建立之初,並沒有考慮到“容器編排”這個功能,2014年 Google推出Kubernetes用於解決大規模場景下Docker容器編排的問題,2016年Kubernetes釋出CRI統一介面,雖然Docker也在2016年釋出了Docker Swarm,帶來了Docker在多主機多容器的編排解決方案,但是已經無法阻擋K8S取得這場容器編排戰爭的勝利。

參考資料:

https://www.cnblogs.com/riwang/p/11883332.html

https://zhuanlan.zhihu.com/p/334787180

https://testerhome.com/topics/27860

相關文章