為 Python Web App 編寫 Dockerfiles

lsvih發表於2018-03-19
PythonWebAPPDocker

TL;DR

本文涵蓋了從建立簡單的 Dockerfile 到生產環境多級構建 Python 應用的例子。以下為本指南的內容摘要：

  • 使用合適的基礎映象（開發環境使用 debian，生產環境使用 alpine）。
  • 在開發時使用 gunicorn 進行熱載入。
  • 優化 Docker 的 cache layer（快取層）—— 按照正確的順序使用命令，僅在必要時執行 pip install。
  • 使用 flask 的 static 及 template 目錄部署靜態檔案（比如 React、Vue、Angular 生成的 bundle）。
  • 使用 alpine 進行生產環境下的多級構建，減少最終映象檔案的大小。
  • #彩蛋 — 在開發時可以用 gunicorn 的 --reload 與 --reload_extra_files 監視檔案（包括 html、css 及 js）的修改。

如果你需要以上步驟的程式碼，請參考 GitHub repo.

內容

  1. 簡單的 Dockerfile 與 .dockerignore
  2. 使用 gunicorn 實現熱載入
  3. 執行一個單檔案 python 指令碼
  4. 部署靜態檔案
  5. 生產環境中的直接構建
  6. 生產環境中的多級構建

假設我們有一個名為 python-app 的應用，為其準備一個簡單的目錄結構。在頂級目錄下，包含 Dockerfile 以及 src 資料夾。

python app 的原始碼就存放在 src 目錄中，app 的依賴關係儲存在 requirements.txt 裡。為了簡潔起見，我們假設 server.py 定義了一個執行於 8080 埠的 flask 服務。

python-app
├── Dockerfile
└── src
    └── server.py
    └── requirements.txt
複製程式碼

1. 簡單的 Dockerfile 樣例

FROM python:3.6

# 建立 app 目錄
WORKDIR /app

# 安裝 app 依賴
COPY src/requirements.txt ./

RUN pip install -r requirements.txt

# 打包 app 原始碼
COPY src /app

EXPOSE 8080
CMD [ "python", "server.py" ]
複製程式碼

我們將使用最新版本的 python:3.6 作為基礎映象。

在構建映象時，docker 會獲取所有位於 context 目錄下的檔案。為了提高 docker 構建的速度，可以在 context 目錄中新增 .dockerignore 檔案來排除不需要的檔案與目錄。

通常，你的 .dockerignore 檔案件應該如下所示：

.git
__pycache__
*.pyc
*.pyo
*.pyd
.Python
env
複製程式碼

構建並執行此映象：

$ cd python-docker
$ docker build -t python-docker-dev .
$ docker run --rm -it -p 8080:8080 python-docker-dev
複製程式碼

你將能在 [http://localhost:8080](http://localhost:8080.) 訪問此 app。使用 Ctrl+C 組合鍵可以退出程式。

現在，假設你希望在每次修改程式碼（比如在本地部署時）時都執行以上程式碼，那麼你需要在啟停 python 服務時將程式碼原始檔掛載到容器中。

$ docker run --rm -it -p 8080:8080 -v $(pwd):/app \
             python-docker-dev bash
root@id:/app# python src/server.py
複製程式碼

2. 使用 Gunicorn 實現熱更新

gunicorn 是一款執行於 Unix 下的 Python WSGI HTTP server，使用的是 pre-fork worker 模型（注，Arbiter 是 gunicorn 的 master，因此稱 gunicorn 為 pre-fork worker）。你可以使用各種各樣的選項來配置 gunicorn。向 gunicorn 命令中傳入 --reload 或是將 reload 寫入配置檔案，就可以讓 gunicorn 在有檔案發生變化時自動重啟 python 服務。

FROM python:3.6

# 建立 app 目錄
WORKDIR /app

# 安裝 app 依賴
COPY gunicorn_app/requirements.txt ./

RUN pip install -r requirements.txt

# 打包 app 原始碼
COPY gunicorn_app /app

EXPOSE 8080
複製程式碼

我們將構建映象並執行 gunicorn，以便在 app 目錄下檔案發生變動時對程式碼進行 rebuild。

$ cd python-docker
$ docker build -t python-hot-reload-docker .
$ docker run --rm -it -p 8080:8080 -v $(pwd):/app \
             python-hot-reload-docker bash
root@id:/app# gunicorn --config ./gunicorn_app/conf/gunicorn_config.py gunicorn_app:app
複製程式碼

一切在 app 目錄下 python 檔案的更改都會觸發 rebuild，發生的變化都能在 [http://localhost:8080](http://localhost:8080.) 上實時展示。請注意，我們已經將檔案掛載到了容器中，因此 gunicorn 才能正常工作。

其它格式的檔案怎麼辦？ 如果你希望 gunicorn 在監視程式碼變動的時候也監視其它型別的檔案（如 template、view 之類的檔案），可以在 reload_extra_files 引數中進行指定。此引數接受陣列形式的多個檔名。

3. 執行一個單檔案 python 指令碼

你可以通過 docker run，使用 python 映象來簡單地執行 python 單檔案指令碼。

docker run -it --rm --name single-python-script -v "$PWD":/app -w /app python:3 python your-daemon-or-script.py
複製程式碼

你也可以給指令碼傳遞一些引數。在上面的例子中，我們就已經掛載了當前工作目錄，也就是說可以將目錄中的檔案當做引數傳遞。

4. 部署靜態檔案

上面的 Dockerfile 假定了你是使用 Python 執行一個 API 伺服器。如果你想用 Python 為 React.js、Vue.js、Angular.js app 提供服務，可以使用 Flask。Flask 為渲染靜態檔案提供了一種便捷的方式：html 檔案放在 templates 目錄中，css、js 及圖片放在 static 目錄中。

請在此 repo 中檢視簡單的 hello world 靜態 app 的目錄結構。

FROM python:3.6

# 建立 app 目錄
WORKDIR /app

# 安裝 app 依賴
COPY static_app/requirements.txt ./

RUN pip install -r requirements.txt

# 打包 app 原始碼
COPY static_app /app

EXPOSE 8080
CMD ["python","server.py"]
複製程式碼

In your server.py,

if __name__ == '__main__':
    app.run(host='0.0.0.0')
複製程式碼

請注意，host 需要設定為 0.0.0.0 - 這樣可以讓你的服務在容器外被訪問。如果不設定此引數，host 會預設設為 localhost。

5. 生產環境中的直接構建

FROM python:3.6

# 建立 app 目錄
WORKDIR /app

# 安裝 app 依賴
COPY gunicorn_app/requirements.txt ./

RUN pip install -r requirements.txt

# 打包 app 原始碼
COPY . /app

EXPOSE 8080
CMD ["gunicorn", "--config", "./gunicorn_app/conf/gunicorn_config.py", "gunicorn_app:app"]
複製程式碼

構建並執行這個一體化映象：

$ cd python-docker
$ docker build -t python-docker-prod .
$ docker run --rm -it -p 8080:8080 python-docker-prod
複製程式碼

由於底層為 Debian，構建完成後映象約為 700MB（具體數值取決於你的原始碼）。下面探討如何減小這個檔案的大小。

6. 生產環境中的多級構建

使用多級構建時，將在 Dockerfile 中使用多個 FROM 語句，但最後僅會使用最終階段構建的檔案。這樣，得到的映象將僅包含生產伺服器中所需的依賴，理想情況下檔案將非常小。

當你需要使用依賴於系統的模組或需要編譯的模組時，這種構建模式十分有用。比如 pycrypto 和 numpy 就很適合這種方法。

# ---- 基礎 python 映象 ----
FROM python:3.6 AS base
# 建立 app 目錄
WORKDIR /app

# ---- 依賴 ----
FROM base AS dependencies  
COPY gunicorn_app/requirements.txt ./
# 安裝 app 依賴
RUN pip install -r requirements.txt

# ---- 複製檔案並 build ----
FROM dependencies AS build  
WORKDIR /app
COPY . /app
# 在需要時進行 Build 或 Compile

# --- 使用 Alpine 釋出 ----
FROM python:3.6-alpine3.7 AS release  
# 建立 app 目錄
WORKDIR /app

COPY --from=dependencies /app/requirements.txt ./
COPY --from=dependencies /root/.cache /root/.cache

# 安裝 app 依賴
RUN pip install -r requirements.txt
COPY --from=build /app/ ./
CMD ["gunicorn", "--config", "./gunicorn_app/conf/gunicorn_config.py", "gunicorn_app:app"]
複製程式碼

使用上面的方法，用 Alpine 構建的映象檔案大小約 90MB，比之前少了 8 倍。使用 alpine 版本進行構建能有效減小映象的大小。

注意： 上面的 Dockerfiles 是為 python 3 編寫的，你可以只做少數修改就能將其改為 python 2 版本。如果你要部署的是 django 應用，也應該能通過少數改動就做出可部署於生產環境的 Dockerfiles。

如果你對前面的方法有任何建議，或希望看到別的用例，請告知作者。

歡迎加入 Reddit 或 HackerNews 參與討論 :)

此外，你是否試過將 python web app 部署在 Hasura 上呢？這其實是將 python 應用部署於 HTTPS 域名的最快的方法（僅需使用 git push）。嘗試使用 hasura.io/hub/project… 的模板快速入門吧！Hasura 中所有的專案模板都帶有 Dockerfile 與 Kubernetes 標準檔案，你可以自由進行定義。

掘金翻譯計劃 是一個翻譯優質網際網路技術文章的社群，文章來源為 掘金 上的英文分享文章。內容覆蓋 Android、iOS、前端、後端、區塊鏈、產品、設計、人工智慧等領域，想要檢視更多優質譯文請持續關注 掘金翻譯計劃、官方微博、知乎專欄。

相關文章