使用 GitHub 和 Python 實現持續部署

pythontab發表於2018-04-16

藉助 GitHub 的網路鉤子webhook,開發者可以建立很多有用的服務。從觸發一個 Jenkins 例項上的 CI(持續整合) 任務到配置雲中的機器,幾乎有著無限的可能性。這篇教程將展示如何使用 Python 和 Flask 框架來搭建一個簡單的持續部署(CD)服務。


在這個例子中的持續部署服務是一個簡單的 Flask 應用,其帶有接受 GitHub 的網路鉤子webhook請求的 REST 端點endpoint。在驗證每個請求都來自正確的 GitHub 倉庫後,伺服器將拉取pull更改到倉庫的本地副本。這樣每次一個新的提交commit推送到遠端 GitHub 倉庫,本地倉庫就會自動更新。


Flask web 服務

用 Flask 搭建一個小的 web 服務非常簡單。這裡可以先看看專案的結構。

├── app
│   ├── __init__.py
│   └── webhooks.py
├── requirements.txt
└── wsgi.py

首先,建立應用。應用程式碼在 app 目錄下。

兩個檔案(__init__.py 和 webhooks.py)構成了 Flask 應用。前者包含有建立 Flask 應用併為其新增配置的程式碼。後者有端點endpoint邏輯。這是該應用接收 GitHub 請求資料的地方。

這裡是 app/__init__.py 的內容:

import os
from flask import Flask
from .webhooks import webhook
def create_app():
 """ Create, configure and return the Flask application """
  app = Flask(__name__)
  app.config['GITHUB_SECRET'] = os.environ.get('GITHUB_SECRET')
  app.config['REPO_PATH'] = os.environ.get('REPO_PATH')
  app.register_blueprint(webhook)
  return(app)

該函式建立了兩個配置變數:

GITHUB_SECRET 儲存一個密碼,用來認證 GitHub 請求。

REPO_PATH 儲存了自動更新的倉庫路徑。

這份程式碼使用Flask 藍圖Flask Blueprints來組織應用的端點endpoint。使用藍圖可以對 API 進行邏輯分組,使應用程式更易於維護。通常認為這是一種好的做法。

這裡是 app/webhooks.py 的內容:

import hmac
from flask import request, Blueprint, jsonify, current_app 
from git import Repo
webhook = Blueprint('webhook', __name__, url_prefix='')
@webhook.route('/github', methods=['POST']) 
def handle_github_hook(): 
 """ Entry point for github webhook """
  signature = request.headers.get('X-Hub-Signature') 
  sha, signature = signature.split('=')
  secret = str.encode(current_app.config.get('GITHUB_SECRET'))
  hashhex = hmac.new(secret, request.data, digestmod='sha1').hexdigest()
  if hmac.compare_digest(hashhex, signature): 
    repo = Repo(current_app.config.get('REPO_PATH')) 
    origin = repo.remotes.origin 
    origin.pull('--rebase')
    commit = request.json['after'][0:6]
    print('Repository updated with commit {}'.format(commit))
  return jsonify({}), 200

首先程式碼建立了一個新的藍圖 webhook。然後它使用 Flask route 為藍圖新增了一個端點。任何請求 /GitHub URL 端點的 POST 請求都將呼叫這個路由。


驗證請求

當服務在該端點上接到請求時,首先它必須驗證該請求是否來自 GitHub 以及來自正確的倉庫。GitHub 在請求頭的 X-Hub-Signature 中提供了一個簽名。該簽名由一個密碼(GITHUB_SECRET),請求體的 HMAC 十六進位制摘要,並使用 sha1 雜湊生成。

為了驗證請求,服務需要在本地計算簽名並與請求頭中收到的簽名做比較。這可以由 hmac.compare_digest 函式完成。


自定義鉤子邏輯

在驗證請求後,現在就可以處理了。這篇教程使用 GitPython 模組來與 git 倉庫進行互動。GitPython 模組中的 Repo 物件用於訪問遠端倉庫 origin。該服務在本地拉取 origin 倉庫的最新更改,還用 --rebase 選項來避免合併的問題。

除錯列印語句顯示了從請求體收到的短提交雜湊。這個例子展示瞭如何使用請求體。更多關於請求體的可用資料的資訊,請查詢 GitHub 文件。

最後該服務返回了一個空的 JSON 字串和 200 的狀態碼。這用於告訴 GitHub 的網路鉤子服務已經收到了請求。


部署服務

為了執行該服務,這個例子使用 gunicorn web 伺服器。首先安裝服務依賴。在支援的 Fedora 伺服器上,以 sudo 執行這條命令:

sudo dnf install python3-gunicorn python3-flask python3-GitPython

現在編輯 gunicorn 使用的 wsgi.py 檔案來執行該服務:

from app import create_app
application = create_app()

為了部署服務,使用以下命令克隆這個 git 倉庫或者使用你自己的 git 倉庫:

git clone https://github.com/cverna/github_hook_deployment.git /opt/

下一步是配置服務所需的環境變數。執行這些命令:

export GITHUB_SECRET=asecretpassphraseusebygithubwebhook
export REPO_PATH=/opt/github_hook_deployment/

這篇教程使用網路鉤子服務的 GitHub 倉庫,但你可以使用你想要的不同倉庫。最後,使用這些命令開啟該 web 服務:

cd /opt/github_hook_deployment/
gunicorn --bind 0.0.0.0 wsgi:application --reload

這些選項中繫結了 web 服務的 IP 地址為 0.0.0.0,意味著它將接收來自任何的主機的請求。選項 --reload 確保了當程式碼更改時重啟 web 服務。這就是持續部署的魔力所在。每次接收到 GitHub 請求時將拉取倉庫的最近更新,同時 gunicore 檢測這些更改並且自動重啟服務。

*注意: *為了能接收到 GitHub 請求,web 服務必須部署到具有公有 IP 地址的伺服器上。做到這點的簡單方法就是使用你最喜歡的雲提供商比如 DigitalOcean,AWS,Linode等。


配置 GitHub

這篇教程的最後一部分是配置 GitHub 來傳送網路鉤子請求到 web 服務上。這是持續部署的關鍵。

從你的 GitHub 倉庫的設定中,選擇 Webhook 選單,並且點選“Add Webhook”。輸入以下資訊:

“Payload URL”: 服務的 URL,比如<http://public_ip_address:8000/github>

“Content type”: 選擇 “application/json”

“Secret”: 前面定義的 GITHUB_SECRET 環境變數

然後點選“Add Webhook” 按鈕。

使用 GitHub 和 Python 實現持續部署

現在每當該倉庫發生推送事件時,GitHub 將向服務傳送請求。

相關文章