VPGAME 的 Kubernetes 遷移實踐

導讀：VPGAME 是集賽事運營、媒體資訊、大資料分析、玩家社群、遊戲周邊等為一體的綜合電競服務平臺。總部位於中國杭州，在上海和美國西雅圖分別設立了電競大資料研發中心和 AI 研發中心。本文將講述 VPGAME 將伺服器遷移至 Kubernetes 的過程。

背景

CI/CD 工具的選擇

服務執行環境

容器環境優點

Kubernetes 平臺功能

• 快速、可預測地部署服務
• 擁有即時擴充套件服務的能力
• 滾動升級，完成新功能釋出
• 優化硬體資源，降低成本

阿里雲容器服務優勢

GitLab Runner 部署

GitLab CI 工作流程

GitLab CI 基本概念

• Pipeline：Gitlab CI 裡的流水線，每一次程式碼的提交觸發 GitLab CI 都會產生一個 Pipeline；
• Stage：每個 Pipeline 由多個 Stage 組成，並且每個 Stage 是有先後順序的；
• Job：GitLab CI 裡的最小任務單元，負責完成具有一件事情，例如編譯、測試、構建映象等。每個 Job 都需要指定 Stage ，所以 Job 的執行順序可以通過制定不同的 Stage 來實現；
• GitLab Runner：是具體執行 Job 的環境，每個 Runner 在同一時間只能執行一個 Job；
• Executor：每個 Runner 在向 GitLab 註冊的時候需要指定 Executor，來決定通過何種型別的執行器來完成 Job。

GitLab CI 的工作流程

GitLab Runner 介紹

Gitlab Runner 分類

• shared：所有專案使用
• group：group下專案使用
• specific：指定專案使用

Gitlab Runner 工作過程

GitLab Runner 的 Executor

GitLab Runner 安裝與配置

Docker 安裝

yum install -y yum-utils device-mapper-persistent-data lvm2

yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

yum install docker-ce -y

systemctl start docker
systemctl enable docker

Gitlab runner 安裝與啟動

curl -L https://packages.gitlab.com/install/repositories/runner/gitlab-runner/script.rpm.sh | sudo bash
sudo yum install gitlab-runner -y
gitlab-runner start

GitLab Runner 註冊與配置更新

gitlab-runner register  --non-interactive  \
--url "http://git.xxxx.cn"  \
--registration-token  "xxxxxxxxxxx"  \
--executor "docker"  \
--docker-image alpine:latest  \
--description "base-runner-docker"  \
--tag-list "base-runner"  \
--run-untagged="true"   \
--docker-privileged="true"  \
--docker-pull-policy "if-not-present" \
--docker-volumes /etc/docker/daemon.json:/etc/docker/daemon.json \
--docker-volumes /etc/gitlab-runner/key/docker-config.json:/root/.docker/config.json \
--docker-volumes /etc/gitlab-runner/find_diff_files:/usr/bin/find_diff_files  \
--docker-volumes /etc/gitlab-runner/key/id_rsa:/root/.ssh/id_rsa \
--docker-volumes /etc/gitlab-runner/key/test-kube-config:/root/.kube/config

{ "insecure-registries" : ["http://docker.vpgame.cn"] }

gitlab-runner restart

Docker 基礎映象製作

• 按照一定規則自動構建映象，可以快速便捷地新建和更新映象
• 根據規則可以找到映象對應的 Dockerfile，明確映象的具體組成
• 團隊成員可以通過提交 Merge Request 自由地構建自己需要的映象

映象分類

• 執行時基礎映象：提供各個語言執行時必須的工具和相應的 package。
• CI 映象：基於執行時基礎映象，新增單元測試、lint、靜態分析等功能，用在 CI/CD 流程中的 test 環節。
• 打包上線映象：用在 CI/CD 流程中的 build 和 deploy 環節。

Dockerfile 目錄結構

php/
├── 1.0
│   ├── Dockerfile
│   ├── ci-1.0
│   │   └── Dockerfile
│   ├── php.ini
│   ├── read-zk-config
│   ├── start_service.sh
│   └── www.conf
└── nginx
    ├── Dockerfile
    ├── api.vpgame.com.conf
    └── nginx.conf

FROM php:7.1.16-fpm-alpine3.4
RUN sed -i 's/dl-cdn.alpinelinux.org/mirrors.aliyun.com/g' /etc/apk/repositories\
    && apk upgrade --update && apk add --no-cache --virtual build-dependencies $PHPIZE_DEPS \
    tzdata postgresql-dev libxml2-dev libmcrypt libmcrypt-dev libmemcached-dev cyrus-sasl-dev autoconf  \
    && apk add --no-cache freetype libpng libjpeg-turbo freetype-dev libpng-dev libjpeg-turbo-dev libmemcached-dev \
    && cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime \
    && echo "Asia/Shanghai" > /etc/timezone \
    && docker-php-ext-configure gd \
        --with-gd \
        --with-freetype-dir=/usr/include/ \
        --with-png-dir=/usr/include/ \
        --with-jpeg-dir=/usr/include/ \
    && docker-php-ext-install gd pdo pdo_mysql bcmath opcache \
    && pecl install memcached apcu redis \
    && docker-php-ext-enable memcached apcu redis \
    && apk del build-dependencies \
    && apk del tzdata \
    && rm -rf /var/cache/apk/* \
    && rm -rf /tmp/*  \
    && rm -rf /working/* \
    && rm -rf /usr/local/etc/php-fpm.d/*
    
COPY start_service.sh /usr/local/bin/start_service.sh
COPY read-zk-config /usr/local/bin/read-zk-config
COPY php.ini /usr/local/etc/php/php.ini
COPY www.conf /usr/local/etc/php-fpm.d/www.conf
WORKDIR /work
CMD ["start_service.sh"]

FROM docker.vpgame.cn/infra/php-1.0
ENV PATH="/root/.composer/vendor/bin:${PATH}"
ENV COMPOSER_ALLOW_SUPERUSER=1
RUN mkdir -p /etc/ssh && echo "StrictHostKeyChecking no" >> /etc/ssh/ssh_config
RUN apk --update add --no-cache make libc-dev autoconf gcc openssh-client git bash  &&\
    echo "apc.enable_cli=1" >> /usr/local/etc/php/conf.d/docker-php-ext-apcu.ini
RUN pecl install xdebug && docker-php-ext-enable xdebug &&\
    echo -e "\nzend_extension=xdebug.so" >> /usr/local/etc/php/php.ini
RUN wget https://vp-infra.oss-cn-beijing.aliyuncs.com/gitlab-ci/software/download/1.6.5/composer.phar -O /bin/composer && \
    chmod +x /bin/composer && \
    composer config -g -q repo.packagist composer https://packagist.laravel-china.org
RUN composer global require -q phpunit/phpunit:~5.0 squizlabs/php_codesniffer:~3.0
WORKDIR /
CMD ["/bin/bash"]

映象自動構建基本原理

for FILE in `bash ./find_diff_files|grep Dockerfile|sort`;
   do
     DIR=`dirname "$FILE"`;
     IMAGE_NAME=`echo $DIR | sed -e 's/\//-/g'`;
     echo $CI_REGISTRY/$HARBOR_DIR/$IMAGE_NAME;
     docker build -t $CI_REGISTRY/$HARBOR_DIR/$IMAGE_NAME -f $FILE $DIR;
     docker push $CI_REGISTRY/$HARBOR_DIR/$IMAGE_NAME;
   done

加速 tips

• Alpine Linux Package Management（APK）映象地址： http://mirrors.aliyun.com；
• 一些海外軟體下載會比較慢，可以先下載下來上傳至阿里雲 OSS 後下載。Dockerfile 使用阿里雲 OSS 作為下載源，減少構建映象時間。

基於 .gitlab-ci.yml 的 CI/CD 流程

定義 stages

stages:
  - build
  - test
  - deploy

1. 首先，所有 build 裡的 Job 會並行執行；
2. 當 build 裡所有 Job 執行成功， test 裡所有 Job 會並行執行；
3. 如果 test 裡所有 Job 執行成功， deploy 裡所有 Job 會並行執行；
4. 如果 deploy 裡所有 Job 執行成功， 當前 Pipeline 會被標記為 passed；
5. 當某個 stage 的 Job 執行失敗， Pipeline 會標記為為 failed，其後續stage 的 Job 都不會被執行。

Job 的描述

unittest:
  stage: test
  image: docker.vpgame.cn/infra/php-1.0-ci-1.1
  services:
  - name: docker.vpgame.cn/infra/mysql-5.6-multi
    alias: mysql
  - name: redis:4.0
    alias: redis_default
  script:
  - mv .env.tp .env
  - composer install --no-dev
  - phpunit -v --coverage-text --colors=never --coverage-html=coverage --stderr
  artifacts:
    when: on_success
    paths:
    - vendor/
    - coverage/
    expire_in: 1 hour
  coverage: '/^\s*Lines:\s*\d+.\d+\%/'
  only:
  - branches
  - tags
  tags:
  - base-runner

• stage，定義了 Job 所處的 stage，值為定義在全域性中 stages 裡的值；
• image，指定了 Runner 執行所需要的映象，這個映象是我們之前製作的基本映象。通過該映象執行的 Docker 即是 Job 執行的環境；
• services，Runner 所執行的 Docker 所需要的連線依賴，在這邊分別定義了 MySQL 和 Redis，在 Job 執行時會去連線這兩個映象生成的 Docker；
• script，Job 執行的具體的命令 ，通過 Shell 來描述。此 Job 中的 script 主要完成了程式碼的編譯和單元測試；
• artifacts，主要是將此 Job 中完成的結果打包儲存下來，可以通過 when 指定何時儲存，path 定義了儲存的檔案路徑， expire_in 指定了結果儲存的有效期。與之對應的是 dependencies 引數，如果其他 Job 需要此 Job 的 artifacts ，只需要在 Job 按照如下定義即可；

dependencies:
  - unittest

• only 關鍵字指定了 Job 觸發的時機，該例子中說明只有分支合併或者打 tag 的情況下，該 Job 才會被觸發；
• 與 only 相對還有 except 關鍵字來排除觸發 Job 某些情況。此外 only 還支援正規表示式，比如；

job:
  only:
    - /^issue-.*$/
  except:
    - branches

• tags，tags關鍵字主要是用來指定執行的 Runner 型別。在我們實際運用中，部署測試環境和生產環境所採用的 Runner 是不一樣的，它們是通過不同的 tag 去標識區分。

CI/CD 流程編排

# Build stage
.build-op:
  stage: build
  dependencies:
  - unittest
  image: docker.vpgame.cn/infra/docker-kubectl-1.0
  services:
  - name: docker:dind
    entrypoint: ["dockerd-entrypoint.sh"]
  script:
  - echo "Image name:" ${DOCKER_IMAGE_NAME}
  - docker build -t ${DOCKER_IMAGE_NAME} .
  - docker push ${DOCKER_IMAGE_NAME}
  tags:
  - base-runner
  
build-test:
 extends: .build-op
 variables:
   DOCKER_IMAGE_NAME:  ${DOCKER_REGISTRY_PREFIX}/${CI_PROJECT_PATH}:${CI_COMMIT_REF_SLUG}-${CI_COMMIT_SHORT_SHA}
 only:
 - /^testing/
 - master
 
build-prod:
 extends: .build-op
 variables:
   DOCKER_IMAGE_NAME:  ${DOCKER_REGISTRY_PREFIX}/${CI_PROJECT_PATH}:${CI_COMMIT_TAG}
 only:
 - tags

# Deploy stage
.deploy-op:
  stage: deploy
  image: docker.vpgame.cn/infra/docker-kubectl-1.0
  script:
  - echo "Image name:" ${DOCKER_IMAGE_NAME}
  - echo ${APP_NAME}
  - sed -i "s~__NAMESPACE__~${NAMESPACE}~g" deployment.yml service.yml
  - sed -i "s~__APP_NAME__~${APP_NAME}~g" deployment.yml service.yml
  - sed -i "s~__PROJECT_NAME__~${CI_PROJECT_NAME}~g" deployment.yml
  - sed -i "s~__PROJECT_NAMESPACE__~${CI_PROJECT_NAMESPACE}~g" deployment.yml
  - sed -i "s~__GROUP_NAME__~${GROUP_NAME}~g" deployment.yml
  - sed -i "s~__VERSION__~${VERSION}~g" deployment.yml
  - sed -i "s~__REPLICAS__~${REPLICAS}~g" deployment.yml
  - kubectl apply -f deployment.yml
  - kubectl apply -f service.yml
  - kubectl rollout status -f deployment.yml
  - kubectl get all,ing -l app=${APP_NAME} -n $NAMESPACE
  
# Deploy test environment
deploy-test:
  variables:
    REPLICAS: 2
    VERSION: ${CI_COMMIT_REF_SLUG}-${CI_COMMIT_SHORT_SHA}
  extends: .deploy-op
  environment:
    name: test
    url: http://example.com
  only:
  - /^testing/
  - master
  tags:
  - base-runner
  
# Deploy prod environment
deploy-prod:
  variables:
    REPLICAS: 3
    VERSION: ${CI_COMMIT_TAG}
  extends: .deploy-op
  environment:
    name: prod
    url: http://example.com
  only:
  - tags
  tags:
  - pro-deploy

Deployment 與 Service 配置

Kubernetes 基本資源物件概覽

Pod

ReplicaSet

Deployment

• 定義 Deployment 來建立 Pod 和 ReplicaSet
• 滾動升級和回滾應用
• 擴容和縮容
• 暫停和繼續 Deployment

Service

deployment.yml 配置

1. apiVersion 為當前配置格式的版本；
2. kind 指定了資源型別，這邊當然是 Deployment；
3. metadata 是該資源的後設資料，其中 name 是必需的資料項，還可以指定 label 給資源加上標籤；
4. spec 部分是該 Deployment 的規格說明；
5. spec.replicas 指定了 Pod 的副本數量；
6. spec.template 定義 Pod 的基本資訊，通過 spec.template.metadata 和 spec.template.spec 指定；
7. spec.template.metadata 定義 Pod 的後設資料。至少需要定義一個 label 用於 Service 識別轉發的 Pod， label 是通過 key-value 形式指定的；
8. spec.template.spec 描述 Pod 的規格，此部分定義 Pod 中每一個容器的屬性，name 和 image 是必需項。

檔案模板化

apiVersion: apps/v1beta2
kind: Deployment
metadata:
  labels:
    app: __APP_NAME__
    group: __GROUP_NAME__
  name: __APP_NAME__
  namespace: __NAMESPACE__

服務名稱

• Kubernetes 中執行的 Service 以及 Deployment 名稱由 GitLab 中的 groupname 和 projectname 組成，即 {{groupname}}-{{projectname}}，例：microservice-common； 此名稱記為 app_name，作為每個服務在 Kubernetes 中的唯一標識。這些變數可以通過 GitLab-CI 的內建變數中進行獲取，無需對每個 project 進行特殊的配置。
• Lables 中用於識別服務的標籤與 Deployment 名稱保持一致，統一設定為 app:{{app_name}}。

資源分配

...
  spec:
    ...
    template:
      ...
      spec:
        ...
        affinity:
          nodeAffinity:
            requiredDuringSchedulingIgnoredDuringExecution:
              nodeSelectorTerms:
              - matchExpressions:
                - key: group
                  operator: In
                  values:
                  - __GROUP_NAME__
     ...

健康檢查（Liveness/Readiness）配置

...
spec:
  ...
  template:
    ...
    spec:
      ...
      containers:
      - name: fpm
        livenessProbe:
          httpGet:
            path: /__PROJECT_NAME__
            port: 80
          initialDelaySeconds: 3
          periodSeconds: 5
        readinessProbe:
          httpGet:
            path: /__PROJECT_NAME__
            port: 80
          initialDelaySeconds: 3
          periodSeconds: 5
        ...
   ...

升級策略配置

...
spec:
  ...
  strategy:
    rollingUpdate:
      maxSurge: 25%
      maxUnavailable: 25%
    type: RollingUpdate
...

日誌配置

...
spec:
  ...
  template:
    ...
    spec:
      ...
      containers:
      - name: fpm
        env:
        - name: aliyun_logs_vpgame
          value: stdout
        - name: aliyun_logs_vpgame_tags
          value: topic=__APP_NAME__
        ...
   ...

監控配置

...
spec:
 ...
 template:
    metadata:
      annotations:
        prometheus.io/scrape: "true"
        prometheus.io/port: "80"        
        prometheus.io/path: /{{ project_name }}/metrics
  ...

service.yml 配置

apiVersion: v1
kind: Service
metadata:
  annotations:
    service.beta.kubernetes.io/alicloud-loadbalancer-address-type: intranet
  labels:
    app: __APP_NAME__
  name: __APP_NAME__
  namespace: __NAMESPACE__
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: __APP_NAME__
  type: LoadBalancer

總結

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/69947441/viewspace-2662094/，如需轉載，請註明出處，否則將追究法律責任。