docker-compose 部署 Apollo 自定義環境

往事隨灬鋒發表於2021-06-24

Docker

Apollo 配置中心是什麼：

Apollo是攜程框架部門研發的開源配置管理中心，能夠集中化管理應用不同環境、不同叢集的配置，配置修改後能夠實時推送到應用端，並且具備規範的許可權、流程治理等特性。

Apollo的特性

統一管理不同環境、不同叢集的配置
- Apollo提供了一個統一介面集中式管理不同環境（environment）、不同叢集（cluster）、不同名稱空間（namespace）的配置。
- 同一份程式碼部署在不同的叢集，可以有不同的配置，比如zookeeper的地址等
- 通過名稱空間（namespace）可以很方便地支援多個不同應用共享同一份配置，同時還允許應用對共享的配置進行覆蓋
配置修改實時生效（熱釋出）
- 使用者在Apollo修改完配置併發布後，客戶端能實時（1秒）接收到最新的配置，並通知到應用程式
版本釋出管理
- 所有的配置釋出都有版本概念，從而可以方便地支援配置的回滾
灰度釋出
- 支援配置的灰度釋出，比如點了釋出後，只對部分應用例項生效，等觀察一段時間沒問題後再推給所有應用例項
許可權管理、釋出稽核、操作審計
- 應用和配置的管理都有完善的許可權管理機制，對配置的管理還分為了編輯和釋出兩個環節，從而減少人為的錯誤。
- 所有的操作都有審計日誌，可以方便地追蹤問題
客戶端配置資訊監控
- 可以在介面上方便地看到配置在被哪些例項使用
提供Java和.Net原生客戶端
- .Net的原生客戶端，方便應用整合
- 同時提供了Http介面，非Java和.Net應用也可以方便地使用
提供開放平臺API
- Apollo自身提供了比較完善的統一配置管理介面，支援多環境、多資料中心配置管理、許可權、流程治理等特性。不過Apollo出於通用性考慮，不會對配置的修改做過多限制，只要符合基本的格式就能儲存，不會針對不同的配置值進行鍼對性的校驗，如資料庫使用者名稱、密碼，Redis服務地址等
- 對於這類應用配置，Apollo支援應用方通過開放平臺API在Apollo進行配置的修改和釋出，並且具備完善的授權和許可權控制
部署簡單
- 配置中心作為基礎服務，可用性要求非常高，這就要求Apollo對外部依賴儘可能地少
- 目前唯一的外部依賴是MySQL，所以部署非常簡單，只要安裝好Java和MySQL就可以讓Apollo跑起來
- Apollo還提供了打包指令碼，一鍵就可以生成所有需要的安裝包，並且支援自定義執行時引數

客戶端架構

架構和模組

一：Config Service提供配置的讀取、推送等功能，服務物件是Apollo客戶端

提供配置獲取介面
提供配置更新推送介面（基於Http long polling）
- 服務端使用Spring DeferredResult實現非同步化，從而大大增加長連線數量
- 目前使用的tomcat embed預設配置是最多10000個連線（可以調整），使用了4C8G的虛擬機器實測可以支撐10000個連線，所以滿足需求（一個應用例項只會發起一個長連線）。
介面服務物件為Apollo客戶端

二：Admin Service提供配置的修改、釋出等功能，服務物件是Apollo Portal（管理介面）

提供配置管理介面
提供配置修改、釋出等介面
介面服務物件為Portal

三: Meta Server 在Eureka之上我們架了一層Meta Server用於封裝Eureka的服務發現介面

Portal通過域名訪問Meta Server獲取Admin Service服務列表（IP+Port）
Client通過域名訪問Meta Server獲取Config Service服務列表（IP+Port）
Meta Server從Eureka獲取Config Service和Admin Service的服務資訊，相當於是一個Eureka Client
增設一個Meta Server的角色主要是為了封裝服務發現的細節，對Portal和Client而言，永遠通過一個Http介面獲取Admin Service和Config Service的服務資訊，而不需要關心背後實際的服務註冊和發現元件
Meta Server只是一個邏輯角色，在部署時和Config Service是在一個JVM程式中的，所以IP、埠和Config Service一致

四：Eureka java的一個服務發現的元件

基於Eureka和Spring Cloud Netflix提供服務註冊和發現
Config Service和Admin Service會向Eureka註冊服務，並保持心跳
為了簡單起見，目前Eureka在部署時和Config Service是在一個JVM程式中的（通過Spring Cloud Netflix）

五: Portal

提供Web介面供使用者管理配置
通過Meta Server獲取Admin Service服務列表（IP+Port），通過IP+Port訪問服務
在Portal側做load balance、錯誤重試

六:Client 客戶端

Apollo提供的客戶端程式，為應用提供配置獲取、實時更新等功能
通過Meta Server獲取Config Service服務列表（IP+Port），通過IP+Port訪問服務
在Client側做load balance、錯誤重試

部署

目前我們開發有多個開發的環境：dev ，devmt，uat ，等環境，阿波羅可以多環境部署，需要明確環境來部署
apollo 多環境部署，Config Service，Admin Service 需要根據環境各自部署一份，Portal 可以只部署一份，管理所有的環境
GitHub下載： https://github.com/ctripcorp/apollo 原始碼

自定義環境變數原始碼修改 ,建議檢視原始碼的 github 文件檔案中有程式碼的具體路徑

Env com.ctrip.framework.apollo.core.enums 新增 DEVMT

public enum Env{
  LOCAL, DEV, FWS, FAT, UAT, LPT, PRO, TOOLS, UNKNOWN, DEVMT;

  public static Env fromString(String env) {
    Env environment = EnvUtils.transformEnv(env);
    Preconditions.checkArgument(environment != UNKNOWN, String.format("Env %s is invalid", env));
    return environment;
  }
}

EnvUtils com.ctrip.framework.apollo.core.enums 新增 DEVMT

public final class EnvUtils {
  
  public static Env transformEnv(String envName) {
    if (StringUtils.isBlank(envName)) {
      return Env.UNKNOWN;
    }
    switch (envName.trim().toUpperCase()) {
      case "LPT":
        return Env.LPT;
      case "FAT":
      case "FWS":
        return Env.FAT;
      case "UAT":
        return Env.UAT;
      case "PRO":
      case "PROD": //just in case
        return Env.PRO;
      case "DEV":
        return Env.DEV;
      case "LOCAL":
        return Env.LOCAL;
      case "TOOLS":
        return Env.TOOLS;
      case "DEVMT":
        return Env.DEVMT;
      default:
        return Env.UNKNOWN;
    }
  }
}

LegacyMetaServerProvider com.ctrip.framework.apollo.core.internals 新增 DEVMT

private void initialize() {
    Properties prop = new Properties();
    prop = ResourceUtils.readConfigFile("apollo-env.properties", prop);

    domains.put(Env.LOCAL, getMetaServerAddress(prop, "local_meta", "local.meta"));
    domains.put(Env.DEV, getMetaServerAddress(prop, "dev_meta", "dev.meta"));
    domains.put(Env.FAT, getMetaServerAddress(prop, "fat_meta", "fat.meta"));
    domains.put(Env.UAT, getMetaServerAddress(prop, "uat_meta", "uat.meta"));
    domains.put(Env.LPT, getMetaServerAddress(prop, "lpt_meta", "lpt.meta"));
    domains.put(Env.PRO, getMetaServerAddress(prop, "pro_meta", "pro.meta"));
    domains.put(Env.SIT, getMetaServerAddress(prop, "devmt_meta", "devmt.meta"));
  }

檢查，安裝 JAVA JDK 和 Maven ,進入原始碼資料夾 Scripts 下執行 Build 檔案，編譯打包apollo
複製 apollo-configservice/target ，apollo-adminservice/target ，apollo-portal/target ,檔案下面的zip 檔案和Dockerfile 到指定的資料夾，如下圖
修改 configservice，adminservice，portal ，Dockerfile 檔案中的版本號和zip檔案的版本號一致

在原始碼的Scripts 資料夾下面找到sql的部署指令碼，在Mysql中執行，

修改 apolloconfigdb，eureka.service.url 的地址為，Configservice 部署的地址例如，http://192.168.xx.xxx:8081/eureka/，
修改portal 的 apollo.portal.envs 為：多環境部署的環境變數，例如 dev,devmt
修改portal 的apollo.portal.meta.servers 為：部署的Configservice 部署的地址，例如
```
{
    "DEV":"http://192.168.xx.xxx:8081",
    "DEVMT":"http://192.168.xx.xxx:8082"
}
```

編寫docker-compose.yml

version: "3"
services:
  apollo-configservice:
    container_name: apollo-configservice
    build: apollo-configservice/ 
    image: apollo-configservice
    ports:
      - 8081:8080
    volumes:
      - /root/apollo/apollocompose/logs:/opt/logs
    environment:
      - SPRING_DATASOURCE_URL= jdbc:mysql://192.168.xx.xxx:3306/apolloconfigdbdev?characterEncoding=utf8&serverTimezone=Asia/Shanghai
      - SPRING_DATASOURCE_USERNAME= xxxxxx
      - SPRING_DATASOURCE_PASSWORD= xxxxxx

  apollo-adminservice:
    container_name: apollo-adminservice
    build: apollo-adminservice/ 
    image: apollo-adminservice
    ports:
      - 8091:8090
    volumes:
      - /root/apollo/apollocompose/logs:/opt/logs
    environment:
      - SPRING_DATASOURCE_URL= jdbc:mysql://192.168.xx.xxx:3306/apolloconfigdbdev?characterEncoding=utf8&serverTimezone=Asia/Shanghai
      - SPRING_DATASOURCE_USERNAME= xxxxxx
      - SPRING_DATASOURCE_PASSWORD= xxxxxx
  
  apollo-configservice-uat:
    container_name: apollo-configservice-uat
    build: apollo-configservice/ 
    image: apollo-configservice
    ports:
      - 8082:8080
    volumes:
      - /root/apollo/apollocompose/logs:/opt/logs
    environment:
      - SPRING_DATASOURCE_URL= jdbc:mysql://192.168.xx.xxx:3306/apolloconfigdbuat?characterEncoding=utf8&serverTimezone=Asia/Shanghai
      - SPRING_DATASOURCE_USERNAME= xxxxxx
      - SPRING_DATASOURCE_PASSWORD= xxxxxx

  apollo-adminservice-uat:
    container_name: apollo-adminservice-uat
    build: apollo-adminservice/ 
    image: apollo-adminservice
    ports:
      - 8092:8090
    volumes:
      - /root/apollo/apollocompose/logs:/opt/logs
    environment:
      - SPRING_DATASOURCE_URL= jdbc:mysql://192.168.xx.xxx:3306/apolloconfigdbuat?characterEncoding=utf8&serverTimezone=Asia/Shanghai
      - SPRING_DATASOURCE_USERNAME= xxxxxx
      - SPRING_DATASOURCE_PASSWORD= xxxxxx
  
  apollo-portal:
    container_name: apollo-portal
    build: apollo-portal/
    image: apollo-portal
    restart: always
    depends_on:
      - apollo-adminservice
    environment:
      - SPRING_DATASOURCE_URL= jdbc:mysql://192.168.xx.xxx:3306/apolloportaldb?characterEncoding=utf8&serverTimezone=Asia/Shanghai
      - SPRING_DATASOURCE_USERNAME= xxxxxx
      - SPRING_DATASOURCE_PASSWORD= xxxxxx
    volumes:
      - /root/apollo/apollocompose/logs:/opt/logs
      - /root/apollo/apollocompose/apollo-env.properties:/apollo-portal/config/apollo-env.properties
    ports:
      - 8071:8070

修改本地 apollo-env.properties 環境變數配置為：與自定義配置或攜程定義的環境變數一致
```
dev.meta=http://localhost:8081
devmt.meta=http://localhost:8082
```
執行 docker-compose ，啟動有延遲，多等待一會兒

踩坑

自定義環境變數需要下載原始碼，編譯，sql指令碼和資料庫連線配置，一定要用官網最新的連線配置，不同版本，sql指令碼可能不一致
部署機器的執行記憶體要充足
部署啟動後，configservice，adminservice，portal ，Mata service ，Eureka 需要通訊，所以啟動後，有延遲，等一段時間在看是否部署成功
伺服器埠，防火牆需要開啟對應的埠，8080,8090,8071 和自己指定的埠

學習連結

楊波老師架構解析文章:https://blog.csdn.net/yang75108/article/details/86989524?spm=1001.2014.3001.5501
Apollo 設計文件:https://www.apolloconfig.com/#/zh/design/apollo-design?id=_135-portal
Apollo 搭建自定義環境：https://www.jianshu.com/p/f84da093944f

gym建立環境、自定義gym環境
2024-08-15
docker安裝多環境Apollo
2022-07-14
Docker
docker-compose搭建php環境
2022-03-24
DockerPHP
mac搭建docker、docker-compose環境
2018-05-19
MacDocker
聯調環境快速部署——基於docker-compose的CI/CD實踐
2018-08-19
Docker
強化學習實戰 | 自定義Gym環境
2021-12-05
強化學習
Mac 上的 Tomcat 配置及自定義 JRE 環境
2020-12-14
MacTomcat
使用 docker-compose 搭建 Laravel 環境 (三)
2019-03-04
DockerLaravel
自定義圓環
2021-09-09
Hive環境部署
2018-08-20
Hive
SharePlex 環境部署
2019-11-29
部署Java環境
2024-10-29
Java
DockerCompose部署環境
2024-10-14
Docker
Kibana環境部署
2022-02-05
linux web環境部署
2019-01-19
LinuxWeb
linux環境部署redis
2020-05-07
LinuxRedis
使用 setenv 配置檔案管理 Tomcat 的自定義環境變數
2024-08-30
Tomcat變數
強化學習實戰 | 自定義Gym環境之掃雷
2022-01-26
強化學習
apisix~自定義外掛的部署
2024-05-13
API
Docker部署Apollo配置中心
2018-12-28
Docker
nuxt3專案自定義環境變數，typescript全域性提示
2024-08-27
UX變數TypeScript
強化學習實戰 | 自定義Gym環境之井字棋
2021-12-06
強化學習
強化學習實戰 | 自定義gym環境之顯示字串
2022-01-08
強化學習字串
使用dockerfile 部署lnmpr環境
2019-02-16
DockerLNMP
LNMP環境一鍵部署
2019-01-24
LNMP
Flask環境github部署(十三)
2018-06-09
FlaskGithub
nginx 寶塔環境部署
2018-05-30
Nginx
Windows環境部署專案
2024-05-08
Windows
XXPAY環境部署筆記
2020-01-23
筆記
ClickHouse生產環境部署
2024-08-08
MySQL多例項環境部署
2018-04-22
MySql
Nginx部署前端環境（Mac）
2024-07-30
Nginx前端Mac
離線部署Python環境
2024-10-29
Python
Linux 環境Skywalking部署Elasticsearch
2022-03-27
LinuxElasticsearch
GitLab Runner部署(kubernetes環境)
2020-12-28
Gitlab
小米手環錶盤自定義
2021-05-20
docker-compose部署ELK
2024-05-03
Docker
第2講回顧：FATE的部署模型以及基於Docker-Compose快速部署聯邦學習開發實驗環境
2020-03-13
模型Docker聯邦學習