docker-compose 部署 Apollo 自定義環境

往事隨灬鋒發表於2021-06-24

Docker

Apollo 配置中心是什麼：

Apollo是攜程框架部門研發的開源配置管理中心，能夠集中化管理應用不同環境、不同叢集的配置，配置修改後能夠實時推送到應用端，並且具備規範的許可權、流程治理等特性。

Apollo的特性

統一管理不同環境、不同叢集的配置
- Apollo提供了一個統一介面集中式管理不同環境（environment）、不同叢集（cluster）、不同名稱空間（namespace）的配置。
- 同一份程式碼部署在不同的叢集，可以有不同的配置，比如zookeeper的地址等
- 通過名稱空間（namespace）可以很方便地支援多個不同應用共享同一份配置，同時還允許應用對共享的配置進行覆蓋
配置修改實時生效（熱釋出）
- 使用者在Apollo修改完配置併發布後，客戶端能實時（1秒）接收到最新的配置，並通知到應用程式
版本釋出管理
- 所有的配置釋出都有版本概念，從而可以方便地支援配置的回滾
灰度釋出
- 支援配置的灰度釋出，比如點了釋出後，只對部分應用例項生效，等觀察一段時間沒問題後再推給所有應用例項
許可權管理、釋出稽核、操作審計
- 應用和配置的管理都有完善的許可權管理機制，對配置的管理還分為了編輯和釋出兩個環節，從而減少人為的錯誤。
- 所有的操作都有審計日誌，可以方便地追蹤問題
客戶端配置資訊監控
- 可以在介面上方便地看到配置在被哪些例項使用
提供Java和.Net原生客戶端
- .Net的原生客戶端，方便應用整合
- 同時提供了Http介面，非Java和.Net應用也可以方便地使用
提供開放平臺API
- Apollo自身提供了比較完善的統一配置管理介面，支援多環境、多資料中心配置管理、許可權、流程治理等特性。不過Apollo出於通用性考慮，不會對配置的修改做過多限制，只要符合基本的格式就能儲存，不會針對不同的配置值進行鍼對性的校驗，如資料庫使用者名稱、密碼，Redis服務地址等
- 對於這類應用配置，Apollo支援應用方通過開放平臺API在Apollo進行配置的修改和釋出，並且具備完善的授權和許可權控制
部署簡單
- 配置中心作為基礎服務，可用性要求非常高，這就要求Apollo對外部依賴儘可能地少
- 目前唯一的外部依賴是MySQL，所以部署非常簡單，只要安裝好Java和MySQL就可以讓Apollo跑起來
- Apollo還提供了打包指令碼，一鍵就可以生成所有需要的安裝包，並且支援自定義執行時引數

客戶端架構

架構和模組

一：Config Service提供配置的讀取、推送等功能，服務物件是Apollo客戶端

提供配置獲取介面
提供配置更新推送介面（基於Http long polling）
- 服務端使用Spring DeferredResult實現非同步化，從而大大增加長連線數量
- 目前使用的tomcat embed預設配置是最多10000個連線（可以調整），使用了4C8G的虛擬機器實測可以支撐10000個連線，所以滿足需求（一個應用例項只會發起一個長連線）。
介面服務物件為Apollo客戶端

二：Admin Service提供配置的修改、釋出等功能，服務物件是Apollo Portal（管理介面）

提供配置管理介面
提供配置修改、釋出等介面
介面服務物件為Portal

三: Meta Server 在Eureka之上我們架了一層Meta Server用於封裝Eureka的服務發現介面

Portal通過域名訪問Meta Server獲取Admin Service服務列表（IP+Port）
Client通過域名訪問Meta Server獲取Config Service服務列表（IP+Port）
Meta Server從Eureka獲取Config Service和Admin Service的服務資訊，相當於是一個Eureka Client
增設一個Meta Server的角色主要是為了封裝服務發現的細節，對Portal和Client而言，永遠通過一個Http介面獲取Admin Service和Config Service的服務資訊，而不需要關心背後實際的服務註冊和發現元件
Meta Server只是一個邏輯角色，在部署時和Config Service是在一個JVM程式中的，所以IP、埠和Config Service一致

四：Eureka java的一個服務發現的元件

基於Eureka和Spring Cloud Netflix提供服務註冊和發現
Config Service和Admin Service會向Eureka註冊服務，並保持心跳
為了簡單起見，目前Eureka在部署時和Config Service是在一個JVM程式中的（通過Spring Cloud Netflix）

五: Portal

提供Web介面供使用者管理配置
通過Meta Server獲取Admin Service服務列表（IP+Port），通過IP+Port訪問服務
在Portal側做load balance、錯誤重試

六:Client 客戶端

Apollo提供的客戶端程式，為應用提供配置獲取、實時更新等功能
通過Meta Server獲取Config Service服務列表（IP+Port），通過IP+Port訪問服務
在Client側做load balance、錯誤重試

部署

目前我們開發有多個開發的環境：dev ，devmt，uat ，等環境，阿波羅可以多環境部署，需要明確環境來部署
apollo 多環境部署，Config Service，Admin Service 需要根據環境各自部署一份，Portal 可以只部署一份，管理所有的環境
GitHub下載： https://github.com/ctripcorp/apollo 原始碼

自定義環境變數原始碼修改 ,建議檢視原始碼的 github 文件檔案中有程式碼的具體路徑

Env com.ctrip.framework.apollo.core.enums 新增 DEVMT

public enum Env{
  LOCAL, DEV, FWS, FAT, UAT, LPT, PRO, TOOLS, UNKNOWN, DEVMT;

  public static Env fromString(String env) {
    Env environment = EnvUtils.transformEnv(env);
    Preconditions.checkArgument(environment != UNKNOWN, String.format("Env %s is invalid", env));
    return environment;
  }
}

EnvUtils com.ctrip.framework.apollo.core.enums 新增 DEVMT

public final class EnvUtils {
  
  public static Env transformEnv(String envName) {
    if (StringUtils.isBlank(envName)) {
      return Env.UNKNOWN;
    }
    switch (envName.trim().toUpperCase()) {
      case "LPT":
        return Env.LPT;
      case "FAT":
      case "FWS":
        return Env.FAT;
      case "UAT":
        return Env.UAT;
      case "PRO":
      case "PROD": //just in case
        return Env.PRO;
      case "DEV":
        return Env.DEV;
      case "LOCAL":
        return Env.LOCAL;
      case "TOOLS":
        return Env.TOOLS;
      case "DEVMT":
        return Env.DEVMT;
      default:
        return Env.UNKNOWN;
    }
  }
}

LegacyMetaServerProvider com.ctrip.framework.apollo.core.internals 新增 DEVMT

private void initialize() {
    Properties prop = new Properties();
    prop = ResourceUtils.readConfigFile("apollo-env.properties", prop);

    domains.put(Env.LOCAL, getMetaServerAddress(prop, "local_meta", "local.meta"));
    domains.put(Env.DEV, getMetaServerAddress(prop, "dev_meta", "dev.meta"));
    domains.put(Env.FAT, getMetaServerAddress(prop, "fat_meta", "fat.meta"));
    domains.put(Env.UAT, getMetaServerAddress(prop, "uat_meta", "uat.meta"));
    domains.put(Env.LPT, getMetaServerAddress(prop, "lpt_meta", "lpt.meta"));
    domains.put(Env.PRO, getMetaServerAddress(prop, "pro_meta", "pro.meta"));
    domains.put(Env.SIT, getMetaServerAddress(prop, "devmt_meta", "devmt.meta"));
  }

檢查，安裝 JAVA JDK 和 Maven ,進入原始碼資料夾 Scripts 下執行 Build 檔案，編譯打包apollo
複製 apollo-configservice/target ，apollo-adminservice/target ，apollo-portal/target ,檔案下面的zip 檔案和Dockerfile 到指定的資料夾，如下圖
修改 configservice，adminservice，portal ，Dockerfile 檔案中的版本號和zip檔案的版本號一致

在原始碼的Scripts 資料夾下面找到sql的部署指令碼，在Mysql中執行，

修改 apolloconfigdb，eureka.service.url 的地址為，Configservice 部署的地址例如，http://192.168.xx.xxx:8081/eureka/，
修改portal 的 apollo.portal.envs 為：多環境部署的環境變數，例如 dev,devmt
修改portal 的apollo.portal.meta.servers 為：部署的Configservice 部署的地址，例如
```
{
    "DEV":"http://192.168.xx.xxx:8081",
    "DEVMT":"http://192.168.xx.xxx:8082"
}
```

編寫docker-compose.yml

version: "3"
services:
  apollo-configservice:
    container_name: apollo-configservice
    build: apollo-configservice/ 
    image: apollo-configservice
    ports:
      - 8081:8080
    volumes:
      - /root/apollo/apollocompose/logs:/opt/logs
    environment:
      - SPRING_DATASOURCE_URL= jdbc:mysql://192.168.xx.xxx:3306/apolloconfigdbdev?characterEncoding=utf8&serverTimezone=Asia/Shanghai
      - SPRING_DATASOURCE_USERNAME= xxxxxx
      - SPRING_DATASOURCE_PASSWORD= xxxxxx

  apollo-adminservice:
    container_name: apollo-adminservice
    build: apollo-adminservice/ 
    image: apollo-adminservice
    ports:
      - 8091:8090
    volumes:
      - /root/apollo/apollocompose/logs:/opt/logs
    environment:
      - SPRING_DATASOURCE_URL= jdbc:mysql://192.168.xx.xxx:3306/apolloconfigdbdev?characterEncoding=utf8&serverTimezone=Asia/Shanghai
      - SPRING_DATASOURCE_USERNAME= xxxxxx
      - SPRING_DATASOURCE_PASSWORD= xxxxxx
  
  apollo-configservice-uat:
    container_name: apollo-configservice-uat
    build: apollo-configservice/ 
    image: apollo-configservice
    ports:
      - 8082:8080
    volumes:
      - /root/apollo/apollocompose/logs:/opt/logs
    environment:
      - SPRING_DATASOURCE_URL= jdbc:mysql://192.168.xx.xxx:3306/apolloconfigdbuat?characterEncoding=utf8&serverTimezone=Asia/Shanghai
      - SPRING_DATASOURCE_USERNAME= xxxxxx
      - SPRING_DATASOURCE_PASSWORD= xxxxxx

  apollo-adminservice-uat:
    container_name: apollo-adminservice-uat
    build: apollo-adminservice/ 
    image: apollo-adminservice
    ports:
      - 8092:8090
    volumes:
      - /root/apollo/apollocompose/logs:/opt/logs
    environment:
      - SPRING_DATASOURCE_URL= jdbc:mysql://192.168.xx.xxx:3306/apolloconfigdbuat?characterEncoding=utf8&serverTimezone=Asia/Shanghai
      - SPRING_DATASOURCE_USERNAME= xxxxxx
      - SPRING_DATASOURCE_PASSWORD= xxxxxx
  
  apollo-portal:
    container_name: apollo-portal
    build: apollo-portal/
    image: apollo-portal
    restart: always
    depends_on:
      - apollo-adminservice
    environment:
      - SPRING_DATASOURCE_URL= jdbc:mysql://192.168.xx.xxx:3306/apolloportaldb?characterEncoding=utf8&serverTimezone=Asia/Shanghai
      - SPRING_DATASOURCE_USERNAME= xxxxxx
      - SPRING_DATASOURCE_PASSWORD= xxxxxx
    volumes:
      - /root/apollo/apollocompose/logs:/opt/logs
      - /root/apollo/apollocompose/apollo-env.properties:/apollo-portal/config/apollo-env.properties
    ports:
      - 8071:8070

修改本地 apollo-env.properties 環境變數配置為：與自定義配置或攜程定義的環境變數一致
```
dev.meta=http://localhost:8081
devmt.meta=http://localhost:8082
```
執行 docker-compose ，啟動有延遲，多等待一會兒

踩坑

自定義環境變數需要下載原始碼，編譯，sql指令碼和資料庫連線配置，一定要用官網最新的連線配置，不同版本，sql指令碼可能不一致
部署機器的執行記憶體要充足
部署啟動後，configservice，adminservice，portal ，Mata service ，Eureka 需要通訊，所以啟動後，有延遲，等一段時間在看是否部署成功
伺服器埠，防火牆需要開啟對應的埠，8080,8090,8071 和自己指定的埠

學習連結

楊波老師架構解析文章:https://blog.csdn.net/yang75108/article/details/86989524?spm=1001.2014.3001.5501
Apollo 設計文件:https://www.apolloconfig.com/#/zh/design/apollo-design?id=_135-portal
Apollo 搭建自定義環境：https://www.jianshu.com/p/f84da093944f

docker安裝多環境Apollo
2022-07-14
Docker
docker-compose搭建php環境
2022-03-24
DockerPHP
聯調環境快速部署——基於docker-compose的CI/CD實踐
2018-08-19
Docker
mac搭建docker、docker-compose環境
2018-05-19
MacDocker
強化學習實戰 | 自定義Gym環境
2021-12-05
強化學習
使用 docker-compose 搭建 Laravel 環境 (三)
2019-03-04
DockerLaravel
Mac 上的 Tomcat 配置及自定義 JRE 環境
2020-12-14
MacTomcat
Docker部署Apollo配置中心
2018-12-28
Docker
強化學習實戰 | 自定義Gym環境之掃雷
2022-01-26
強化學習
使用dockerfile 部署lnmpr環境
2019-02-16
DockerLNMP
Flask環境github部署(十三)
2018-06-09
FlaskGithub
強化學習實戰 | 自定義gym環境之顯示字串
2022-01-08
強化學習字串
強化學習實戰 | 自定義Gym環境之井字棋
2021-12-06
強化學習
更改glogin.sql檔案,自定義SQLPLUS使用環境
2012-03-22
SQL
小米手環錶盤自定義
2021-05-20
Java部署環境搭建(Linux）
2017-11-12
JavaLinux
YUM部署高版本LNMP環境
2017-11-12
LNMP
第2講回顧：FATE的部署模型以及基於Docker-Compose快速部署聯邦學習開發實驗環境
2020-03-13
模型Docker聯邦學習
一鍵化安裝 docker，一鍵化部署 lnmp+Redis 環境，快速部署 Laravel 環境
2019-07-18
DockerLNMPRedisLaravel
在Ubuntu上部署Hyperledger Fabric環境
2020-11-20
Ubuntu
IBM /AIX 環境快速部署MySQL
2022-12-07
IBMAIMySql
Ubuntu 16 下部署 Laravel LNMP 環境
2018-06-14
UbuntuLaravelLNMP
1、CentOS部署Java開發環境
2014-09-05
CentOSJava開發環境
快速搭建WebSphere Process Server 部署環境
2009-01-12
WebServer
Ubuntu環境下Tornado環境部署
2015-11-24
Ubuntu
docker-compose部署redis,flask
2024-03-16
DockerRedisFlask
Docker-compose搭建ELK環境並同步MS SQL Server資料
2021-06-11
DockerSQLServer
GitLab Runner部署(kubernetes環境)
2020-12-28
Gitlab
ansible-playbook 批量部署lnmp環境
2020-12-20
LNMP
在生產環境使用Docker部署應用
2022-09-26
Docker
Linux 環境Skywalking部署Elasticsearch
2022-03-27
LinuxElasticsearch
MySQL Cluster開發環境快速部署(中文)
2012-02-24
MySql開發環境
paddleocr 在docker環境下部署
2024-03-15
Docker
zerorunner 在 Centos 的環境配置和部署
2024-03-20
CentOS
利用docker-compose一鍵部署
2021-12-15
Docker
Jenkins持續部署-Windows環境持續部署探究1
2019-05-25
JenkinsWindows
RAC環境中的應用程式部署——RAC部署和效能
2007-02-08
部署伺服器系列三：Linux環境結合Docker搭建前端環境
2019-01-05
伺服器LinuxDocker前端