![頭圖.png](https://ucc.alicdn.com/pic/developer-ecology/ff2784bceae14278980a1bc408d4230f.png)

聯席作者：吳毅挺 任浩軍 張彬彬 廖夢鴿 張金星 胡振建
鄭重鳴謝：Nacos - 彥林，Spring Cloud Alibab - 小馬哥、落夜，Nacos 社群 - 張龍（pader）、春少（chuntaojun）

# 前言

> 在高速發展的時候，公司規模越來越大，老師人數越來越多，這時候公司不能鋪太多人去做運營與服務，必須提高每個人效，這就需要技術驅動。因此掌門教育轉變成一家技術驅動型的公司，如果被迫成為一家靠資金驅動的公司就活不下去了。
> -- 張翼（掌門教育創始人兼 CEO）

掌門教育自 2014 年正式轉型線上教育以來，秉承“讓教育共享智慧，讓學習高效快樂”的宗旨和願景，經歷雲端計算、大資料、人工智慧、 AR / VR / MR 以及現今最火的 5G ，一直堅持用科技賦能教育。掌門教育的業務近幾年得到了快速發展，特別是今年的疫情，使線上教育成為了新的風口，也給掌門教育新的機遇。

隨著業務規模進一步擴大，流量進一步暴增，微服務數目進一步增長，使老的微服務體系所採用的註冊中心 Eureka 不堪重負，同時 Spring Cloud 體系已經演進到第二代，第一代的 Eureka 註冊中心已經不大適合現在的業務邏輯和規模，同時它目前被 Spring Cloud 官方置於維護模式，將不再向前發展。如何選擇一個更為優秀和適用的註冊中心，這個課題就擺在了掌門人的面前。經過對 Alibaba Nacos 、HashiCorp Consul 等開源註冊中心做了深入的調研和比較，最終選定 Alibaba Nacos 做微服務體系 Solar 中的新註冊中心。

# 背景故事

## 1. 掌門教育微服務面臨的挑戰

### 1）第一次生產事故

2020 年疫情爆發後的幾個月後，掌門教育的微服務例項數比去年猛增 40% ，基礎架構部樂觀的認為註冊中心 Eureka 伺服器可以抗住該數量級的例項數規模， Eureka 伺服器在阿里雲 PROD 環境上執行三臺 8C16G 普通型機器三角結構型對等部署，執行了好幾年都一直很穩定，但災難還是在2020年3月某天晚上降臨，當天晚上大概 9 點 30 分左右，其中兩臺 Eureka 伺服器無徵兆的 CPU 佔用迅速上升到100%，同時大量業務服務掉線，告警系統被觸發，釘釘機器人告警和郵件告警鋪天蓋地而來。基礎架構部和運維部緊急重啟 Eureka 伺服器，但沒多久，CPU 依舊沒抗住，而且更加來勢兇猛，開啟的檔案描述符數瞬間達到 8000+ ，TCP 連線達到 1 萬+ ，業務服務和 Eureka 伺服器的通訊產生大面積的 TCP CLOSE_WAIT 事件，且伴有大量 Broken pipe 異常。

![1.png](https://ucc.alicdn.com/pic/developer-ecology/15eb1693552c45699d757d410ddb883b.png)

![2.png](https://ucc.alicdn.com/pic/developer-ecology/79161262d3ab40dbab43a72a102f25c8.png)

![3.png](https://ucc.alicdn.com/pic/developer-ecology/74e09fdba2ca47e79c714acfd7188afd.png)

```
org.apache.catalina.connector.ClientAbortException: java.io.IOException: Broken pipe
```

運維人員嘗試把機器升級成增強型 8C16G ，折騰一番後，於 23:00 左右恢復正常。

![4.png](https://ucc.alicdn.com/pic/developer-ecology/acc6771f188d4aaab3da6e7d285827e1.png)

![5.png](https://ucc.alicdn.com/pic/developer-ecology/171b5377f3604433b81623995fa15e12.png)

### 2）第二次生產事故

微服務例項數依舊在增長， Eureka 伺服器平穩執行了大概半個月後，災難又一次降臨，CPU 再次飆升到100%，過程就不表述了。處理方式，把機器升級成增強型 16C32G，並把 Eureka 伺服器的版本升級到 Spring Cloud Hoxton 版，並最佳化了它的一些配置引數，爾後事件再也沒出現。

## 2. 掌門教育新微服務演進思考

雖然 Eureka 伺服器目前執行平穩，但我們依舊擔心此類事故在未來會再次發生，於是痛定思痛，經過深入的調研和比較一段時間後，透過由基礎架構部牽頭，各大業務線負責人和架構師參與的專項註冊中心架構評審會上，CTO 拍板，做出決議：選擇落地 Alibaba Nacos 作為掌門教育的新註冊中心。

Talk is cheap，show me the solution。基礎架構部說幹就幹，Nacos 部署到 FAT 環境後，打頭陣的是測試組的同學，對 Nacos 做全方位的功能和效能測試，畢竟 Nacos 是阿里巴巴拳頭開源產品，迭代了2年多，在不少網際網路型和傳統型公司都已經落地，我們選擇了穩定的 1.2.1 版本，得出結論是功能穩定，效能上佳，關於功能和效能方面的相關資料，具體參考：《掌門1對1微服務體系 Solar | 阿里巴巴 Nacos 企業級落地下篇》。

![6.png](https://ucc.alicdn.com/pic/developer-ecology/da901d11f47e439ab2529f119058079a.png)

![7.png](https://ucc.alicdn.com/pic/developer-ecology/628b8846949041feb5485f2fdb399bfd.png)

但是，如何遷移 Eureka 上的業務服務到 Nacos 上？業務服務例項數目眾多，遷移工作量巨大，需要全公司業務部門配合，同時 Eureka 對註冊的業務服務名大小寫不敏感，而 Nacos 對註冊的業務服務名大小寫敏感，那麼對於業務服務名不規範的業務部門需要改造。而對於基礎架構部來說， Nacos Eureka Sync 方案如同一座大山橫亙在我們面前，是首先需要邁過去的坎，縱觀整個過程，該方案選型還是折騰了一番，具體參考：《掌門1對1微服務體系 Solar | 阿里巴巴 Nacos 企業級落地中篇》。

阿里巴巴 Nacos 企業級落地的最佳化程式碼，在不久的將來會透過開源的方式回饋給業界。

# 官方介紹

## 1. Nacos 簡介

> 阿里巴巴中介軟體部門開發的新一代集服務註冊發現中心和配置中心為一體的中介軟體。它是構建以“服務”為中心的現代應用架構 (例如微服務正規化、雲原生正規化) 的服務基礎設施，支援幾乎所有主流型別的“服務”的發現、配置和管理，更敏捷和容易地構建、交付和管理微服務平臺。

- Nacos Landscape

![8.png](https://ucc.alicdn.com/pic/developer-ecology/4f7b6aaa0efa455eb886d6833c6b1d97.png)

- Nacos Map

![9.jpg](https://ucc.alicdn.com/pic/developer-ecology/0e1aa53c4cb84d48896b383b151b0b70.jpg)

**摘自官網 What is Nacos：**[https://nacos.io/en-us/docs/what-is-nacos.html](https://nacos.io/en-us/docs/what-is-nacos.html)

## 2. Spring Cloud Alibaba 簡介

> 阿里巴巴中介軟體部門開發的 Spring Cloud 增強套件，致力於提供微服務開發的一站式解決方案。此專案包含開發分散式應用微服務的必需元件，方便開發者透過 Spring Cloud 程式設計模型輕鬆使用這些元件來開發分散式應用服務。依託 Spring Cloud Alibaba ，您只需要新增一些註解和少量配置，就可以將 Spring Cloud 應用接入阿里微服務解決方案，透過阿里中介軟體來迅速搭建分散式應用系統。

![10.png](https://ucc.alicdn.com/pic/developer-ecology/c9f38705ed21496b971877c81737b80e.png)

**摘自官網 Spring Cloud Alibaba Introduction：**[https://github.com/alibaba/spring-cloud-alibaba/blob/master/spring-cloud-alibaba-docs/src/main/asciidoc-zh/introduction.adoc](https://github.com/alibaba/spring-cloud-alibaba/blob/master/spring-cloud-alibaba-docs/src/main/asciidoc-zh/introduction.adoc)

關於 Nacos 和 Spring Cloud Alibaba 如何使用，它的技術實現原理怎樣等，官方文件或者民間部落格、公眾號文章等可以提供非常詳盡且有價值的材料，這些不在本文的討論範圍內，就不一一贅述。筆者嘗試結合掌門教育現有的技術棧以及中介軟體一體化的戰略，並著眼於強大的 Nacos 和 Spring Cloud Alibaba 技術生態圈展開闡釋。

# Nacos 開發篇

## 1. Nacos Server 落地

### 1）Nacos Server

- Nacos Server 環境和域名

掌門的應用環境分為 4 套，DEV | FAT | UAT | PROD 分別對應開發、測試、準生產環境、生產環境，因此 Nacos Server 也分為 4 套獨立環境。除了 DEV 環境是單機部署外，其他是叢集方式部署。對外均以域名方式訪問，包括 SDK 方式連線 Nacos Server 和訪問 Nacos Server Dashboard 控制檯頁面。

- Nacos Server 環境隔離和呼叫隔離

Nacos Server 可以建立不同的名稱空間，做到同一個應用環境的基礎上更細粒度的劃分，隔離服務註冊和發現。在某些場景下，開發本地有需要連線測試環境的 Nacos Server ，但其他測試服務不能呼叫到開發本地，這時候可以將 NacosDiscoveryProperties 的 enabled 屬性設定為 false 。

- Nacos Server 整合 Ldap

Nacos Server Dashboard 整合公司的 Ldap 服務，並在使用者首次登入時記錄使用者資訊。

### 2）Nacos Server 介面

- Nacos 介面許可權

Nacos Server Dashboard 使用者首次登陸時，預設分配普通使用者（即非 ROLE_ADMIN ）角色，對查詢以外的按鈕均無操作許可權，以免出現誤操作導致服務非正常上下線。

- Nacos 介面顯示服務概覽

Nacos Server Dashboard 頁面增加服務總數及例項總數的統計，該資訊每 5 秒重新整理一次。

![11.png](https://ucc.alicdn.com/pic/developer-ecology/0c0ffcc13244418a923229cd9e7357ef.png)

### 3）Nacos 監控

#### 【Nacos Server 監控】

- 標準監控

基於公司現有的 Prometheus 、 Grafana 、 AlertManager 從系統層監控 Nacos。

![12.png](https://ucc.alicdn.com/pic/developer-ecology/f87858336be94c73898ec9bb5fd48ac7.png)

- 高階監控

根據 Nacos 監控手冊，結合 Prometheus 和 Grafana 監控 Nacos 指標。

![13.png](https://ucc.alicdn.com/pic/developer-ecology/a90a3612fadc42fcaea4a077148388c6.png)

#### 【Nacos Eureka Sync Etcd 監控】

從如下介面可以監控到，業務服務列表是否在同步服務的叢集上呈現一致性 Hash 均衡分佈。

![14.png](https://ucc.alicdn.com/pic/developer-ecology/b896ce30fc424d408010a258bd768afa.png)

### 4）Nacos 日誌

- 日誌合併及 JSON 格式化

將 Nacos 多模組的日誌統一按 info 、 warn、error 級別合併，定義 schema 欄位標記不同模組，按 JSON 格式滾動輸出到檔案，供 ELK 採集展示。

![15.png](https://ucc.alicdn.com/pic/developer-ecology/35005d6b7f3c4231b20c0f5a67f01488.png)

### 5）Nacos 告警

#### 【Nacos Server 告警】

- 業務服務上下線的告警

![16、17.jpg](https://ucc.alicdn.com/pic/developer-ecology/22b60483f0f849998056fa07a3fe15b1.jpg)

- Nacos Eureka Sync 告警

![18、19.jpg](https://ucc.alicdn.com/pic/developer-ecology/a8a80d05f96a4313845958217f201926.jpg)

- 服務名大寫告警

![20、21.jpg](https://ucc.alicdn.com/pic/developer-ecology/dda2c3e5f8ad4ceeb41c7e1678e0822e.jpg)

- 業務服務同步完畢告警

![22（1）.jpg](https://ucc.alicdn.com/pic/developer-ecology/b1c7fd1cc347480d8a6790dadf1ae874.jpg)

## 2. Nacos Client 落地

### 1）Solar Nacos SDK 環境初始化

應用接入 Solar Nacos SDK 在啟動時需要初始化完成 Nacos Server 的連線配置，即 spring.cloud.nacos.discovery.server-addr 引數的賦值。不同環境下連線的 Nacos Server ，因此需要讀取機器所在的 env 環境引數，來選擇相對應的 Nacos Server 地址。

初始化邏輯程式碼如下：

```
public class NacosClientConfigApplicationContextInitializer implements ApplicationContextInitializer<configurableapplicationcontext>, Ordered {
    private static final Logger logger = LoggerFactory.getLogger(NacosClientConfigApplicationContextInitializer.class);
    @Override
    public void initialize(ConfigurableApplicationContext applicationContext) {
        try {
            Properties props = new Properties();
            String path = isOSWindows() ? CommonConstant.SERVER_PROPERTIES_WINDOWS : CommonConstant.SERVER_PROPERTIES_LINUX;
            File file = new File(path);
            if (file.exists() && file.canRead()) {
                FileInputStream fis = new FileInputStream(file);
                if (fis != null) {
                    try {
                        props.load(new InputStreamReader(fis, Charset.defaultCharset()));
                    } finally {
                        fis.close();
                    }
                }
            }
            String env = System.getProperty("env");
            if (!isBlank(env)) {
                env = env.trim().toLowerCase();
            } else {
                env = System.getenv("ENV");
                if (!isBlank(env)) {
                    env = env.trim().toLowerCase();
                } else {
                    env = props.getProperty("env");
                    if (!isBlank(env)) {
                        env = env.trim();
                    } else {
                        env = NacosEnv.DEV.getCode();
                    }
                }
            }
            String serverAddr = NacosEnv.getValueByCode(env);
            Map<string object=""> nacosClientPropertySource = new HashMap<>();
            nacosClientPropertySource.put(CommonConstant.NACOS_DISCOVERY_SERVER_ADDR, serverAddr);
            applicationContext.getEnvironment().getPropertySources().addLast(new MapPropertySource("solarNacosClientPropertySource", nacosClientPropertySource));
        } catch (Exception e) {
            logger.error(e.getMessage());
        }
    }
    @Override
    public int getOrder() {
        return Ordered.LOWEST_PRECEDENCE;
    }
    private boolean isOSWindows() {
        String osName = System.getProperty("os.name");
        return !isBlank(osName) && osName.startsWith("Windows");
    }
    private boolean isBlank(String str) {
        return Strings.nullToEmpty(str).trim().isEmpty();
    }
}
```

### 2）Solar Nacos 藍綠灰度釋出和子環境隔離

在 Nacos 和 Eureka 雙註冊中心過渡狀態下， Solar SDK 支援跨註冊中心呼叫的藍綠灰度釋出和子環境功能。下面的圖片，只以 Eureka 為例：

![23.png](https://ucc.alicdn.com/pic/developer-ecology/9d3a8d0cc48f4711ba90050693b983ea.png)

我們只需要把 Eureka SDK 換到 Nacos SDK 即可，實現如下功能：

- Solar 藍綠灰度釋出
   - 版本匹配灰度釋出
   - 版本權重灰度釋出
- Solar 多區域路由
   - 區域匹配灰度路由
   - 區域權重灰度路由
- Solar 子環境隔離
   - 環境隔離
   - 環境路由
- Solar 版本號和區域值，子環境號策略
   - DEV 環境，Git 外掛自動建立灰度版本號
   - DevOps 環境設定

**Solar 藍綠灰度釋出架構圖：**

![24.png](https://ucc.alicdn.com/pic/developer-ecology/7e396e5166304db5bad8d969506eee77.png)

Solar 基於版本維度的藍綠灰度釋出架構圖：

![25.png](https://ucc.alicdn.com/pic/developer-ecology/7c2a62b411b44d6881b7f84b6023f3db.png)

Solar 子環境隔離架構圖：

![26.png](https://ucc.alicdn.com/pic/developer-ecology/fabed823150b4c61bc14e0267eac3067.png)

更多功能參考：

> [掌門 1 對 1 微服務體系 Solar 第 1 彈：全鏈路灰度藍綠髮布智慧化實踐](https://mp.weixin.qq.com/s?__biz=MzU1NTgxNDM0Nw==&mid=2247484172&idx=1&sn=41ba2fed39d468f7ee4913e9c305f1b3&chksm=fbcfdfa8ccb856be2280e9484e5e5c091645f98b78dd36e4caf9e3c580a58654d3057e0b4ab0&token=1228979243&lang=zh_CN&scene=21#wechat_redirect)，掌門教育已經實現透過灰度藍綠髮布方式，實現對流量的精確制導和調撥。

> Nepxion Discovery 開源社群：[https://github.com/Nepxion/Discovery](https://github.com/Nepxion/Discovery)

### 3）Solar Nacos 整合 Sentinel

![27.jpg](https://ucc.alicdn.com/pic/developer-ecology/88d6f058bfd6436ba8e55afacf06fe43.jpg)

### 4）Solar Nacos 整合灰度藍綠埋點到 Skywalking

![28.png](https://ucc.alicdn.com/pic/developer-ecology/8e8f7fb08dbc49f2a87dfab03c331836.png)

![29.png](https://ucc.alicdn.com/pic/developer-ecology/477f1521a15c46eea0f5567ede48584e.png)

### 5）Solar Nacos 整合 Sentinel 埋點到 Skywalking

- 微服務上的 Sentinel 埋點

![30.jpg](https://ucc.alicdn.com/pic/developer-ecology/157113e78a554bbf900375bf82c4a29b.jpg)

![31.jpg](https://ucc.alicdn.com/pic/developer-ecology/2ea2fc76586f4cee9727f32c76e693f0.jpg)

- 閘道器上的 Sentinel 埋點

![32.jpg](https://ucc.alicdn.com/pic/developer-ecology/548e3fd1201c439b991464d72154352a.jpg)

![33.jpg](https://ucc.alicdn.com/pic/developer-ecology/d7e40e2875e3401ab2eb9b1da88376bb.jpg)

### 6）Solar Nacos 整合 DevOps 釋出平臺

- 整合攜程 VI Cornerstone 實現服務拉入拉出

Solar Nacos SDK 的服務，在應用釋出時需要做服務的拉入拉出，目的是為了釋出時流量無損。掌門使用 VI Cornerstone 實現拉入拉出功能。具體實現是在初始化 NacosDiscoveryProperties 物件時設定 instance.enabled 屬性值為 false，在服務完全初始化後，透過釋出系統呼叫 Solar Nacos SDK 的 API 介面再修改為 true 來被外部發現並提供服務。

```
public class NacosApplicationContextInitializer implements EnvironmentPostProcessor {
    @Override
    public void postProcessEnvironment(ConfigurableEnvironment configurableEnvironment, SpringApplication springApplication) {
        Boolean bootstrapEnabled = configurableEnvironment.getProperty("devops.enabled", Boolean.class, false);
        if (bootstrapEnabled) {
            Properties properties = new Properties();
            properties.put("spring.cloud.nacos.discovery.instanceEnabled", "false");
            PropertiesPropertySource propertiesPropertySource = new PropertiesPropertySource("devopsEnabledNacosDiscoveryProperties", properties);
            MutablePropertySources mutablePropertySources = configurableEnvironment.getPropertySources();
            mutablePropertySources.addFirst(propertiesPropertySource);
        }
    }
}
```

spring.factories 配置檔案：

```
org.springframework.boot.env.EnvironmentPostProcessor=\
com.ctrip.framework.cs.spring.NacosApplicationContextInitializer
```

### 7）Solar Nacos SDK 接入

#### 【Solar 版本定義】

- Solar 2.3.x & 1.3.x，基於 Nacos SDK
- Solar 2.2.x & 1.2.x，基於 Eureka SDK

#### 【Solar 版本關係】

- Solar 版本與 Spring Boot 技術棧的關係

![34.jpg](https://ucc.alicdn.com/pic/developer-ecology/b97446a23bc14752acab2be8838d5ad1.jpg)

- Solar 版本與註冊中心的關係

![35.jpg](https://ucc.alicdn.com/pic/developer-ecology/900dd64291414b688fb7c16e2feeff4e.jpg)

#### 【Solar SDK 接入】

- 設定 Parent

```
<parent>
    <groupid>com.zhangmen</groupid>
    <artifactid>solar-parent</artifactid>
    <version>${solar.version}</version>
</parent>
```

- 新增到 pom.xml

只需引入一個 Jar 包，對接成本極低，只做基本元件封裝，非常輕量級。

**微服務：**

```
<dependency>
    <groupid>com.zhangmen</groupid>
    <artifactid>solar-framework-starter-service</artifactid>
    <version>${solar.version}</version>
</dependency>
```

**閘道器：**

```
<dependency>
    <groupid>com.zhangmen</groupid>
    <artifactid>solar-framework-starter-zuul</artifactid>
    <version>${solar.version}</version>
</dependency>
```

- 入口類新增註解

@EnableSolarService ， @EnableSolarZuul 封裝了標準 Spring Boot / Spring Cloud / Apollo 等大量註解，降低業務的使用成本。

**微服務：**

```
@EnableSolarService
public class DemoApplication {
    public static void main(String[] args) {
        new SpringApplicationBuilder(DemoApplication.class).run(args);
    }
}
```

**閘道器：**

```
@EnableSolarZuul
public class DemoApplication {
    public static void main(String[] args) {
        new SpringApplicationBuilder(DemoApplication.class).run(args);
    }
}
```

### 8）Solar Nacos SDK 和 Solar Eureka SDK 升級和回滾

升級和回滾方案非常簡單，此方式同時適用於閘道器和服務，見下圖：

![36.png](https://ucc.alicdn.com/pic/developer-ecology/227f50dc3a524fec9df86f9a040af4d5.png)

**作者資訊**

**吳毅挺**，掌門技術副總裁，負責技術中臺和少兒技術團隊。曾就職於百度、eBay 、攜程，曾任攜程高階研發總監，負責從零打造攜程私有云、容器雲、桌面雲和 PaaS 平臺。

**任浩軍**，掌門基礎架構部負責人。曾就職於平安銀行、萬達、惠普，曾負責平安銀行平臺架構部 PaaS 平臺 Halo 基礎服務框架研發。10 多年開源經歷，Github ID：@HaojunRen，Nepxion 開源社群創始人，Nacos Group Member，Spring Cloud Alibaba & Nacos & Sentinel & OpenTracing Committer。

**參與 Nacos 落地的基礎架構部成員，包括**：童子龍，張彬彬，廖夢鴿，張金星，胡振建，謝璐，謝慶芳，伊安娜

> “[阿里巴巴雲原生](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247492001&idx=2&sn=8026eda2c508ba8955dfe4220ebe4a5a&chksm=fae6ea6ecd916378addd18d07774d9bb21ea999f798f70ed883cb3bf9b9af96aff76382b300b&token=442001322&lang=zh_CN#rd)關注微服務、Serverless、容器、Service Mesh 等技術領域、聚焦雲原生流行技術趨勢、雲原生大規模的落地實踐，做最懂雲原生開發者的公眾號。”</string></configurableapplicationcontext>

掌門教育微服務體系 Solar | 阿里巴巴 Nacos 企業級落地上篇

相關文章