![1.png](https://ucc.alicdn.com/pic/developer-ecology/0349be457179447398578b76e661eef7.png)

聯席作者：謝璐 謝慶芳 伊安娜 任浩軍<br>鄭重鳴謝：Nacos - 彥林，Spring Cloud Alibaba - 小馬哥、洛夜，Nacos 社群 - 張龍（pader）、春少（chuntaojun）

相關文章推薦：

- [掌門教育微服務體系 Solar | 阿里巴巴 Nacos 企業級落地上篇](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247492337&idx=1&sn=71df8eee2b4ab038a502bebcb2d3ced2&chksm=fae6e93ecd91602888cfee80041c6b37566a5e5cd1066df16439d320438c07a9375d3345554d&scene=21#wechat_redirect)
- [掌門教育微服務體系 Solar | 阿里巴巴 Nacos 企業級落地中篇](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247492504&idx=2&sn=292b1fd8019d5679cbe0857c51cb62ff&chksm=fae6e857cd916141c70fa1d046bf6ef80b9c94b5ebe917cda2c04ad9d88dbff3063d63c48f99&scene=21#wechat_redirect)

## 前言

> 在高速發展的時候，公司規模越來越大，老師人數越來越多，這時候公司不能鋪太多人去做運營與服務，必須提高每個人效，這就需要技術驅動。因此掌門教育轉變成一家技術驅動型的公司，如果被迫成為一家靠資金驅動的公司就活不下去了。

> -- 張翼（掌門教育創始人兼CEO）

掌門教育自2014年正式轉型線上教育以來，秉承“讓教育共享智慧，讓學習高效快樂”的宗旨和願景，經歷雲端計算、大資料、人工智慧、 `AR` / `VR` / `MR` 以及現今最火的 `5G` ，一直堅持用科技賦能教育。掌門教育的業務近幾年得到了快速發展，特別是今年的疫情，使線上教育成為了新的風口，也給掌門教育新的機遇。

隨著業務規模進一步擴大，流量進一步暴增，微服務數目進一步增長，使老的微服務體系所採用的註冊中心 `Eureka` 不堪重負，同時 `Spring Cloud` 體系已經演進到第二代，第一代的 `Eureka` 註冊中心已經不大適合現在的業務邏輯和規模，同時它目前被 `Spring Cloud` 官方置於維護模式，將不再向前發展。如何選擇一個更為優秀和適用的註冊中心，這個課題就擺在了掌門人的面前。經過對 `Alibaba Nacos` 、`HashiCorp Consul`等開源註冊中心做了深入的調研和比較，最終選定 `Alibaba Nacos` 做微服務體系 `Solar` 中的新註冊中心。

## 背景故事

基礎架構部選擇新的註冊中心，測試組需要配合對業界成熟的註冊中心產品做分析和比較。由於掌門教育採用的是比較純淨的 `Spring Cloud` 技術棧，所以我們需要圍繞它的註冊中心，從測試角度，進行功能和效能上研究。

`Spring Cloud` 技術棧官方支援 `Netflix Eureka` ，`HashiCorp Consul` ，`Zookeeper` 三個註冊中心，它們可以相互間實現無縫遷移，`Alibaba Nacos` 是新加盟 `Spring Cloud` 技術棧的新成員。測試組的同學們對上述四個註冊中心做了一一研究和分析，鑑於時間緊迫，除了 `Eureka` 和 `Nacos` 之外，其它兩個中介軟體未做深入的功能測試和效能測試。下面提供來自阿里巴巴 `Nacos` 官方某次業界宣講的資料截圖以供大家參考:

- `Eureka` 介紹

![2.png](https://ucc.alicdn.com/pic/developer-ecology/673bd5b4a43d447487059eea1bc7cc23.png)

- `Zookeeper` 介紹

![3.png](https://ucc.alicdn.com/pic/developer-ecology/35e24a6ab41940f2b1a7d7c5ee405804.png)

- `Consul` 介紹

![4.png](https://ucc.alicdn.com/pic/developer-ecology/74bf0905e21f40e9a0414dace2578e13.png)

- 上述三個註冊中心比較

![5.png](https://ucc.alicdn.com/pic/developer-ecology/57d75a5bde484265bcf00ee8506351d9.png)

本文將圍繞 `Alibaba Nacos` 著重針對其功能測試和效能測試兩方面進行剖析和介紹。

## Nacos 測試篇

### Nacos 效能測試

#### ① Nacos Server 效能測試

開發部署了 `UAT` 的 `Nacos` ，測試親自壓測。

- 核心指令碼

```python
def registry(ip):
    fo = open("service_name.txt", "r")
    str = fo.read()
    service_name_list = str.split(";")
    service_name = service_name_list[random.randint(0,len(service_name_list) - 1)]
    fo.close()
    client = nacos.NacosClient(nacos_host, namespace='')
    print(client.add_naming_instance(service_name,ip,333,"default",1.0,{'preserved.ip.delete.timeout':86400000},True,True))
    while True:
      print(client.send_heartbeat(service_name,ip,333,"default",1.0,"{}"))
      time.sleep(5)
```

- 壓測資料

![表格 1.jpg](https://ucc.alicdn.com/pic/developer-ecology/fd54914aa7cb43f1a54a951b974bd43c.jpg)

- 壓測結果圖

![6.png](https://ucc.alicdn.com/pic/developer-ecology/997f93c5df5f44a79f9b82f9d4529068.png)

![7.png](https://ucc.alicdn.com/pic/developer-ecology/af5f5b64414649a1bc9942258a7ebcf5.png)

`Nacos Server` 是3臺 `1C4G` 叢集，同時承受1499個服務和12715個例項註冊，而且 `CPU` 和記憶體長期保持在一個合適的範圍內，果真 `Nacos` 效能是相當 `OK` 的。

### Nacos 功能測試

#### ① Nacos Server 介面測試

![表格2.jpg](https://ucc.alicdn.com/pic/developer-ecology/3e2299de4d944fecb98f2d3efcaad1d9.jpg)

更多更詳 `API` 請參見 `Nacos` 官方文件: `Open API` 指南

[https://nacos.io/zh-cn/docs/open-api.html](https://nacos.io/zh-cn/docs/open-api.html)

#### ② Nacos Eureka Sync 測試

- 交叉註冊

閘道器，服務 `A` ，服務 `B` 各10臺例項，閘道器注冊 `Eureka` ， `A` 註冊 `Nacos` ， `B` 註冊 `Eureka` ，同步正常，可呼叫。

- 壓力測試

請求大於100萬次，檢視 `Sync Server` 會不會受到影響，結果 `ErrorRequest` = 0，同步服務數和例項數沒有變化。

![8.png](https://ucc.alicdn.com/pic/developer-ecology/cfaca0f7ed8c4f7f8c8897b81bd9c030.png)

- 有無損呼叫

閘道器 `Sync Server` 掛掉，閘道器服務 `Eureka` 同步 `Nacos` 失敗，不影響閘道器 -> `A` -> `B` 呼叫。

- 自動建立同步

釋出系統第一次釋出應用到 `Eureka` / `Nacos` ，會自動建立 `Eureka` -> `Nacos` 的同步任務或 `Nacos` -> `Eureka` 的同步任務

![9.png](https://ucc.alicdn.com/pic/developer-ecology/3e6ec865fea349c7a99d948980c7b303.png)

- 減少 `Sync Server`

`Sync Server` `4C8G` ，停止機器，逐臺遞減，結論：平均1臺 `4C8G` 機器最大可同步100個服務。
- 增加 `Sync Server`

2臺 `Etcd` 節點，停機一臺，`Etcd` 讀取超時，結論：600個服務至少2臺 `Etcd` 節點，這裡重點強調，新增服務時， `Hash` 演算法虛擬節點數，務必和原有的保持一致，不然會出現同步失敗，影響跨註冊中心呼叫。

![10.png](https://ucc.alicdn.com/pic/developer-ecology/53de5a53106b4dcc9ab174c4693d3bfa.png)

- 重啟 `Sync Server`

增加 `Sync Server` 個數，重啟 `Sync Server` ，各節點同步數重新計算且均衡。

#### ③ Nacos Client 功能測試

`Nacos Client` 介面重點測試叢集管理，服務列表和許可權控制。

- `Nacos Server` 重啟後，叢集管理介面正常展示3臺叢集節點 `IP` 。
- 服務註冊 `Nacos Server` 後，服務列表新增註冊上去的服務名和例項個數，而且可檢視詳情。

![11.png](https://ucc.alicdn.com/pic/developer-ecology/76732dd215534f12888e93e529103980.png)

- 服務上下線操作，健康狀態和後設資料等展示正常。
- 編輯，刪除等操作只有具備 `Admin` 許可權的人員才可操作。

#### ④ Nacos Client 自動化測試

- 自動化測試鏈路

全鏈路測試路徑

```
API閘道器 -> 服務A（兩個例項） -> 服務B（兩個例項）
```

![12.png](https://ucc.alicdn.com/pic/developer-ecology/ba530bab8afc473da64a244ba936bc77.png)

全鏈路服務部署

![表格3.jpg](https://ucc.alicdn.com/pic/developer-ecology/1fee3cde772a43abbf842dc18be1d8b3.jpg)

- 自動化測試入口

結合 `Spring Boot Junit` ， `TestApplication.class` 為測試框架內建應用啟動程式， `MyTestConfiguration` 用於初始化所有測試用例類。在測試方法上面加入 `JUnit` 的 `@Test註解`

```java
@RunWith(SpringRunner.class)
@SpringBootTest(classes = { TestApplication.class, MyTestConfiguration.class }, webEnvironment = SpringBootTest.WebEnvironment.RANDOM_PORT)
public class MyTest {
    @Autowired
    private MyTestCases myTestCases;

private static long startTime;

@BeforeClass
    public static void beforeTest() {
        startTime = System.currentTimeMillis();
    }

@AfterClass
    public static void afterTest() {
        LOG.info("* Finished automation test in {} seconds", (System.currentTimeMillis() - startTime) / 1000);
    }

@Test
    public void testNoGray() throws Exception {
        myTestCases.testNoGray(gatewayTestUrl);
        myTestCases.testNoGray(zuulTestUrl);
    }

@Test
    public void testVersionStrategyGray() throws Exception {
        myTestCases.testVersionStrategyGray1(gatewayGroup, gatewayServiceId, gatewayTestUrl);
        myTestCases.testVersionStrategyGray1(zuulGroup, zuulServiceId, zuulTestUrl);
    }
}
```

```java
@Configuration
public class MyTestConfiguration {
    @Bean
    public MyTestCases myTestCases() {
        return new MyTestCases();
    }
}
```

- 基於 Nacos Client 的普通呼叫自動化測試

在測試方法上面增加註解 `@DTest` ，透過斷言 `Assert` 來判斷測試結果。註解 `@DTest` 內容如下：

```java
@Target({ ElementType.METHOD, ElementType.TYPE })
@Retention(RetentionPolicy.RUNTIME)
@Inherited
@Documented
public @interface DTest {

}
```

程式碼如下：

```java
public class MyTestCases {
    @Autowired
    private TestRestTemplate testRestTemplate;

@DTest
    public void testNoGray(String testUrl) {
        int noRepeatCount = 0;
        List<string> resultList = new ArrayList<string>();
        for (int i = 0; i < 4; i++) {
            String result = testRestTemplate.getForEntity(testUrl, String.class).getBody();

LOG.info("Result{} : {}", i + 1, result);

if (!resultList.contains(result)) {
                noRepeatCount++;
            }
            resultList.add(result);
        }

Assert.assertEquals(noRepeatCount, 4);
    }
}
```

- 基於 Nacos Client 的灰度藍綠呼叫自動化測試

在測試方法上面增加註解 `@DTestConfig` ，透過斷言 `Assert` 來判斷測試結果。註解 `DTestConfig` 註解內容如下：

```java
@Target({ ElementType.METHOD, ElementType.TYPE })
@Retention(RetentionPolicy.RUNTIME)
@Inherited
@Documented
public @interface DTestConfig {
    // 組名
    String group();

// 服務名
    String serviceId();

// 組名-服務名組合鍵值的字首
    String prefix() default StringUtils.EMPTY;

// 組名-服務名組合鍵值的字尾
    String suffix() default StringUtils.EMPTY;

// 執行配置的檔案路徑。測試用例執行前，會把該檔案裡的內容推送到遠端配置中心或者服務
    String executePath();

// 重置配置的檔案路徑。測試用例執行後，會把該檔案裡的內容推送到遠端配置中心或者服務。該檔案內容是最初的預設配置
    // 如果該註解屬性為空，則直接刪除從配置中心刪除組名-服務名組合鍵值
    String resetPath() default StringUtils.EMPTY;
}
```

程式碼如下：

```java
public class MyTestCases {
    @Autowired
    private TestRestTemplate testRestTemplate;

@DTestConfig(group = "#group", serviceId = "#serviceId", executePath = "gray-strategy-version.xml", resetPath = "gray-default.xml")
    public void testVersionStrategyGray(String group, String serviceId, String testUrl) {
        for (int i = 0; i < 4; i++) {
            String result = testRestTemplate.getForEntity(testUrl, String.class).getBody();

LOG.info("Result{} : {}", i + 1, result);

int index = result.indexOf("[V=1.0]");
            int lastIndex = result.lastIndexOf("[V=1.0]");

Assert.assertNotEquals(index, -1);
            Assert.assertNotEquals(lastIndex, -1);
            Assert.assertNotEquals(index, lastIndex);
        }
    }
}
```

初始預設無灰度藍綠的配置檔案 `gray-default.xml`

```xml
<?xml version="1.0" encoding="UTF-8"?>
<rule>

</rule>
```

灰度藍綠生效的配置檔案 `gray-strategy-version.xml`

```xml
<?xml version="1.0" encoding="UTF-8"?>
<rule>
    <strategy>
        <version>1.0</version>
    </strategy>
</rule>
```

- 基於 Nacos Client 的自動化測試報告樣例

```
---------- Run automation testcase :: testStrategyCustomizationGray() ----------
Header : [a:"1", b:"2"]
Result1 : zuul -> solar-service-a[192.168.0.107:3002][V=1.1][R=qa][G=solar-group] -> solar-service-b[192.168.0.107:4002][V=1.1][R=dev][G=solar-group]
Result2 : zuul -> solar-service-a[192.168.0.107:3002][V=1.1][R=qa][G=solar-group] -> solar-service-b[192.168.0.107:4002][V=1.1][R=dev][G=solar-group]
Result3 : zuul -> solar-service-a[192.168.0.107:3002][V=1.1][R=qa][G=solar-group] -> solar-service-b[192.168.0.107:4002][V=1.1][R=dev][G=solar-group]
Result4 : zuul -> solar-service-a[192.168.0.107:3002][V=1.1][R=qa][G=solar-group] -> solar-service-b[192.168.0.107:4002][V=1.1][R=dev][G=solar-group]
* Passed
---------- Run automation testcase :: testVersionRuleGray() ----------
Result1 : zuul -> solar-service-a[192.168.0.107:3002][V=1.1][R=qa][G=solar-group] -> solar-service-b[192.168.0.107:4002][V=1.1][R=dev][G=solar-group]
Result2 : zuul -> solar-service-a[192.168.0.107:3001][V=1.0][R=dev][G=solar-group] -> solar-service-b[192.168.0.107:4001][V=1.0][R=qa][G=solar-group]
Result3 : zuul -> solar-service-a[192.168.0.107:3002][V=1.1][R=qa][G=solar-group] -> solar-service-b[192.168.0.107:4002][V=1.1][R=dev][G=solar-group]
Result4 : zuul -> solar-service-a[192.168.0.107:3001][V=1.0][R=dev][G=solar-group] -> solar-service-b[192.168.0.107:4001][V=1.0][R=qa][G=solar-group]
* Passed
```

### Nacos 測試總結

`Nacos` 不僅效能好，而且介面簡潔，這樣的註冊中心你值得擁有。

## 作者介紹

- 吳毅挺，掌門技術副總裁，負責技術中臺和少兒技術團隊。曾就職於百度、`eBay` 、攜程，曾任攜程高階研發總監，負責從零打造攜程私有云、容器雲、桌面雲和 `PaaS` 平臺。
- 任浩軍，掌門基礎架構部負責人。曾就職於平安銀行、萬達、惠普，曾負責平安銀行平臺架構部 `PaaS` 平臺 `Halo` 基礎服務框架研發。10 多年開源經歷，`Github` ID：@HaojunRen，`Nepxion` 開源社群創始人，`Nacos` Group Member，`Spring Cloud Alibaba` & `Nacos` & `Sentinel` & `OpenTracing` Committer。

參與 `Nacos` 落地的基礎架構部成員，包括：

- 童子龍，張彬彬，廖夢鴿，張金星，胡振建，謝璐，謝慶芳，伊安娜

> “[阿里巴巴雲原生](https://mp.weixin.qq.com/s/cVGFSXJHAeGpGJVy9YPYZg)關注微服務、Serverless、容器、Service Mesh 等技術領域、聚焦雲原生流行技術趨勢、雲原生大規模的落地實踐，做最懂雲原生開發者的公眾號。”</string></string>

掌門教育微服務體系Solar第3彈：Nacos企業級落地下篇

相關文章