## 背景

騰訊雲容器服務TKE從2016年提供服務至今，已服務成千上萬企業構建其容器化平臺， 一方面，騰訊雲容器團隊在提供容器服務時積累並完善了一套萬級K8s叢集的etcd管理平臺，用於支撐騰訊雲容器產品穩定執行，該平臺同時也支撐了騰訊內部業務如雲監控，api閘道器，歡樂遊戲等，另一方面，我們積極參與etcd社群，將我們大規模實踐過程中遇到的問題和解決方案，反饋和貢獻給社群，是社群2020年最活躍的貢獻團隊之一。

容器團隊在多次客戶訪談中瞭解到，很多客戶不想自己運維etcd，期望能夠使用騰訊雲容器服務內部etcd平臺的能力和經驗。 因此我們推出了騰訊雲原生etcd服務。

## 騰訊雲原生etcd服務介紹

### etcd是什麼

etcd是一個分散式、高可靠的鍵值儲存，可以容忍叢集中部分節點故障，只要有一半以上節點存活即可對外提供服務。主要用於後設資料儲存，服務發現，分散式選舉等場景，如Kubernetes，CoreDNS等。基於etcd提供的Watch機制，可以很方便的實現釋出訂閱等功能。
![](https://main.qcloudimg.com/raw/f37fa23420dd1f3068c6c331c9115a31.png)

### 為什麼要推出etcd服務

容器團隊在拜訪客戶時瞭解到，很多客戶由於對etcd瞭解程度不夠，導致在實際使用和運維過程中出現過很多問題。 例如有些客戶使用了v3的api寫資料卻使用了v2的api進行資料備份，還有些客戶因為叢集恢復時引數指定的有問題導致叢集無法正常重建，從而影響業務恢復，更有甚者，因為自動壓縮引數配置的有問題而頻繁的使用defrag進行碎片整理，還有很多業務因為使用姿勢的問題導致etcd效能嚴重下降，頻繁leader選舉，間接造成業務不可用，資料丟失等。

此外，使用者自建etcd往往還需要自己再維護一套etcd監控告警系統和備份恢復機制，增加了運維負擔，自建etcd叢集容易疏忽監控和備份機制，往往出了問題之後才後知後覺。雖然目前業界已經有了很多基於K8s的etcd管理方案，一定程度上減輕了運維負擔，如etcd-operator（目前已不再維護），基於helm部署的etcd等，但這些專案在可用性和易用性上並沒有保障，出了問題之後往往更難恢復。

騰訊雲容器團隊目前線上運維了上萬套K8s叢集，後端使用了上千套etcd叢集作為支撐儲存，在保障etcd穩定運營的過程中，我們遇到過很多問題，也因此積累了大量的實踐經驗，並孵化出了一套自動化etcd管理平臺：包含完善的監控告警，備份恢復和容災機制，強大的巡檢能力能夠幫助我們進行熱點資料分析，混沌工程幫助我們主動發現一些隱藏的bug，可控的變更和升級機制能夠讓我們針對問題版本進行快速升級。

目前我們已經在騰訊內部為多個業務團隊提供etcd服務，保障業務快速上線和穩定運營。 為服務更多客戶，我們推出了雲原生etcd產品服務，將我們內部的能力提供出來，衷心期望能夠幫您解決etcd的運維負擔。

### 騰訊雲原生etcd服務介紹

騰訊雲容器團隊提供的雲原生etcd服務可以幫助您：

- 一鍵部署經騰訊內部大規模驗證的高可靠高效能etcd叢集，支援跨可用區容災能力、專業團隊為您提供最最佳化的效能配置。
- 整合雲原生監控能力，提供完善的監控和告警機制
- 提供etcd日常運維管理能力：
  - 備份恢復：支援自動備份和手動備份、災難情況可以選擇從備份恢復叢集
  - 配置升降、叢集擴縮容：藉助騰訊雲上計算儲存資源，您可以方便快速調整etcd叢集配置和節點個數
  - etcd版本升級：幫助您快速安全地跟進社群bugfix版本更新，版本上線前會經過內部大規模場景驗證，避免因etcd自身bug造成隱患。

##### 一鍵部署etcd叢集

![](https://main.qcloudimg.com/raw/061471ebadc360a454ba2fb962abe818.png)

##### 整合雲原生監控

除原生指標外，整合雲原生監控還同時支援擴充套件的巡檢指標，如資料一致性巡檢，叢集健康探測，業務寫QPS巡檢等。

![](https://main.qcloudimg.com/raw/3e80d0dfe6300598ee65023e1be92a9e.png)

##### etcd叢集管理

![](https://main.qcloudimg.com/raw/e1c8eb8a3a5d1f55c21daf324a8f238d.png)

![](https://main.qcloudimg.com/raw/3db815c43f2aff6b645531c2dd09618e.png)

### 騰訊雲原生etcd服務產品優勢

##### 易用使用的託管部署

您可以在騰訊雲容器服務控制檯一鍵建立高可靠，高效能etcd叢集， 即可在幾分鐘內啟動一個可投入生產的etcd叢集。底層資源基於K8s部署，透過operator進行管理，支援將節點打散到不同的可用區，在3個可用區的情況下，單可用區掛掉不影響叢集正常服務，節點掛掉之後可以快速自愈，最大程度降低不可用時間。資料持久化儲存於騰訊云云硬碟，具備多副本的容災能力。您不需要過多關注etcd的各項複雜引數，我們會根據您的叢集配置，自動適配到合適的引數配置。

![](https://main.qcloudimg.com/raw/f483dc341e2468ba41ffea084bdf875c.png)

##### 安全的資料訪問

支援開啟https雙向認證及鑑權，資料訪問更加安全。支援透過安全組來限制訪問來源。

##### 完善的資料備份/恢復

您可以在控制檯建立叢集時或叢集建立完成後設定etcd的備份策略，支援定時的將資料備份到騰訊雲物件儲存COS服務，您也可以手動來觸發備份。在叢集資料異常需要回滾的情況下，可以透過COS備份來恢復叢集。

##### 全面的監控告警

無縫對接騰訊雲原生監控服務（託管prometheus服務），預設提供您需要關注的各項效能指標和可用性指標，您也可以自行聚合需要的監控指標和皮膚，幫助您更好的監控etcd叢集狀態。

##### 熱點資料分析

除預設的監控能力外，我們額外提供了熱點資料分析和慢查詢分析能力，可以幫助您更好的分析異常請求來源，及時發現問題並進行最佳化。

##### 完善的保障機制

雲原生etcd服務的高可靠性讓您可以放心將資料放在雲端，無需擔心資料丟失，也簡化了傳統運維工作中為保障資料高可靠帶來的額外工作量和額外的 IT 投入成本。

##### 可靠的版本驗證和更新機制

版本上線前會經過完善的內部測試和大規模驗證，透過混沌工程進行故障演練，保證版本的穩定性。

##### 全流程的運維服務

您無需關心雲原生etcd服務的安裝、部署、版本更新及故障處理，容器團隊為您免除後顧之憂。

## 內測邀請

我們誠摯邀請您參與騰訊雲原生etcd服務的內測， 您可以透過以下連結提交內測申請：https://cloud.tencent.com/apply/p/deks64tn14b

## 附錄：

[《三年之久的 etcd3 資料不一致 bug 分析》](https://mp.weixin.qq.com/s/VJi1jzTK2G7bH1pi4ND7Yw)

[《萬級K8s叢集背後etcd穩定性及效能最佳化實踐》](https://mp.weixin.qq.com/s/n78Js9zZrd_RNY2viNEt-w)

騰訊雲推出雲原生etcd服務

相關文章