使用 tke-autoscaling-placeholder 實現秒級彈性伸縮

騰訊雲原生發表於2021-01-26

背景

當 TKE 叢集配置了節點池並啟用了彈性伸縮，在節點資源不夠時可以觸發節點的自動擴容 (自動買機器並加入叢集)，但這個擴容流程需要一定的時間才能完成，在一些流量突高的場景，這個擴容速度可能會顯得太慢，影響業務。 tke-autoscaling-placeholder 可以用於在 TKE 上實現秒級伸縮，應對這種流量突高的場景。

原理是什麼?

tke-autoscaling-placeholder 實際就是利用低優先順序的 Pod 對資源進行提前佔位(帶 request 的 pause 容器，實際不怎麼消耗資源)，為一些可能會出現流量突高的高優先順序業務預留部分資源作為緩衝，當需要擴容 Pod 時，高優先順序的 Pod 就可以快速搶佔低優先順序 Pod 的資源進行排程，而低優先順序的 tke-autoscaling-placeholder 的 Pod 則會被 "擠走"，狀態變成 Pending，如果配置了節點池並啟用彈性伸縮，就會觸發節點的擴容。這樣，由於有了一些資源作為緩衝，即使節點擴容慢，也能保證一些 Pod 能夠快速擴容並排程上，實現秒級伸縮。要調整預留的緩衝資源多少，可根據實際需求調整 tke-autoscaling-placeholder的 request 或副本數。

有什麼使用限制?

使用該應用要求叢集版本在 1.18 以上。

如何使用?

安裝 tke-autoscaling-placeholder

在應用市場找到 tke-autoscaling-placeholder，點選進入應用詳情，再點 建立應用:

img

選擇要部署的叢集 id 與 namespace，應用的配置引數中最重要的是 replicaCount 與 resources.request，分別表示 tke-autoscaling-placeholder 的副本數與每個副本佔位的資源大小，它們共同決定緩衝資源的大小，可以根據流量突高需要的額外資源量來估算進行設定。

最後點選建立，你可以檢視這些進行資源佔位的 Pod 是否啟動成功:

$ kubectl get pod -n default
tke-autoscaling-placeholder-b58fd9d5d-2p6ww   1/1     Running   0          8s
tke-autoscaling-placeholder-b58fd9d5d-55jw7   1/1     Running   0          8s
tke-autoscaling-placeholder-b58fd9d5d-6rq9r   1/1     Running   0          8s
tke-autoscaling-placeholder-b58fd9d5d-7c95t   1/1     Running   0          8s
tke-autoscaling-placeholder-b58fd9d5d-bfg8r   1/1     Running   0          8s
tke-autoscaling-placeholder-b58fd9d5d-cfqt6   1/1     Running   0          8s
tke-autoscaling-placeholder-b58fd9d5d-gmfmr   1/1     Running   0          8s
tke-autoscaling-placeholder-b58fd9d5d-grwlh   1/1     Running   0          8s
tke-autoscaling-placeholder-b58fd9d5d-ph7vl   1/1     Running   0          8s
tke-autoscaling-placeholder-b58fd9d5d-xmrmv   1/1     Running   0          8s

tke-autoscaling-placeholder 的完整配置參考下面的表格:

引數 描述 預設值
replicaCount placeholder 的副本數 10
image placeholder 的映象地址 ccr.ccs.tencentyun.com/library/pause:latest
resources.requests.cpu 單個 placeholder 副本佔位的 cpu 資源大小 300m
resources.requests.memory 單個 placeholder 副本佔位的記憶體大小 600Mi
lowPriorityClass.create 是否建立低優先順序的 PriorityClass (用於被 placeholder 引用) true
lowPriorityClass.name 低優先順序的 PriorityClass 的名稱 low-priority
nodeSelector 指定 placeholder 被排程到帶有特定 label 的節點 {}
tolerations 指定 placeholder 要容忍的汙點 []
affinity 指定 placeholder 的親和性配置 {}

部署高優先順序 Pod

tke-autoscaling-placeholder 的優先順序很低，我們的業務 Pod 可以指定一個高優先的 PriorityClass，方便搶佔資源實現快速擴容，如果沒有可以先建立一個:

apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: high-priority
value: 1000000
globalDefault: false
description: "high priority class"

在我們的業務 Pod 中指定 priorityClassName 為高優先的 PriorityClass:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
spec:
  replicas: 8
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      priorityClassName: high-priority # 這裡指定高優先的 PriorityClass
      containers:
      - name: nginx
        image: nginx
        resources:
          requests:
            cpu: 400m
            memory: 800Mi

當叢集節點資源不夠，擴容出來的高優先順序業務 Pod 就可以將低優先順序的 tke-autoscaling-placeholder 的 Pod 資源搶佔過來並排程上，然後 tke-autoscaling-placeholder 的 Pod 再 Pending:

$ kubectl get pod -n default
NAME                                          READY   STATUS    RESTARTS   AGE
nginx-bf79bbc8b-5kxcw                         1/1     Running   0          23s

【騰訊雲原生】雲說新品、雲研新術、雲遊新活、雲賞資訊，掃碼關注同名公眾號，及時獲取更多幹貨！！

相關文章