手把手教你在容器服務 TKE 上使用 LB 直通 Pod

騰訊雲原生發表於2020-09-27

什麼是 LB 直通 Pod ?

Kubernetes 官方提供了 NodePort 型別的 Service，即給所有節點開一個相同埠用於暴露這個 Service，大多雲上 LoadBalancer 型別 Service 的傳統實現也都基於 NodePort，即 LB 後端綁各節點的 NodePort，LB 接收外界流量，轉發到其中一個節點的 NodePort 上，再通過 Kubernetes 內部的負載均衡，使用 iptables 或 ipvs 轉發到 Pod:

TKE 預設的 LoadBalancer 型別 Service 與預設的 Ingress 也都是這樣實現的，但目前也支援了 LB 直通 Pod 的方式，即 LB 後端直接綁 Pod IP+Port，不綁節點的 NodePort:

為什麼需要 LB 直通 Pod ?

LB 直接綁 NodePort 來實現雲上的 Ingress 或 LoadBalancer 型別 Service 是最簡單通用的方法，那為什麼有了這種實現還不夠，還要搞個 LB 直通 Pod 的模式？

首先，我們分析下傳統 NodePort 實現方式存在的一些問題：

  1. 流量從 LB 轉發到 NodePort 之後還需要進行 SNAT，再轉發到 Pod，會帶來一些額外的效能損耗。
  2. 如果流量過於集中到某幾個 NodePort 時(比如使用 nodeSelector 部署閘道器到固定幾臺節點上)，可能導致源埠耗盡，或者 conntrack 插入衝突。
  3. NodePort 本身也充當負載均衡器，LB 繫結過多節點 NodePort 可能導致負載均衡狀態過於分散，導致全域性負載不均。

如果使用 LB 直通 Pod 的方式，以上問題都將消失，並且還有一些其它好處：

  1. 由於沒有 SNAT，獲取源 IP 不再需要 externalTrafficPolicy: Local 。
  2. 實現會話保持更簡單，只需要讓 CLB 開啟會話保持即可，不需要設定 Service 的 sessionAffinity。

所以使用 LB 直通 Pod 的場景通常有:

  1. 在四層獲取客戶端真實源 IP，但又不希望通過使用 externalTrafficPolicy: Local 的方式。
  2. 希望進一步提升網路效能。
  3. 讓會話保持更容易。
  4. 解決全域性連線排程的負載不均。

需要什麼前提條件 ?

使用 LB 直通 Pod，需要滿足以下前提條件：

  1. Kubernetes叢集版本需要高於 1.12，因為 LB 直綁 Pod，檢查 Pod 是否 Ready，除了看 Pod 是否 Running、是否通過 readinessProbe 外， 還需要看 LB 對 Pod 的健康探測是否通過，這依賴於 ReadinessGate 特性，該特性在 Kubernetes 1.12 才開始支援。
  2. 叢集網路模式必須開啟VPC-CNI彈性網路卡模式，因為目前 LB 直通 Pod 的實現是基於彈性網路卡的，普通的網路模式暫時不支援，這個在未來將會支援。

怎麼用 ?

由於目前 LB 直通 Pod 依賴 VPC-CNI，需要保證 Pod 使用了彈性網路卡:

  1. 如果叢集建立時選擇的是 VPC-CNI 網路外掛，那麼建立的 Pod 預設就使用了彈性網路卡。

  2. 如果叢集建立時選擇的是 Global Router 網路外掛，後來開啟了 VPC-CNI 支援，即兩種模式混用，建立的 Pod 預設不使用彈性網路卡，需要使用 yaml 建立工作負載，為 Pod 指定 tke.cloud.tencent.com/networks: tke-route-eni 這個 annotation 來宣告使用彈性網路卡，並且為其中一個容器加上 tke.cloud.tencent.com/eni-ip: "1" 這樣的 requests 與 limits，示例:

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: nginx
  name: nginx-deployment-eni
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      annotations:
        tke.cloud.tencent.com/networks: tke-route-eni
      labels:
        app: nginx
    spec:
      containers:
        - image: nginx
          name: nginx
          resources:
            requests:
              tke.cloud.tencent.com/eni-ip: "1"
            limits:
              tke.cloud.tencent.com/eni-ip: "1"

當你用 LoadBalancer 的 Service 暴露服務時，需要宣告使用直連模式：

  1. 如果通過控制檯建立 Service，可以勾選 採用負載均衡直連Pod模式:

  1. 如果通過 yaml 建立 Service，需要為 Service 加上 service.cloud.tencent.com/direct-access: "true" 的 annotation:
apiVersion: v1
kind: Service
metadata:
  annotations:
    service.cloud.tencent.com/direct-access: "true"
  labels:
    app: nginx
  name: nginx-service-eni
spec:
  externalTrafficPolicy: Cluster
  ports:
  - name: 80-80-no
    port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: nginx
  sessionAffinity: None
  type: LoadBalancer

當使用 Ingress 暴露服務時，同樣也需要宣告使用直連模式:

  1. 如果通過控制檯建立 Ingress，可以勾選 採用負載均衡直連Pod模式:

  1. 如果通過 yaml 建立 Ingress，需要為 Ingress 加上 ingress.cloud.tencent.com/direct-access: "true" 的 annotation:
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  annotations:
    ingress.cloud.tencent.com/direct-access: "true"
    kubernetes.io/ingress.class: qcloud
  name: test-ingress
  namespace: default
spec:
  rules:
  - http:
      paths:
      - backend:
          serviceName: nginx
          servicePort: 80
        path: /

參考資料

【騰訊雲原生】雲說新品、雲研新術、雲遊新活、雲賞資訊，掃碼關注同名公眾號，及時獲取更多幹貨！！

相關文章