在 Kubernetes Ingress 中支援 Websocket/Socket 服務

【雨歌】發表於2020-11-17
Web

Kubernetes Ingress 可將叢集內部的 Service 通過 HTTP/HTTPS 的方式暴露供外部訪問，並通過路徑匹配規則定義服務的路由。但是 Ingress 對 TCP/UDP 的服務卻支援的不那麼好。如果我們服務中有使用 Websocket 或 Socket， 需要暴露給外部訪問，在 Kubernetes 中該如何配置呢？

大致有兩種方式[見參考文件1]：

  1. 使用 NodePort， 使用節點 IP 與 NodePort 暴露的埠訪問
  2. 使用 ClusterIp + Ingress + ConfigMap

使用 NodePort 將埠直接暴露，需要節點有外網 IP，且該方式可能繞過現有的 TLS， 存在安全性的問題。

ClusterIp 只能在叢集內部訪問，由 Ingress 進行代理對外暴露，但對於 TCP/UDP， Ingress 不支援直接代理， 需要藉助 ConfigMap 進行對映。

NodePort 的方式比較簡單， 本文介紹 ClusterIp + Ingress + ConfigMap 的方式。

建立 ClusterIp 服務

假設有一個 Websocket/Socket 服務，暴露埠 8828， 針對該服務定義 ClusterIp 配置如下（不宣告 type， 預設即為 ClusterIp），

apiVersion: v1
kind: Service
metadata:
  name: my-websocket-svc
  namespace: develop
spec:
  ports:
    - name: socket
      port: 8828
      targetPort: 8828
      protocol: TCP
  selector:
    app: my-websocket

建立 ClusterIp，

[root@kmaster k8s-deploy]# kubectl apply -f my-websocket-svc.yaml

建立 ConfigMap

在 ingress-nginx-controller 所在的 namespace 下建立 ConfigMap（如果已經有 ConfigMap 了， 則可在已有 ConfigMap 的 data 部分新增下面配置中的 data 條目）

apiVersion: v1
kind: ConfigMap
metadata:
  name: tcp-services
  namespace: ingress-nginx
data:
  8828: "develop/my-websocket-svc:8828"

data 部分的格式為： <namespace/service name>:<service port>:[PROXY]:[PROXY]， [PROXY]:[PROXY] 部分為可選。 上述配置表示將宿主機的 8828 埠 對映到 develop namespace 下 my-websocket-svc 服務的 8828 埠上。

建立 ConfigMap，

[root@kmaster k8s-deploy]# kubectl apply -f tcp-service-configmap.yaml

配置 ingress-nginx-controller

修改 ingress-nginx-controller 的配置，

[root@kmaster ~]# kubectl edit deploy ingress-nginx-controller -n ingress-nginx

在 .spec.template.spec.containers[].args[] 部分新增 --tcp-services-configmap=$(POD_NAMESPACE)/tcp-services （或針對 UDP， --udp-services-configmap=$(POD_NAMESPACE)/udp-services）， 如下圖所示

ingress-tcp

在.spec.template.spec.containers[].ports[] 部分新增 port 對映，如圖

ingress-tcp-port

經驗證，不加該部分 port 對映配置也沒問題

儲存，應用配置更新，nginx-ingress-controller 將會自動重啟 Pod，使配置生效。

驗證

在 nginx-ingress-controller Pod 所在節點上執行如下命令檢視是否監聽了 TCP 埠，

ingress-tcp-check

如上，8828 埠已被 nginx-ingress 監聽。

對於 Websocket 應用， 可使用 wscat 進行除錯

C:\Users\Administrator>wscat -c ws://域名:8828
Connected (press CTRL+C to quit)
>

wscat 安裝： npm install -g wscat

其它

  1. 注意 ConfigMap 的 namesapce 與 nginx-ingress-controller 一致，否則將 --tcp-services-configmap=$(POD_NAMESPACE)/tcp-services 中的 $(POD_NAMESPACE) 改為 ConfigMap 具體的 namesapce
  2. 如果將 nginx-ingress-controller 繫結了節點，則重啟可能導致失敗（因為埠分配衝突），可先刪除（kubectl delete deploy ingress-nginx-controller -n ingress-nginx），再新建（kubectl apply -f nginx-ingress.yaml），該操作會影響服務可用性，生產環境需慎重
  3. 如果配置後未生效，可通過檢視 nginx-ingress-controller Pod 的日誌定位原因 kubectl logs ingress-nginx-controller-58fdbbc68d-wqtlr -n ingress-nginx

參考文件：

  1. https://www.ibm.com/support/knowledgecenter/en/SSSHTQ/omnibus/helms/all_helms/wip/reference/hlm_expose_probe.html
  2. https://github.com/kubernetes/ingress-nginx/blob/master/docs/user-guide/exposing-tcp-udp-services.md

[轉載請註明出處]
作者：雨歌
歡迎關注作者公眾號：半路雨歌，檢視更多技術乾貨文章
qrcode

相關文章