容器網路Cilium：DualStack雙棧特性分析

華為雲開發者聯盟發表於2023-12-15

本文分享自華為雲社群《容器網路Cilium入門系列之DualStack雙棧特性分析》，作者：可以交個朋友。

一、關於IPV6/IPV4 雙棧

目前很多公司開始將自己的業務由ipv4切換成ipv6，或者ipv4,ipv6共存。

ipv4 ipv6共存（DualStack）有兩種方式:

一個網路卡上有兩個IP地址，一個是ipv4，一個是ipv6。標準實現方式。
兩個同樣功能的網路卡介面，一個提供ipv4，一個提供ipv6。透過負載均衡機制，將對應地址的請求傳送到對應的網路卡。

目前k8s叢集已經支援ipv4/ipv6雙棧，從1.21的alpha版本到如今1.23的stable版本。

同樣cilium cni也對雙棧技術做了實現，是一個inCluster層面的實現，如果資料流量要進出叢集，就需要平臺級的實現。

二、Cilium DualStack 雙棧環境搭建

依舊是kind快速搭建k8s叢集

#1-setup-env.sh
#! /bin/bash
date
set -v

# 1.prep nocNI env
cat <<EOF |kind create cluster --name=cilium-dual-stack --image=kindest/node:v1.23.4  --config=-
kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
networking:
  disableDefaultCNI: true  #kind 預設使用rancher cni，我們不需要該cni
  ipFamily: dual
nodes:
  - role: control-plane
  - role: worker
  - role: worker

EOF

# 2. remove taints
controller_node=`kubectl get nodes --no-headers -o custom-columns=NAME:.metadata.name |grep control-plane`
kubectl taint nodes $controller_node node-role.kubernetes.io/master:NoSchedule-
kubectl get nodes -owide

# 3.  install cni
helm repo add cilium  https://helm.cilium.io > /dev/null 2>&1
helm repo update > /dev/null  2>&1

helm  install cilium  cilium/cilium --set k8sServiceHost=$controller_node --set k8sServicePort=6443 --version 1.13.0-rc5 \
--namespace kube-system --set debug.enabled=true --set debug.verbose=datapath --set monitorAggregation=none \
--set ipam.mode=kubernetes --set cluster.name=cilium-dual-stack --set tunnel=vxlan  --set kubeProxyReplacement=disabled \
--set ipv6.enabled=true

#4. install necessary tools
for i in $(docker ps -a --format "table {{.Names}}" |grep cilium-dual-stack)
do
                echo $i
                #docker cp ./bridge $i:/opt/cni/bin/
                docker cp /usr/bin/ping $i:/usr/bin/ping
                docker exec -it $i bash -c "sed -i -e  's/jp.archive.ubuntu.com\|archive.ubuntu.com\|security.ubuntu.com/old-releases.ubuntu.com/g' /etc/apt/sources.list"
                docker exec -it $i bash -c "apt-get -y update > /dev/null && apt-get -y install net-tools tcpdump lrzsz > /dev/null 2>&1"
done

其中關鍵配置有:

ipFamily: dual 建立叢集需要為叢集開啟雙棧配置
set kubeProxyReplacement=disabled 雙棧依賴kube-proxy
set ipv6.enabled=true ipv4是預設開啟的，ipv6需要手動開啟
set tunnel=vxlan vxlan模式下，安裝更簡單

部署demo應用

apiVersion: apps/v1
kind: Deployment
metadata:
  name: app
  labels:
    app: app
spec:
  replicas: 2
  selector:
    matchLabels:
      app: app
  template:
    metadata:
      labels:
        app: app
    spec:
      containers:
      - name: nettool
        image: burlyluo/nettool
        securityContext:
          privileged: true

---
apiVersion: v1
kind: Service
metadata:
  name: app
spec:
  ipFamilyPolicy: PreferDualStack
  ipFamilies:
  - IPv6
  - IPv4
  type: ClusterIP
  selector:
    app: app
  ports:
  - name: app
    port: 8080
    targetPort: 80