使用kind搭建kubernetes

使用kind搭建kubernetes

目錄

• 使用kind搭建kubernetes
  • kind架構
  • 建立叢集
  • 將映象載入到kind的node中
  • 配置kind叢集
    • 配置多節點
    • 多控制面
    • 指定Kubernetes的版本
    • 將node的埠對映到主機
  • ingress部署
    • 建立叢集
    • 部署ingress控制器
      • 測試ingress
  • 總結：
  • FAQ：

kind是一個非常方便的用於建立kubernetes測試叢集的工具，可以使用kind建立的叢集來對kubernetes進行測試。

kind架構

kind的架構如下，它將docker容器作為一個kubernetes的"node"，並在該"node"中安裝kubernetes元件。

虛擬機器和kind的一個"node"之間的網路模型如下，多"node"之間的通訊走bridge即可。

虛擬機器到node容器使用了docker的bridge網路(見下面的kind網橋)

# docker network ls
NETWORK ID          NAME                DRIVER              SCOPE
0912809efeab        bridge              bridge              local
3b3ab0cdd358        host                host                local
198d0909f9cf        kind                bridge              local
b0e304ef061c        none                null                local

在kind的"node"內部則預設使用了ptp模型，該模型的通訊機制比較簡單，容器和"node"直接通過一對veth進行通訊。

# cat /etc/cni/net.d/10-kindnet.conflist
{
        "cniVersion": "0.3.1",
        "name": "kindnet",
        "plugins": [
        {
                "type": "ptp",
                "ipMasq": false,
                "ipam": {
                        "type": "host-local",
                        "dataDir": "/run/cni-ipam-state",
                        "routes": [
                                {
                                        "dst": "0.0.0.0/0"
                                }
                        ],
                        "ranges": [
                        [
                                {
                                        "subnet": "10.244.0.0/24"
                                }
                        ]
                ]
                }
                ,
                "mtu": 1500

        },
        {
                "type": "portmap",
                "capabilities": {
                        "portMappings": true
                }
        }
        ]
}

"node"內的路由如下：10.244.0.2~0.4的地址就是"node"中的容器的eth0網路卡上的地址，通過位於"node"上的veth進行通訊。但"node"中的容器並不都是使用ptp網路模型，如kubernetes的apiserver，scheduler和controller-manager就是用了host模式。

# ip route
default via 172.18.0.1 dev eth0
10.244.0.2 dev vethc85f5947 scope host
10.244.0.3 dev vetheb946a41 scope host
10.244.0.4 dev veth46c994ce scope host
172.18.0.0/16 dev eth0 proto kernel scope link src 172.18.0.2

建立叢集

• 安裝kubectl

• 安裝kind命令：

  curl -Lo ./kind https://kind.sigs.k8s.io/dl/v0.9.0/kind-linux-amd64
  chmod +x ./kind
  mv ./kind /${some-dir-in-your-PATH}/kind
  

• 建立叢集，預設的叢集名稱為kind，可以使用引數--name指定建立的叢集的名稱，多叢集情況下比較有用

  kind create cluster
  

  也指定node映象來建立叢集，便於離線安裝

  kind create cluster --image kindest/node:latest
  

• 與叢集互動：

  1. 獲取叢集名稱，可以看到下面有兩個叢集

     # kind get clusters
     kind
     kind-2
     

  2. 切換叢集。可以使用如下命令分別切換到叢集kind和kind-2

     # kubectl cluster-info --context kind-kind
     # kubectl cluster-info --context kind-kind-2
     

• 刪除叢集，如使用如下命令可以刪除叢集kind-2

  kind delete cluster --name kind-2
  

將映象載入到kind的node中

kind建立的kubernetes會使用它的node上的映象，因此需要將將映象載入到node中才能被kubernetes使用(當然在node中也是可以直接拉取公網映象的)，在無法拉取公網映象的時候可以手動將映象load到node上使用。例如，使用如下方式可以將nginx映象載入到名為kind的叢集中：

# kind load docker-image nginx --name kind
Image: "nginx" with ID "sha256:7e4d58f0e5f3b60077e9a5d96b4be1b974b5a484f54f9393000a99f3b6816e3d" not yet present on node "kind-control-plane", loading...

配置kind叢集

可以在kind建立叢集的時候使用配置檔案進行自定義配置。例如可以使用--config指定配置檔案來建立叢集：

kind create cluster --config kind-example-config.yaml

配置多節點

上面部署的kubernetes中只有一個node，可以使用配置檔案部署多個節點。下面使用官方提供的預設配置檔案kind-config.yaml來建立叢集，該叢集含3個work節點：

# this config file contains all config fields with comments
# NOTE: this is not a particularly useful config file
kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
# patch the generated kubeadm config with some extra settings
kubeadmConfigPatches:
- |
  apiVersion: kubelet.config.k8s.io/v1beta1
  kind: KubeletConfiguration
  evictionHard:
    nodefs.available: "0%"
# patch it further using a JSON 6902 patch
kubeadmConfigPatchesJSON6902:
- group: kubeadm.k8s.io
  version: v1beta2
  kind: ClusterConfiguration
  patch: |
    - op: add
      path: /apiServer/certSANs/-
      value: my-hostname
# 1 control plane node and 3 workers
nodes:
# the control plane node config
- role: control-plane
# the three workers
- role: worker
- role: worker
- role: worker

建立上述叢集：

# kind create cluster --name multi-node --config=kind-config.yaml

切換到該叢集：

# kubectl cluster-info --context kind-multi-node

可以看到該叢集下有1個控制面node，以及3個work node：

# kubectl get node
NAME                       STATUS   ROLES    AGE     VERSION
multi-node-control-plane   Ready    master   7m57s   v1.19.1
multi-node-worker          Ready    <none>   7m21s   v1.19.1
multi-node-worker2         Ready    <none>   7m21s   v1.19.1
multi-node-worker3         Ready    <none>   7m21s   v1.19.1

多控制面

一般一個生產使用的kubernetes都會使用多個控制面來保證高可用，使用kind config可以方便地建立多控制面的kubernetes叢集。使用如下命令建立一個3控制面，3 work節點的叢集：

# this config file contains all config fields with comments
# NOTE: this is not a particularly useful config file
kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
# patch the generated kubeadm config with some extra settings
kubeadmConfigPatches:
- |
  apiVersion: kubelet.config.k8s.io/v1beta1
  kind: KubeletConfiguration
  evictionHard:
    nodefs.available: "0%"
# patch it further using a JSON 6902 patch
kubeadmConfigPatchesJSON6902:
- group: kubeadm.k8s.io
  version: v1beta2
  kind: ClusterConfiguration
  patch: |
    - op: add
      path: /apiServer/certSANs/-
      value: my-hostname
# 1 control plane node and 3 workers
nodes:
# the control plane node config
- role: control-plane
- role: control-plane
- role: control-plane
# the three workers
- role: worker
- role: worker
- role: worker

此時可以看到有3個控制面：

# kubectl get node
NAME                  STATUS   ROLES    AGE   VERSION
kind-control-plane    Ready    master   15m   v1.19.1
kind-control-plane2   Ready    master   14m   v1.19.1
kind-control-plane3   Ready    master   13m   v1.19.1
kind-worker           Ready    <none>   12m   v1.19.1
kind-worker2          Ready    <none>   12m   v1.19.1
kind-worker3          Ready    <none>   12m   v1.19.1

指定Kubernetes的版本

可以通過指定node的映象版本來修改kubernetes的版本。可以在官方release頁面中中查詢需要映象tag，推薦tag帶上sha，如

kindest/node:v1.19.1@sha256:98cf5288864662e37115e362b23e4369c8c4a408f99cbc06e58ac30ddc721600

kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane
  image: kindest/node:v1.16.4@sha256:b91a2c2317a000f3a783489dfb755064177dbc3a0b2f4147d50f04825d016f55
- role: worker
  image: kindest/node:v1.16.4@sha256:b91a2c2317a000f3a783489dfb755064177dbc3a0b2f4147d50f04825d016f55

將node的埠對映到主機

可以通過如下方式將node的埠對映到主機，

kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane
  extraPortMappings:
  - containerPort: 80
    hostPort: 80
    listenAddress: "0.0.0.0" # Optional, defaults to "0.0.0.0"
    protocol: udp # Optional, defaults to tcp

kind對cluster的更新(如啟用IPv6，配置nodeport等)有一個弊端，就是隻能通過重新建立叢集來"更新"配置。目前官方不支援對控制面的更新操作，可以參見該issue。更多配置參見官方文件。

ingress部署

可以通過KIND的extraPortMapping配置選項來將流量從主機轉發到node的ingress控制器上。

可以通過kubeadm的InitConfiguration來設定自定義的node-labels，用於ingress控制器的nodeSelector。

建立叢集

使用extraPortMappings 和node-labels建立一個叢集。

cat <<EOF | kind create cluster --config=-
kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane
  kubeadmConfigPatches:
  - |
    kind: InitConfiguration
    nodeRegistration:
      kubeletExtraArgs:
        node-labels: "ingress-ready=true"
  extraPortMappings:
  - containerPort: 80
    hostPort: 80
    protocol: TCP
  - containerPort: 443
    hostPort: 443
    protocol: TCP
EOF

部署ingress控制器

kind支援的ingress控制器如下：

• Ambassador
• Contour
• Ingress NGINX

下面部署NGINX ingress。

kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/provider/kind/deploy.yaml

在部署ingree的過程中可能會遇到無法找到secret ingress-nginx-admission的問題，出現該問題的原因可能是因為如下兩個job無法正常啟動造成的，參見該issue。如果是因為無法拉取外網映象，可以先將deploy.yaml檔案下載到本地，將映象手動載入到本地主機上，然後使用上面提到的kind load docker-image命令將映象載入到node上即可。

測試ingress

建立如下資源：kubectl apply -f usage.yaml

kind: Pod
apiVersion: v1
metadata:
  name: foo-app
  labels:
    app: foo
spec:
  containers:
  - name: foo-app
    image: hashicorp/http-echo:0.2.3
    args:
    - "-text=foo"
---
kind: Service
apiVersion: v1
metadata:
  name: foo-service
spec:
  selector:
    app: foo
  ports:
  # Default port used by the image
  - port: 5678
---
kind: Pod
apiVersion: v1
metadata:
  name: bar-app
  labels:
    app: bar
spec:
  containers:
  - name: bar-app
    image: hashicorp/http-echo:0.2.3
    args:
    - "-text=bar"
---
kind: Service
apiVersion: v1
metadata:
  name: bar-service
spec:
  selector:
    app: bar
  ports:
  # Default port used by the image
  - port: 5678
---
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: example-ingress
spec:
  rules:
  - http:
      paths:
      - path: /foo
        backend:
          serviceName: foo-service
          servicePort: 5678
      - path: /bar
        backend:
          serviceName: bar-service
          servicePort: 5678
---

在遠端curl該主機所在上的foo和bar服務，可以看到網路是通的，此時走的是ingress通過kind配置extraPortMappings暴露的nodeport 80埠。

C:\Users\liuch>curl 192.168.100.11/foo
foo

C:\Users\liuch>curl 192.168.100.11/bar
bar

總結：

kind是一個非常方便的kubernetes部署工具，可以快速地部署多個kubernetes叢集。但也有一些實現上的瑕疵，比如，kind不支援對叢集的升級，手動載入映象的過程也比較麻煩，但總體使用上來看，瑕不掩瑜。

FAQ：

• 在切換叢集時出現The connection to the server localhost:8080 was refused - did you specify the right host or port?，且使用如kubectl config use-context kind-kind這樣的命令也無法成功切換叢集。

  可以在/root/.kube/config檔案中檢視支援的context名稱(如下面使用的context為kind-kind)，然後使用kubectl config use-context kind-kind即可:

  apiVersion: v1
  clusters:
  - cluster:
      certificate-authority-data: ...
      server: https://127.0.0.1:39923
    name: kind-kind
  contexts:
  - context:
      cluster: kind-kind
      user: kind-kind
    name: kind-kind
  current-context: kind-kind
  kind: Config
  preferences: {}
  users:
  - name: kind-kind
    user:
      client-certificate-data: ...