【Kubernetes學習筆記】-kubeadm 手動搭建kubernetes 叢集

IT胖發表於2020-12-08
筆記

目錄

kubeadm是Kubernetes官方提供的用於快速安裝Kubernetes叢集的工具，通過將叢集的各個元件進行容器化安裝管理，通過kubeadm的方式安裝叢集比二進位制的方式安裝要方便不少。

安裝參考- https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/

每一個節點主機上包括master節點都要手動安裝並執行docker，同時也都要手動安裝並執行kubelet。如果將第一個節點初始化為master節點，在執行初始化這個步驟，其實就是通過kubeadm工具將API Server、etcd、controller-manager、scheduler各元件執行為Pod，也就是跑在docker上。而其他node節點，因已經執行了kubelet、docker元件，剩下的kube-proxy元件也是要執行在Pod上。

kubeadm

K8S 元件構成

  • kubectl

  • kubeadm

  • K8s Master

    • kubelet
    • kube-proxy
    • kube-apiserver
    • kube-scheduler
    • kube-controller-manager
    • etcd

  • K8s Node

    • kubelet
    • kube-proxy

  • calico

  • coredns

環境準備 (以ubuntu系統為例）

1. kubernetes叢集機器

機器IP 機器hostname K8s叢集角色 機器作業系統
172.20.249.16 172-20-249-16 master ubuntu16.04
172.20.249.17 172-20-249-17 node ubuntu16.04
172.20.249.18 172-20-249-18 node ubuntu16.04

使用如下命令設定hostname: (非必須)

# 172.20.249.16
hostnamectl --static set-hostname k8s-master
# 172.20.249.17
hostnamectl --static set-hostname k8s-node-01
# 172.20.249.18
hostnamectl --static set-hostname k8s-node-02

Kubernetes v1.8+ 要求關閉系統 Swap，請在所有節點利用以下指令關閉 （否則kubelet會出錯！）

swapoff -a && sed -i '/ swap / s/^/#/' /etc/fstab

2. 安裝 docker、 kubeadm、kubelet、kubectl

2.1 在每臺機器上安裝 docker

# step 1: 安裝必要的一些系統工具
sudo apt-get update
sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common

# step 2: 安裝GPG證書
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -

# Step 3: 寫入軟體源資訊
sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"

# Step 4: 更新並安裝 Docker-CE (可指定版本)
sudo apt-get -y update
sudo apt-get -y install docker-ce

sudo apt-get -y install docker-ce=17.03.0~ce-0~ubuntu-xenial

2.2 每臺機器上安裝 kubelet 、kubeadm 、kubectl

  • kubeadm: the command to bootstrap the cluster.
  • kubectl: the command line util to talk to your cluster
  • kubelet: the component that runs on all of the machines in your cluster and does things like starting pods and containers.
apt-get update && apt-get install -y apt-transport-https

# 安裝 GPG 證書
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add -

# 寫入軟體源；注意：我們用系統代號為 bionic，但目前阿里雲不支援，所以沿用 16.04 的 xenial
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF

apt-get update

apt-get install -y kubelet kubeadm kubectl

# 指定版本
apt-get install -y kubelet=1.18.8-00 kubeadm=1.18.8-00 kubectl=1.18.8-00

install-kube

建立 kubernetes 叢集

kubeadm

kubeadm是一個構建k8s叢集的工具。它提供的kubeadm init和 kubeadm join 兩個命令是快速構建k8s叢集的最佳實踐。 其次，kubeadm工具只為構建最小可用叢集，它只關心叢集中最基礎的元件，至於其他的外掛（比如dashboard、CNI等）則不會涉及

  1. kubeadm init to bootstrap the initial Kubernetes control-plane node.

  2. kubeadm join to bootstrap a Kubernetes worker node or an additional control plane node, and join it to the cluster.

  3. kubeadm upgrade to upgrade a Kubernetes cluster to a newer version.

  4. kubeadm reset to revert any changes made to this host by kubeadm init or kubeadm join.

更多瞭解 kubeadm - https://www.cnblogs.com/shoufu/p/13047723.html

在 master 節點 init 叢集

kubeadm 初始化整個叢集的過程，會生成相關的各種證書、kubeconfig 檔案、bootstraptoken 等等

注意： 如果使用直接使用kubeadm init，會使用預設配置（如下）

kubeadm config print init-defaults --kubeconfig ClusterConfiguration > kubeadm.yml 可列印預設配置

apiVersion: kubeadm.k8s.io/v1beta2
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  token: abcdef.0123456789abcdef
  ttl: 24h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 1.2.3.4
  bindPort: 6443
nodeRegistration:
  criSocket: /var/run/dockershim.sock
  name: k8s-master
  taints:
  - effect: NoSchedule
    key: node-role.kubernetes.io/master
---
apiServer:
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta2
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns:
  type: CoreDNS
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: k8s.gcr.io
# 預設情況下kubeadm會到k8s.gcr.io拉取映象，不過對於一些私有化部署（比如國記憶體在牆的情況下，上面的地址是訪問不到的），就需要自定義映象地址了 如： imageRepository: registry.aliyuncs.com/google_containers
kind: ClusterConfiguration
kubernetesVersion: v1.18.0
networking:
  dnsDomain: cluster.local
  podSubnet: 10.244.0.0/16 # 新增該配置
  serviceSubnet: 10.96.0.0/12
scheduler: {}

修改配置檔案後， 執行命令 kubeadm init --config kubeadm.yml即可

或者 直接傳遞引數執行 （如下）

kubeadm init --image-repository registry.aliyuncs.com/google_containers --pod-network-cidr=10.244.0.0/16



#選擇flannel作為 Pod 的網路外掛，所以需要指定 --pod-network-cidr=10.244.0.0/16
#選擇flannel作為 Pod 的網路外掛，所以需要指定 --pod-network-cidr=192.168.0.0/16

引數說明：

--apiserver-advertise-address：這個引數指定了監聽的API地址。若沒有設定，則使用預設網路介面。

--apiserver-bind-port：這個引數指定了API伺服器暴露出的埠號，預設是6443

--kubernetes-version：指定kubeadm安裝的kubernetes版本。這個是很重要的，因為預設情況下kubeadm會安裝與它版本相同的kubernetes版本

--image-repository 可以指定國內的映象倉庫。 預設k8s.gcr.io 國內無法訪問

-- token-ttl：令牌被刪除前的時間，預設是24h。kubeadm初始化完畢後會生成一個令牌，讓其他節點能夠加入叢集，過時之後這個令牌會自動刪除。如果設定為0之後令牌就永不過期

如下所示，kubeadm init 會 pull 必要的映象，可能時間會比較長 (kubeadm config images pull 可測試是否可以拉取映象，如果加了 --image-repository registry.aliyuncs.com/google_containers，不會擔心在國內拉取映象問題)

user@k8s-master:~$ kubeadm config images list
k8s.gcr.io/kube-apiserver:v1.18.9
k8s.gcr.io/kube-controller-manager:v1.18.9
k8s.gcr.io/kube-scheduler:v1.18.9
k8s.gcr.io/kube-proxy:v1.18.9
k8s.gcr.io/pause:3.2
k8s.gcr.io/etcd:3.4.3-0
k8s.gcr.io/coredns:1.6.7

init 完後，可以看到如下提示：

master-init

按照提示在 master 節點執行以下命令: (否則會出錯)

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

此時， master 處於ready 狀態

NAME         STATUS   ROLES    AGE   VERSION
k8s-master   Ready    master   14m   v1.18.6

在worker 節點執行命令 join 到叢集

拷貝在 master 節點 init 後的 join 命令，在其他兩個 worker 節點執行:

kubeadm join 172.20.249.16:6443 --token cma8ob.ow9sfv5erqgkkp30 \
    --discovery-token-ca-cert-hash sha256:def379576eacaddbb4bbf4ca12fbb8a0b77383e4521cbf238f21c8dd3cb80fab

可以看到該節點已經加入到叢集中去了，然後我們把 master 節點的~/.kube/config檔案拷貝到當前節點對應的位置即可使用 kubectl 命令列工具了。

mkdir -p $HOME/.kube
# copy master "/etc/kubernetes/admin.conf"
sudo scp root@172.20.249.16:/etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

要注意將上面的加入叢集的命令儲存下面，如果忘記，可以使用以下命令獲取

kubeadm token create --print-join-command

安裝 Pod Network (在 master 節點 flannel/Calico 網路外掛)

在 master 節點檢視叢集情況,可以看到節點的 status 還是 NotReady，這是由於還沒有網路外掛。

以 flannel外掛 為例,在 master 節點 執行

#For Kubernetes v1.7+
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
kubectl apply -f  kube-flannel.yml

Calico外掛- 參考 https://docs.projectcalico.org/getting-started/kubernetes/quickstart

等待所有的 pod 都是 running 狀態，可以看到所有 node 的 status 是 running 的狀態，這時 kubernetes 叢集就搭建好了。

node-ready

至此3個節點的叢集搭建完成，後續可以繼續新增node節點，或者部署dashboard、helm包管理工具、EFK日誌系統、Prometheus Operator監控系統、rook+ceph儲存系統等元件

部署一個簡單示例

kubectl create -f nginx-deployment.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
  labels:
    app: nginx
spec:
  selector:
    matchLabels:
      app: nginx
  replicas: 3
  strategy:
    type: RollingUpdate
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
        - name: nginx
          image: nginx:latest
          ports:
            - containerPort: 80

釋出服務,暴露埠

kubectl expose deployment nginx-deployment --port=80 --type=LoadBalancer

相關文章