附034.Kubernetes_v1.21.0高可用部署架構二

木二發表於2021-04-19

kubeadm介紹

kubeadm概述

Kubeadm 是一個工具，它提供了 kubeadm init 以及 kubeadm join 這兩個命令作為快速建立 kubernetes 叢集的最佳實踐。
kubeadm 通過執行必要的操作來啟動和執行一個最小可用的叢集。kubeadm 只關心啟動叢集，而不關心其他工作，如部署前的節點準備工作、安裝各種Kubernetes Dashboard、監控解決方案以及特定雲提供商的外掛，這些都不屬於 kubeadm 關注範圍。

kubeadm功能

kubeadm 主要有如下功能：

kubeadm init 啟動一個 Kubernetes 主節點；
kubeadm join 啟動一個 Kubernetes 工作節點並且將其加入到叢集；
kubeadm upgrade 更新一個 Kubernetes 叢集到新版本；
kubeadm config 如果使用 v1.7.x 或者更低版本的 kubeadm 初始化叢集，您需要對叢集做一些配置以便使用 kubeadm upgrade 命令；
kubeadm token 管理 kubeadm join 使用的令牌；
kubeadm reset 還原 kubeadm init 或者 kubeadm join 對主機所做的任何更改；
kubeadm version 列印 kubeadm 版本；
kubeadm alpha 預覽一組可用的新功能以便從社群蒐集反饋。

本方案描述

本方案基於kubeadm部署，且實現高可用，同時提供相關Kubernetes周邊元件。本方案可直接應用於生產環境。

本方案採用kubeadm部署Kubernetes 1.21.0版本；
基礎系統為CentOS8.3；
etcd採用混部方式；
KeepAlived：實現VIP高可用；
HAProxy：以系統systemd形式執行，提供反向代理至3個master 6443埠；
其他主要部署元件包括：
- Metrics：度量；
- Dashboard：Kubernetes 圖形UI介面；
- Helm：Kubernetes Helm包管理工具；
- Ingress：Kubernetes 服務暴露；
- containerd：Kubernetes底層容器時；
- Longhorn：Kubernetes 動態儲存元件。

worker04節點僅為測試模擬使用。

提示：本方案部署所使用指令碼均由本人提供，可能不定期更新。

部署規劃

節點規劃

節點主機名	IP	型別	執行服務
master01	172.24.8.141	Kubernetes master節點	KeepAlived、HAProxy、containerd、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、kubelet、metrics、calico、rook-osd
master02	172.24.8.142	Kubernetes master節點	KeepAlived、HAProxy、containerd、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、kubelet、metrics、calico、rook-osd
master03	172.24.8.143	Kubernetes master節點	KeepAlived、HAProxy、containerd、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、kubelet、metrics、calico、rook-osd
worker01	172.24.8.144	Kubernetes worker節點	containerd、kubelet、proxy、calico、rook-osd、ingress
worker02	172.24.8.145	Kubernetes worker節點	containerd、kubelet、proxy、calico、rook-osd、ingress
worker03	172.24.8.146	Kubernetes worker節點	containerd、kubelet、proxy、calico、rook-osd、ingress
worker04	172.24.8.147	Kubernetes worker節點	containerd、kubelet、proxy、calico、rook-osd、ingress

Kubernetes的高可用主要指的是控制平面的高可用，即指多套Master節點元件和Etcd元件，工作節點通過負載均衡連線到各Master。

架構圖

Kubernetes高可用架構中etcd與Master節點元件混布方式特點：

所需機器資源少
部署簡單，利於管理
容易進行橫向擴充套件
etcd複用Kubernetes的高可用
風險大，一臺master主機掛了，master和etcd就都少了一套，叢集冗餘度受到一定影響

提示：本實驗使用Keepalived+HAProxy架構實現Kubernetes的高可用。

主機名配置

建議對所有節點主機名進行相應配置。

[root@master01 ~]# hostnamectl set-hostname master01	    #其他節點依次修改

[root@master01 ~]# cat >> /etc/hosts << EOF
172.24.8.141 master01
172.24.8.142 master02
172.24.8.143 master03
172.24.8.144 worker01
172.24.8.145 worker02
172.24.8.146 worker03
EOF

變數準備

為實現自動化部署，便於管理和維護，建議做如下變數準備。

[root@master01 ~]# wget http://down.linuxsb.com/mydeploy/k8s/v1.21.0/environment.sh

[root@master01 ~]# vi environment.sh            #確認相關主機名和IP
#!/bin/sh
#****************************************************************#
# ScriptName: environment.sh
# Author: xhy
# Create Date: 2020-05-30 16:30
# Modify Author: xhy
# Modify Date: 2020-05-30 16:30
# Version: 
#***************************************************************#
# 叢集 MASTER 機器 IP 陣列
export MASTER_IPS=(172.24.8.141 172.24.8.142 172.24.8.143)

# 叢集 MASTER IP 對應的主機名陣列
export MASTER_NAMES=(master01 master02 master03)

# 叢集 NODE 機器 IP 陣列
export NODE_IPS=(172.24.8.144 172.24.8.145 172.24.8.146)

# 叢集 NODE IP 對應的主機名陣列
export NODE_NAMES=(worker01 worker02 worker03)

# 叢集所有機器 IP 陣列
export ALL_IPS=(172.24.8.141 172.24.8.142 172.24.8.143 172.24.8.144 172.24.8.145 172.24.8.146)

# 叢集所有IP 對應的主機名陣列
export ALL_NAMES=(master01 master02 master03 worker01 worker02 worker03)

互信配置

為了方便遠端分發檔案和執行命令，本實驗配置master01節點到其它節點的 ssh 信任關係，即免祕鑰管理所有其他節點。

[root@master01 ~]# ssh-keygen -f ~/.ssh/id_rsa -N ''
[root@master01 ~]# for all_ip in ${ALL_IPS[@]}
  do
    echo ">>> ${all_ip}"
    ssh-copy-id -i ~/.ssh/id_rsa.pub root@${all_ip}
  done

提示：此操作僅需要在master01節點操作。

環境初始化

kubeadm本身不負責對環境的準別，環境的初始化準備本方案使用指令碼自動完成。
使用如下指令碼對基礎環境進行初始化，主要包括：

安裝containerd
關閉SELinux及防火牆
優化相關核心引數
關閉swap
設定相關模組
配置相關基礎軟體

[root@master01 ~]# wget http://down.linuxsb.com/mydeploy/k8s/v1.21.0/k8sconinit.sh

[root@master01 ~]# vim k8sconinit.sh
#!/bin/sh
#****************************************************************#
# ScriptName: k8sinit.sh
# Author: xhy
# Create Date: 2020-05-30 16:30
# Modify Author: xhy
# Modify Date: 2021-04-16 07:35
# Version: 
#***************************************************************#
# Initialize the machine. This needs to be executed on every machine.
rm -f /var/lib/rpm/__db.00*
rpm -vv --rebuilddb
yum clean all 
yum makecache
sleep 3s
# Install containerd
CONVERSION=1.4.4                #確認containerd版本，其他保持預設
……

提示：此操作僅需要在master01節點操作。

對於某些特性，可能需要升級核心，核心升級操作見018.Linux升級核心。

4.19版及以上核心nf_conntrack_ipv4已經改為nf_conntrack。

Kubernetes 1.20.0後可相容的containerd版本最新為1.4.4。

[root@master01 ~]# source environment.sh
[root@master01 ~]# chmod +x *.sh
[root@master01 ~]# for all_ip in ${ALL_IPS[@]}
  do
    echo ">>> ${all_ip}"
    scp -rp /etc/hosts root@${all_ip}:/etc/hosts
    scp -rp k8sconinit.sh root@${all_ip}:/root/
    ssh root@${all_ip} "bash /root/k8sconinit.sh"
  done

部署高可用元件

HAProxy安裝

HAProxy是可提供高可用性、負載均衡以及基於TCP(從而可以反向代理kubeapiserver等應用)和HTTP應用的代理，支援虛擬主機，它是免費、快速並且可靠的一種高可用解決方案。

[root@master01 ~]# for master_ip in ${MASTER_IPS[@]}
  do
    echo ">>> ${master_ip}"
    ssh root@${master_ip} "yum -y install gcc gcc-c++ make libnl3 libnl3-devel libnfnetlink openssl-devel wget openssh-clients systemd-devel zlib-devel pcre-devel"
    ssh root@${master_ip} "wget http://down.linuxsb.com/software/haproxy-2.3.9.tar.gz"
    ssh root@${master_ip} "tar -zxvf haproxy-2.3.9.tar.gz"
    ssh root@${master_ip} "cd haproxy-2.3.9/ && make ARCH=x86_64 TARGET=linux-glibc USE_PCRE=1 USE_ZLIB=1 USE_SYSTEMD=1 PREFIX=/usr/local/haprpxy && make install PREFIX=/usr/local/haproxy"
    ssh root@${master_ip} "cp /usr/local/haproxy/sbin/haproxy /usr/sbin/"
    ssh root@${master_ip} "useradd -r haproxy && usermod -G haproxy haproxy"
    ssh root@${master_ip} "mkdir -p /etc/haproxy && cp -r /root/haproxy-2.3.9/examples/errorfiles/ /usr/local/haproxy/"
  done

KeepAlived安裝

KeepAlived 是一個基於VRRP協議來實現的LVS服務高可用方案，可以解決靜態路由出現的單點故障問題。本方案3臺master節點執行Keepalived，一臺為主伺服器（MASTER），另外兩臺為備份伺服器（BACKUP）。
對叢集外表現為一個虛擬IP，主伺服器會傳送特定的訊息給備份伺服器，當備份伺服器收不到這個訊息的時候，即主伺服器當機的時候，備份伺服器就會接管虛擬IP，繼續提供服務，從而保證了高可用性。

[root@master01 ~]# for master_ip in ${MASTER_IPS[@]}
  do
    echo ">>> ${master_ip}"
    ssh root@${master_ip} "yum -y install curl gcc gcc-c++ make libnl3 libnl3-devel libnfnetlink openssl-devel"
    ssh root@${master_ip} "wget http://down.linuxsb.com/software/keepalived-2.2.2.tar.gz"
    ssh root@${master_ip} "tar -zxvf keepalived-2.2.2.tar.gz"
    ssh root@${master_ip} "cd keepalived-2.2.2/ && LDFLAGS=\"$LDFAGS -L /usr/local/openssl/lib/\" ./configure --sysconf=/etc --prefix=/usr/local/keepalived && make && make install"
    ssh root@${master_ip} "systemctl enable keepalived --now && systemctl restart keepalived"
  done

提示：如上僅需Master01節點操作，從而實現所有節點自動化安裝。若出現如下報錯：undefined reference to `OPENSSL_init_ssl’，可帶上openssl lib路徑：

LDFLAGS="$LDFAGS -L /usr/local/openssl/lib/" ./configure --sysconf=/etc --prefix=/usr/local/keepalived

建立配置檔案

對叢集相關的元件提前配置，可使用如下指令碼定義。

[root@master01 ~]# wget http://down.linuxsb.com/mydeploy/k8s/v1.21.0/k8sconfig.sh				#拉取自動部署指令碼

[root@master01 ~]# vi k8sconfig.sh
#!/bin/sh
#****************************************************************#
# ScriptName: k8sconfig
# Author: xhy
# Create Date: 2020-06-08 20:00
# Modify Author: xhy
# Modify Date: 2021-04-16 23:16
# Version: v3
#***************************************************************#
# set variables below to create the config files, all files will create at ./kubeadm directory

# master keepalived virtual ip address
export K8SHA_VIP=172.24.8.100

# master01 ip address
export K8SHA_IP1=172.24.8.141

# master02 ip address
export K8SHA_IP2=172.24.8.142

# master03 ip address
export K8SHA_IP3=172.24.8.143

# master01 hostname
export K8SHA_HOST1=master01

# master02 hostname
export K8SHA_HOST2=master02

# master03 hostname
export K8SHA_HOST3=master03

# master01 network interface name
export K8SHA_NETINF1=eth0

# master02 network interface name
export K8SHA_NETINF2=eth0

# master03 network interface name
export K8SHA_NETINF3=eth0

# keepalived auth_pass config
export K8SHA_KEEPALIVED_AUTH=412f7dc3bfed32194d1600c483e10ad1d

# kubernetes CIDR pod subnet
export K8SHA_PODCIDR=10.10.0.0

# kubernetes CIDR svc subnet
export K8SHA_SVCCIDR=10.20.0.0

[root@master01 ~]# bash k8sconfig.sh

解釋：如上僅需Master01節點操作。執行k8sconfig.sh指令碼後會生產如下配置檔案清單：

kubeadm-config.yaml：kubeadm初始化配置檔案，位於kubeadm/目錄

keepalived：keepalived配置檔案，位於各個master節點的/etc/keepalived目錄

haproxy：haproxy的配置檔案，位於各個master節點的/etc/haproxy/目錄

calico.yaml：calico網路元件部署檔案，位於kubeadm/calico/目錄

[root@master01 ~]# vim kubeadm/kubeadm-config.yaml	#檢查叢集初始化配置
apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
networking:
  serviceSubnet: "10.20.0.0/16"			     	    #設定svc網段
  podSubnet: "10.10.0.0/16"                         #設定Pod網段
  dnsDomain: "cluster.local"
kubernetesVersion: "v1.21.0"			    	    #設定安裝版本
controlPlaneEndpoint: "172.24.8.100:16443"		    #設定相關API VIP地址
apiServer:
  certSANs:
  - master01
  - master02
  - master03
  - 127.0.0.1
  - 172.24.8.141
  - 172.24.8.142
  - 172.24.8.143
  - 172.24.8.100
  timeoutForControlPlane: 4m0s
certificatesDir: "/etc/kubernetes/pki"
imageRepository: "k8s.gcr.io"

---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: ipvs

提示：如上僅需Master01節點操作，更多config檔案參考：https://pkg.go.dev/k8s.io/kubernetes@v1.21.0/cmd/kubeadm/app/apis/kubeadm/v1beta2。
此kubeadm部署初始化配置更多參考：https://pkg.go.dev/k8s.io/kubernetes@v1.21.0/cmd/kubeadm/app/apis/kubeadm/v1beta2。
預設kubeadm配置可使用kubeadm config print init-defaults > config.yaml生成。

啟動服務

提前啟動KeepAlive和HAProxy，提前準備好高可用環境。

[root@master01 ~]# cat /etc/keepalived/keepalived.conf
[root@master01 ~]# cat /etc/keepalived/check_apiserver.sh	#確認Keepalived配置

[root@master01 ~]# for master_ip in ${MASTER_IPS[@]}
  do
    echo ">>> ${master_ip}"
    ssh root@${master_ip} "systemctl enable haproxy.service --now && systemctl restart haproxy.service"
    ssh root@${master_ip} "systemctl enable keepalived.service --now && systemctl restart keepalived.service"
    ssh root@${master_ip} "systemctl status keepalived.service | grep Active"
    ssh root@${master_ip} "systemctl status haproxy.service | grep Active"
  done

[root@master01 ~]# for all_ip in ${ALL_IPS[@]}
  do
    echo ">>> ${all_ip}"
    ssh root@${all_ip} "ping -c1 172.24.8.100"
  done								#等待10s執行檢查

提示：如上僅需Master01節點操作，從而實現所有節點自動啟動服務。

叢集部署

正式安裝

[root@master01 ~]# for all_ip in ${ALL_IPS[@]}
  do
    echo ">>> ${all_ip}"
    ssh root@${all_ip} "cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF"
    ssh root@${all_ip} "yum install -y kubeadm-1.21.0-0.x86_64 kubelet-1.21.0-0.x86_64 kubectl-1.21.0-0.x86_64 --disableexcludes=kubernetes"
    ssh root@${all_ip} "systemctl enable kubelet"
done

[root@master01 ~]# yum search -y kubelet --showduplicates             #檢視相應版本

提示：如上僅需Master01節點操作，從而實現所有節點自動化安裝，同時此時不需要啟動kubelet，初始化的過程中會自動啟動的，如果此時啟動了會出現報錯，忽略即可。

說明：同時安裝了cri-tools, kubernetes-cni, socat三個依賴：
socat：kubelet的依賴；
cri-tools：即CRI(Container Runtime Interface)容器執行時介面的命令列工具。

叢集初始化

拉取映象

初始化過程中會pull大量映象，並且映象位於國外，可能出現無法pull的情況導致Kubernetes初始化失敗。建議提前準備映象，保證後續初始化。

[root@master01 ~]# kubeadm --kubernetes-version=v1.21.0 config images list     	#列出所需映象

[root@master01 ~]# cat <<EOF > kubeadm/conloadimage.sh
#!/bin/sh
#****************************************************************#
# ScriptName: conloadimage.sh
# Author: xhy
# Create Date: 2021-04-15 14:03
# Modify Author: xhy
# Modify Date: 2021-04-15 17:35
# Version: 
#***************************************************************#

KUBE_VERSION=v1.21.0
CALICO_VERSION=v3.18.1
CALICO_URL='docker.io/calico'
KUBE_PAUSE_VERSION=3.4.1
ETCD_VERSION=3.4.13-0
CORE_DNS_VERSION=v1.8.0
GCR_URL=k8s.gcr.io
METRICS_SERVER_VERSION=v0.4.2
INGRESS_VERSION=v0.45.0
CSI_PROVISIONER_VERSION=v1.6.0-lh1
CSI_NODE_DRIVER_VERSION=v1.2.0-lh1
CSI_ATTACHER_VERSION=v2.2.1-lh1
CSI_RESIZER_VERSION=v0.5.1-lh1
DEFAULTBACKENDVERSION=1.5
ALIYUN_URL=registry.cn-hangzhou.aliyuncs.com/google_containers
UCLOUD_URL=uhub.service.ucloud.cn/uxhy
QUAY_URL=quay.io

mkdir -p conimages/

# config node hostname
export ALL_NAMES=(master02 master03 worker01 worker02 worker03)

kubeimages=(kube-proxy:\${KUBE_VERSION}
kube-scheduler:\${KUBE_VERSION}
kube-controller-manager:\${KUBE_VERSION}
kube-apiserver:\${KUBE_VERSION}
pause:\${KUBE_PAUSE_VERSION}
etcd:\${ETCD_VERSION}
)

corednsimages=(coredns:\${CORE_DNS_VERSION}
)

for corednsimageName in \${corednsimages[@]} ; do
echo \${corednsimageName}
ctr -n k8s.io images pull \${UCLOUD_URL}/\${corednsimageName}
ctr -n k8s.io images tag \${UCLOUD_URL}/\${corednsimageName} \${GCR_URL}/coredns/\${corednsimageName}
ctr -n k8s.io images rm \${UCLOUD_URL}/\${corednsimageName}
ctr -n k8s.io images export conimages/\${corednsimageName}\.tar \${GCR_URL}/coredns/\${corednsimageName}
done

for kubeimageName in \${kubeimages[@]} ; do
echo \${kubeimageName}
ctr -n k8s.io images pull \${UCLOUD_URL}/\${kubeimageName}
ctr -n k8s.io images tag \${UCLOUD_URL}/\${kubeimageName} \${GCR_URL}/\${kubeimageName}
ctr -n k8s.io images rm \${UCLOUD_URL}/\${kubeimageName}
ctr -n k8s.io images export conimages/\${kubeimageName}\.tar \${GCR_URL}/\${kubeimageName}
done

metricsimages=(metrics-server:\${METRICS_SERVER_VERSION})

for metricsimageName in \${metricsimages[@]} ; do
echo \${metricsimageName}
ctr -n k8s.io images pull \${UCLOUD_URL}/\${metricsimageName}
ctr -n k8s.io images tag \${UCLOUD_URL}/\${metricsimageName} \${GCR_URL}/metrics-server/\${metricsimageName}
ctr -n k8s.io images rm \${UCLOUD_URL}/\${metricsimageName}
ctr -n k8s.io images export conimages/\${metricsimageName}\.tar \${GCR_URL}/metrics-server/\${metricsimageName}
done

calimages=(cni:\${CALICO_VERSION}
pod2daemon-flexvol:\${CALICO_VERSION}
node:\${CALICO_VERSION}
kube-controllers:\${CALICO_VERSION})

for calimageName in \${calimages[@]} ; do
echo \${calimageName}
ctr -n k8s.io images pull \${UCLOUD_URL}/\${calimageName}
ctr -n k8s.io images tag \${UCLOUD_URL}/\${calimageName} \${CALICO_URL}/\${calimageName}
ctr -n k8s.io images rm \${UCLOUD_URL}/\${calimageName}
ctr -n k8s.io images export conimages/\${calimageName}\.tar \${CALICO_URL}/\${calimageName}
done

ingressimages=(controller:\${INGRESS_VERSION})

for ingressimageName in \${ingressimages[@]} ; do
echo \${ingressimageName}
ctr -n k8s.io images pull \${UCLOUD_URL}/\${ingressimageName}
ctr -n k8s.io images tag \${UCLOUD_URL}/\${ingressimageName} \${GCR_URL}/ingress-nginx/\${ingressimageName}
ctr -n k8s.io images rm \${UCLOUD_URL}/\${ingressimageName}
ctr -n k8s.io images export conimages/\${ingressimageName}\.tar \${GCR_URL}/ingress-nginx/\${ingressimageName}
done

csiimages=(csi-provisioner:\${CSI_PROVISIONER_VERSION}
csi-node-driver-registrar:\${CSI_NODE_DRIVER_VERSION}
csi-attacher:\${CSI_ATTACHER_VERSION}
csi-resizer:\${CSI_RESIZER_VERSION}
)

for csiimageName in \${csiimages[@]} ; do
echo \${csiimageName}
ctr -n k8s.io images pull \${UCLOUD_URL}/\${csiimageName}
ctr -n k8s.io images tag \${UCLOUD_URL}/\${csiimageName} longhornio/\${csiimageName}
ctr -n k8s.io images rm \${UCLOUD_URL}/\${csiimageName}
ctr -n k8s.io images export conimages/\${csiimageName}\.tar longhornio/\${csiimageName}
done

otherimages=(defaultbackend-amd64:\${DEFAULTBACKENDVERSION})

for otherimagesName in \${otherimages[@]} ; do
echo \${otherimagesName}
ctr -n k8s.io images pull \${UCLOUD_URL}/\${otherimagesName}
ctr -n k8s.io images tag \${UCLOUD_URL}/\${otherimagesName} \${GCR_URL}/\${otherimagesName}
ctr -n k8s.io images rm \${UCLOUD_URL}/\${otherimagesName}
ctr -n k8s.io images export conimages/\${otherimagesName}\.tar \${GCR_URL}/\${otherimagesName}
done

allimages=(kube-proxy:\${KUBE_VERSION}
kube-scheduler:\${KUBE_VERSION}
kube-controller-manager:\${KUBE_VERSION}
kube-apiserver:\${KUBE_VERSION}
pause:\${KUBE_PAUSE_VERSION}
etcd:\${ETCD_VERSION}
coredns:\${CORE_DNS_VERSION}
metrics-server:\${METRICS_SERVER_VERSION}
cni:\${CALICO_VERSION}
pod2daemon-flexvol:\${CALICO_VERSION}
node:\${CALICO_VERSION}
kube-controllers:\${CALICO_VERSION}
controller:\${INGRESS_VERSION}
csi-provisioner:\${CSI_PROVISIONER_VERSION}
csi-node-driver-registrar:\${CSI_NODE_DRIVER_VERSION}
csi-attacher:\${CSI_ATTACHER_VERSION}
csi-resizer:\${CSI_RESIZER_VERSION}
defaultbackend-amd64:\${DEFAULTBACKENDVERSION}
)

for all_name in \${ALL_NAMES[@]}
  do  
    echo ">>> \${all_name}"
    ssh root@\${all_name} "mkdir /root/conimages"
    scp -rp conimages/* root@\${all_name}:/root/conimages/
  done

for allimageName in \${allimages[@]}
  do
  for all_name in \${ALL_NAMES[@]}
    do
    echo "\${allimageName} copy to \${all_name}"
    ssh root@\${all_name} "ctr -n k8s.io images import conimages/\${allimageName}\.tar"
    done
  done
EOF

#確認版本，提前下載映象
[root@master01 ~]# bash kubeadm/conloadimage.sh

提示：如上僅需Master01節點操作，從而實現所有節點映象的分發。
注意相關版本，如上指令碼為v1.21.0 Kubernetes版本所需映象。

[root@master01 ~]# ctr -n k8s.io images ls        	#確認驗證
[root@master01 ~]# crictl images ls

001

Master01上初始化

[root@master01 ~]# kubeadm init --config=kubeadm/kubeadm-config.yaml --upload-certs                 #保留如下命令用於後續節點新增：
You can now join any number of the control-plane node running the following command on each as root:

  kubeadm join 172.24.8.100:16443 --token 6h8ncy.g0lzrgiav8ct7kyo \
        --discovery-token-ca-cert-hash sha256:41c1966aa5aaf6108b938daf3bdcf103991be5fd8141854f800a4bbc3df7979a \
        --control-plane --certificate-key f32602ab63d2545b8cab5d392d0e53942872fac8cfc23c8ae1ee545f4e365394

Please note that the certificate-key gives access to cluster sensitive data, keep it secret!
As a safeguard, uploaded-certs will be deleted in two hours; If necessary, you can use
"kubeadm init phase upload-certs --upload-certs" to reload certs afterward.

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 172.24.8.100:16443 --token 6h8ncy.g0lzrgiav8ct7kyo \
        --discovery-token-ca-cert-hash sha256:41c1966aa5aaf6108b938daf3bdcf103991be5fd8141854f800a4bbc3df7979a

002

注意：如上token具有預設24小時的有效期，token和hash值可通過如下方式獲取：
kubeadm token list
如果 Token 過期以後，可以輸入以下命令，生成新的 Token:

kubeadm token create
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'

[root@master01 ~]# mkdir -p $HOME/.kube
[root@master01 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master01 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config

[root@master01 ~]# cat << EOF >> ~/.bashrc
export KUBECONFIG=$HOME/.kube/config
EOF							#設定KUBECONFIG環境變數

[root@master01 ~]# echo "source <(kubectl completion bash)" >> ~/.bashrc
[root@master01 ~]# source ~/.bashrc

附加：初始化過程大致步驟如下：

[certs]：生成相關的各種證書
[control-plane]：建立Kubernetes控制節點的靜態Pod
[etcd]：建立ETCD的靜態Pod
[kubelet-start]：生成kubelet的配置檔案”/var/lib/kubelet/config.yaml”
[kubeconfig]：生成相關的kubeconfig檔案
[bootstraptoken]：生成token記錄下來，後續使用kubeadm join往叢集中新增節點時會用到
[addons]：附帶的相關外掛

提示：初始化僅需要在master01上執行，若初始化異常可通過kubeadm reset && rm -rf $HOME/.kube重置。

新增Master節點

[root@master02 ~]# kubeadm join 172.24.8.100:16443 --token 6h8ncy.g0lzrgiav8ct7kyo \
        --discovery-token-ca-cert-hash sha256:41c1966aa5aaf6108b938daf3bdcf103991be5fd8141854f800a4bbc3df7979a \
        --control-plane --certificate-key f32602ab63d2545b8cab5d392d0e53942872fac8cfc23c8ae1ee545f4e365394

[root@master02 ~]# mkdir -p $HOME/.kube
[root@master02 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master02 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config
[root@master02 ~]# cat << EOF >> ~/.bashrc
export KUBECONFIG=$HOME/.kube/config
EOF						               	#設定KUBECONFIG環境變數
[root@master02 ~]# echo "source <(kubectl completion bash)" >> ~/.bashrc
[root@master02 ~]# source ~/.bashrc

提示：master03也如上執行新增至叢集的controlplane。
若新增異常可通過kubeadm reset && rm -rf $HOME/.kube重置。

安裝NIC外掛

NIC外掛介紹

Calico 是一個安全的 L3 網路和網路策略提供者。
Canal 結合 Flannel 和 Calico，提供網路和網路策略。
Cilium 是一個 L3 網路和網路策略外掛，能夠透明的實施 HTTP/API/L7 策略。同時支援路由（routing）和疊加/封裝（ overlay/encapsulation）模式。
Contiv 為多種用例提供可配置網路（使用 BGP 的原生 L3，使用 vxlan 的 overlay，經典 L2 和 Cisco-SDN/ACI）和豐富的策略框架。Contiv 專案完全開源。安裝工具同時提供基於和不基於 kubeadm 的安裝選項。
Flannel 是一個可以用於 Kubernetes 的 overlay 網路提供者。
+Romana 是一個 pod 網路的層 3 解決方案，並且支援 NetworkPolicy API。Kubeadm add-on 安裝細節可以在這裡找到。
Weave Net 提供了在網路分組兩端參與工作的網路和網路策略，並且不需要額外的資料庫。
CNI-Genie 使 Kubernetes 無縫連線到一種 CNI 外掛，例如：Flannel、Calico、Canal、Romana 或者 Weave。

提示：本方案使用Calico外掛。

部署calico

確認相關配置，如MTU，網路卡介面，Pod的IP地址段。

[root@master01 ~]# cat kubeadm/calico/calico.yaml | grep -A1 -E 'CALICO_IPV4POOL_CIDR|IP_AUTODETECTION_METHOD|veth_mtu:'	#檢查配置
……
  veth_mtu: "1400"                                                  #calico建議為主機MTU減去50,

--
            - name: IP_AUTODETECTION_METHOD
              value: "interface=eth.*"		     	                #檢查節點之間的網路卡
--
            - name: CALICO_IPV4POOL_CIDR
              value: "10.10.0.0/16"		         	                #檢查Pod網段

……

[root@master01 ~]# kubectl apply -f kubeadm/calico/calico.yaml
[root@master01 ~]# kubectl get pods --all-namespaces -o wide		#檢視部署
[root@master01 ~]# kubectl get nodes

003
提示：官方calico參考：https://docs.projectcalico.org/manifests/calico.yaml。

修改node埠範圍

預設Kubernetes的埠範圍為30000-32767，為便於後期應用，如ingress的80、443埠，建議開放全埠。同時開放全埠範圍後，需要注意避開公共埠，如8080。

[root@master01 ~]# vi /etc/kubernetes/manifests/kube-apiserver.yaml
……
    - --service-node-port-range=1-65535
……

提示：如上需要在所有Master節點操作。

開啟非安全埠

kube-scheduler和kube-controller-manager的健康檢查使用非安全埠，因此建議開啟。

root@master01:~# vi /etc/kubernetes/manifests/kube-scheduler.yaml
……
#     - --port=0						#刪掉或註釋關閉非安全埠的配置，從而開啟非安全埠
……
root@master01:~# vi /etc/kubernetes/manifests/kube-controller-manager.yaml
……
#     - --port=0					    #刪掉或註釋關閉非安全埠的配置，從而開啟非安全埠
……

提示：如上需在所有Master節點操作。

新增Worker節點

[root@master01 ~]# source environment.sh

[root@master01 ~]# for node_ip in ${NODE_IPS[@]}
  do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "kubeadm join 172.24.8.100:16443 --token 6h8ncy.g0lzrgiav8ct7kyo \
        --discovery-token-ca-cert-hash sha256:41c1966aa5aaf6108b938daf3bdcf103991be5fd8141854f800a4bbc3df7979a"
    ssh root@${node_ip} "systemctl enable kubelet.service"
  done

提示：如上僅需Master01節點操作，從而實現所有Worker節點新增至叢集，若新增異常可通過如下方式重置：

[root@worker01 ~]# kubeadm reset
[root@worker01 ~]# ifconfig cni0 down
[root@worker01 ~]# ip link delete cni0
[root@worker01 ~]# ifconfig flannel.1 down
[root@worker01 ~]# ip link delete flannel.1
[root@worker01 ~]# rm -rf /var/lib/cni/

確認驗證

[root@master01 ~]# kubectl get nodes			         	#節點狀態
[root@master01 ~]# kubectl get cs			             	#元件狀態
[root@master01 ~]# kubectl get serviceaccount		     	#服務賬戶
[root@master01 ~]# kubectl cluster-info			         	#叢集資訊
[root@master01 ~]# kubectl get pod -n kube-system -o wide	#所有服務狀態

004
005

Metrics部署

Metrics介紹

Kubernetes的早期版本依靠Heapster來實現完整的效能資料採集和監控功能，Kubernetes從1.8版本開始，效能資料開始以Metrics API的方式提供標準化介面，並且從1.10版本開始將Heapster替換為Metrics Server。在Kubernetes新的監控體系中，Metrics Server用於提供核心指標（Core Metrics），包括Node、Pod的CPU和記憶體使用指標。
對其他自定義指標（Custom Metrics）的監控則由Prometheus等元件來完成。

開啟聚合層

有關聚合層知識參考：https://blog.csdn.net/liukuan73/article/details/81352637
kubeadm方式部署預設已開啟。

獲取部署檔案

[root@master01 ~]# mkdir metrics
[root@master01 ~]# cd metrics/
[root@master01 metrics]# wget https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml

[root@master01 metrics]# vi components.yaml
……
apiVersion: apps/v1
kind: Deployment
……
spec:
  replicas: 3						        	#根據叢集規模調整副本數
……
    spec:
      hostNetwork: true
      containers:
      - args:
        - --cert-dir=/tmp
        - --secure-port=4443
        - --kubelet-insecure-tls				#追加此args
        - --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname,InternalDNS,ExternalDNS          #追加此args
        - --kubelet-use-node-status-port
        image: k8s.gcr.io/metrics-server/metrics-server:v0.4.2
        imagePullPolicy: IfNotPresent
……

正式部署

[root@master01 metrics]# kubectl apply -f components.yaml
[root@master01 metrics]# kubectl -n kube-system get pods -l k8s-app=metrics-server
NAME                              READY   STATUS    RESTARTS   AGE
metrics-server-7bc5984686-px9lr   1/1     Running   0          66s
metrics-server-7bc5984686-qffb2   1/1     Running   0          66s
metrics-server-7bc5984686-t89z5   1/1     Running   0          66s

檢視資源監控

[root@master01 ~]# kubectl top nodes
[root@master01 ~]# kubectl top pods --all-namespaces

006

提示：Metrics Server提供的資料也可以供HPA控制器使用，以實現基於CPU使用率或記憶體使用值的Pod自動擴縮容功能。
部署參考：https://linux48.com/container/2019-11-13-metrics-server.html
有關metrics更多部署參考：
https://kubernetes.io/docs/tasks/debug-application-cluster/resource-metrics-pipeline/
開啟開啟API Aggregation參考：
https://kubernetes.io/docs/concepts/extend-kubernetes/api-extension/apiserver-aggregation/
API Aggregation介紹參考：
https://kubernetes.io/docs/tasks/access-kubernetes-api/configure-aggregation-layer/

Nginx ingress部署

通常Service的表現形式為IP:Port，即工作在TCP/IP層。
對於基於HTTP的服務來說，不同的URL地址經常對應到不同的後端服務（RS）或者虛擬伺服器（Virtual Host），這些應用層的轉發機制僅通過Kubernetes的Service機制是無法實現的。
從Kubernetes 1.1版本開始新增Ingress資源物件，用於將不同URL的訪問請求轉發到後端不同的Service，以實現HTTP層的業務路由機制。
Kubernetes使用了一個Ingress策略定義和一個具體的Ingress Controller，兩者結合並實現了一個完整的Ingress負載均衡器。使用Ingress進行負載分發時，Ingress Controller基於Ingress規則將客戶端請求直接轉發到Service對應的後端Endpoint（Pod）上，從而跳過kube-proxy的轉發功能，kube-proxy不再起作用。
簡單的理解就是：ingress使用DaemonSet或Deployment在相應Node上監聽80，然後配合相應規則，因為Nginx外面繫結了宿主機80埠（就像 NodePort），本身又在叢集內，那麼向後直接轉發到相應ServiceIP即可實現相應需求。ingress controller + ingress 規則 ----> services。
同時當Ingress Controller提供的是對外服務，則實際上實現的是邊緣路由器的功能。
典型的HTTP層路由的架構：

017

設定標籤

[root@master01 ~]# kubectl label nodes master0{1,2,3} ingress=enable

提示：建議對於非上次業務相關的應用（如Ingress），部署在master節點，也能複用master節點的高可用。

獲取資源

[root@master01 ~]# mkdir ingress
[root@master01 ~]# cd ingress/
[root@master01 ingress]# wget http://down.linuxsb.com/kubernetes/ingress-nginx/controller-v0.45.0/deploy/static/provider/baremetal/deploy.yaml

提示：ingress官方參考：https://github.com/kubernetes/ingress-nginx
https://kubernetes.github.io/ingress-nginx/deploy/

修改配置

為方便後續管理和排障，對相關Nginx ingress掛載時區，以便於使用主機時間。
同時對ingress做了簡單配置，如日誌格式等。

[root@master01 ingress]# vi deploy.yaml
……
apiVersion: apps/v1
kind: Deployment
#kind: DaemonSet
……
spec:
  replicas: 3
……
          image: k8s.gcr.io/ingress-nginx/controller:v0.45.0
……          
          volumeMounts:
……
            - name: timeconfig
              mountPath: /etc/localtime
              readOnly: true
              ……
      volumes:
……
        - name: timeconfig
          hostPath:
            path: /etc/localtime
      nodeSelector:
        ingress: enable
      tolerations:
        - key: node-role.kubernetes.io/master
          effect: NoSchedule
……
apiVersion: v1
kind: ConfigMap
metadata:
……
data:
  # 客戶端請求頭的緩衝區大小
  client-header-buffer-size: "512k"
  # 設定用於讀取大型客戶端請求標頭的最大值number和size緩衝區
  large-client-header-buffers: "4 512k"
  # 讀取客戶端請求body的緩衝區大小
  client-body-buffer-size: "128k"
  # 代理緩衝區大小
  proxy-buffer-size: "256k"
  # 代理body大小
  proxy-body-size: "50m"
  # 伺服器名稱雜湊大小
  server-name-hash-bucket-size: "128"
  # map雜湊大小
  map-hash-bucket-size: "128"
  # SSL加密套件
  ssl-ciphers: "ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:DHE-DSS-AES128-GCM-SHA256:kEDH+AESGCM:ECDHE-RSA-AES128-SHA256:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA:ECDHE-ECDSA-AES128-SHA:ECDHE-RSA-AES256-SHA384:ECDHE-ECDSA-AES256-SHA384:ECDHE-RSA-AES256-SHA:ECDHE-ECDSA-AES256-SHA:DHE-RSA-AES128-SHA256:DHE-RSA-AES128-SHA:DHE-DSS-AES128-SHA256:DHE-RSA-AES256-SHA256:DHE-DSS-AES256-SHA:DHE-RSA-AES256-SHA:AES128-GCM-SHA256:AES256-GCM-SHA384:AES128-SHA256:AES256-SHA256:AES128-SHA:AES256-SHA:AES:CAMELLIA:DES-CBC3-SHA:!aNULL:!eNULL:!EXPORT:!DES:!RC4:!MD5:!PSK:!aECDH:!EDH-DSS-DES-CBC3-SHA:!EDH-RSA-DES-CBC3-SHA:!KRB5-DES-CBC3-SHA"
  # ssl 協議
  ssl-protocols: "TLSv1 TLSv1.1 TLSv1.2"
  # 日誌格式
  log-format-upstream: '{"time": "$time_iso8601", "remote_addr": "$proxy_protocol_addr", "x-forward-for": "$proxy_add_x_forwarded_for", "request_id": "$req_id","remote_user": "$remote_user", "bytes_sent": $bytes_sent, "request_time": $request_time, "status":$status, "vhost": "$host", "request_proto": "$server_protocol", "path": "$uri", "request_query": "$args", "request_length": $request_length, "duration": $request_time,"method": "$request_method", "http_referrer": "$http_referer", "http_user_agent": "$http_user_agent" }'
……
apiVersion: v1
kind: Service
……
  name: ingress-nginx-controller
……  
spec:
  type: NodePort
  externalTrafficPolicy: Local          #追加
  ports:
    - name: http
      port: 80
      protocol: TCP
      targetPort: http
      nodePort: 80
    - name: https
      port: 443
      protocol: TCP
      targetPort: https
      nodePort: 443
……

[root@master01 ingress]# kubectl apply -f deploy.yaml

提示：新增預設backend需要等待default-backend建立完成controllers才能成功部署，新版本ingress不再推薦新增default backend。

確認驗證

[root@master01 ingress]# kubectl get pods -n ingress-nginx -o wide
[root@master01 ingress]# kubectl get svc -n ingress-nginx -o wide

007

提示：參考文件：https://github.com/kubernetes/ingress-nginx/blob/master/docs/deploy/index.md。

Dashboard部署

dashboard是基於Web的Kubernetes使用者介面。可以使用dashboard將容器化應用程式部署到Kubernetes叢集，對容器化應用程式進行故障排除，以及管理叢集資源。可以使用dashboard來概述群集上執行的應用程式，以及建立或修改單個Kubernetes資源（例如部署、任務、守護程式等）。
可以使用部署嚮導擴充套件部署，啟動滾動更新，重新啟動Pod或部署新應用程式。
dashboard還提供有關群集中Kubernetes資源狀態以及可能發生的任何錯誤的資訊。

設定標籤

[root@master01 ~]# kubectl label nodes master0{1,2,3} dashboard=enable

提示：建議對於Kubernetes自身相關的應用（如dashboard），此類非業務應用部署在master節點。

建立證書

本實驗已獲取免費一年的證書，免費證書獲取可參考：https://freessl.cn。

[root@master01 ~]# mkdir -p /root/dashboard/certs
[root@master01 ~]# cd /root/dashboard/certs
[root@master01 certs]# mv web.odocker.com.crt tls.crt
[root@master01 certs]# mv web.odocker.com.key tls.key
[root@master01 certs]# ll
total 8.0K
-rw-r--r-- 1 root root 1.9K Jun  8 11:46 tls.crt
-rw-r--r-- 1 root root 1.7K Jun  8 11:46 tls.ke

提示：也可手動如下操作建立自簽證書：

[root@master01 ~]# openssl req -x509 -nodes -days 365 -newkey rsa:2048 -keyout tls.key -out tls.crt -subj "/C=CN/ST=ZheJiang/L=HangZhou/O=Xianghy/OU=Xianghy/CN=web.odocker.com"

手動建立secret

[root@master01 ~]# kubectl create ns kubernetes-dashboard	                                        #v2版本dashboard獨立ns
[root@master01 ~]# kubectl create secret generic kubernetes-dashboard-certs --from-file=/root/dashboard/certs/ -n kubernetes-dashboard
[root@master01 ~]# kubectl get secret kubernetes-dashboard-certs -n kubernetes-dashboard -o yaml	#檢視新證書`

下載yaml

[root@master01 ~]# cd /root/dashboard
[root@master01 dashboard]# wget http://down.linuxsb.com/kubernetes/dashboard/v2.2.0/aio/deploy/recommended.yaml

提示：官方參考：https://github.com/kubernetes/dashboard。

修改yaml

[root@master01 dashboard]# vi recommended.yaml
……
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  type: NodePort			                	#新增
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30001			            	#新增
  selector:
    k8s-app: kubernetes-dashboard
---
……						                        #如下全部註釋
#apiVersion: v1
#kind: Secret
#metadata:
#  labels:
#    k8s-app: kubernetes-dashboard
#  name: kubernetes-dashboard-certs
#  namespace: kubernetes-dashboard
#type: Opaque
……
kind: Deployment
……
  replicas: 3					                #適當調整為3副本
……
    spec:
      containers:
        - name: kubernetes-dashboard
          image: kubernetesui/dashboard:v2.2.0
          imagePullPolicy: IfNotPresent         #修改映象下載策略
          ports:
            - containerPort: 8443
              protocol: TCP
          args:
            - --auto-generate-certificates
            - --namespace=kubernetes-dashboard
            - --tls-key-file=tls.key
            - --tls-cert-file=tls.crt
            - --token-ttl=3600	       		    #追加如上args
……
      nodeSelector:
#        "kubernetes.io/os": "linux"
        "dashboard": enable	        		    #部署在master節點
……
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: dashboard-metrics-scraper
  name: dashboard-metrics-scraper
  namespace: kubernetes-dashboard
spec:
  type: NodePort	             			    #新增
  ports:
    - port: 8000
      targetPort: 8000
      nodePort: 30000		         		    #新增
  selector:                                                                                  
    k8s-app: dashboard-metrics-scraper
……
   replicas: 3			            		    #適當調整為3副本
……
      nodeSelector:
#        "beta.kubernetes.io/os": linux
        "dashboard": enable	        		    #部署在master節點
……

正式部署

[root@master01 dashboard]# kubectl apply -f recommended.yaml
[root@master01 dashboard]# kubectl get deployment kubernetes-dashboard -n kubernetes-dashboard
[root@master01 dashboard]# kubectl get services -n kubernetes-dashboard
[root@master01 dashboard]# kubectl get pods -o wide -n kubernetes-dashboard

008

提示：master NodePort 30001/TCP對映到 dashboard pod 443 埠。

建立管理員賬戶

提示：dashboard v2版本預設沒有建立具有管理員許可權的賬戶，可如下操作建立。

[root@master01 dashboard]# cat <<EOF > dashboard-admin.yaml
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: admin
  namespace: kubernetes-dashboard

---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: admin
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
- kind: ServiceAccount
  name: admin
  namespace: kubernetes-dashboard
EOF

[root@master01 dashboard]# kubectl apply -f dashboard-admin.yaml

ingress暴露dashboard

建立ingress tls

[root@master01 dashboard]# kubectl -n kubernetes-dashboard create secret tls kubernetes-dashboard-tls --cert=/root/dashboard/certs/tls.crt --key=/root/dashboard/certs/tls.key
[root@master01 dashboard]# kubectl -n kubernetes-dashboard describe secrets kubernetes-dashboard-tls

009

建立ingress策略

[root@master01 dashboard]# cat <<EOF > dashboard-ingress.yaml
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: kubernetes-dashboard-ingress
  namespace: kubernetes-dashboard
  annotations:
    kubernetes.io/ingress.class: "nginx"
    nginx.ingress.kubernetes.io/use-regex: "true"
    nginx.ingress.kubernetes.io/ssl-passthrough: "true"
    nginx.ingress.kubernetes.io/rewrite-target: /
    nginx.ingress.kubernetes.io/ssl-redirect: "true"
    #nginx.ingress.kubernetes.io/secure-backends: "true"
    nginx.ingress.kubernetes.io/backend-protocol: "HTTPS"
    nginx.ingress.kubernetes.io/proxy-connect-timeout: "600"
    nginx.ingress.kubernetes.io/proxy-read-timeout: "600"
    nginx.ingress.kubernetes.io/proxy-send-timeout: "600"
    nginx.ingress.kubernetes.io/configuration-snippet: |
      proxy_ssl_session_reuse off;
spec:
  rules:
  - host: web.odocker.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: kubernetes-dashboard
            port:
              number: 443
  tls:
  - hosts:
    - web.odocker.com
    secretName: kubernetes-dashboard-tls
EOF

[root@master01 dashboard]# kubectl apply -f dashboard-ingress.yaml
[root@master01 dashboard]# kubectl -n kubernetes-dashboard get ingress

010

訪問dashboard

建立kubeconfig檔案

使用token相對複雜，可將token新增至kubeconfig檔案中，使用KubeConfig檔案訪問dashboard。

[root@master01 dashboard]# ADMIN_SECRET=$(kubectl -n kubernetes-dashboard get secret | grep admin | awk '{print $1}') 
[root@master01 dashboard]# DASHBOARD_LOGIN_TOKEN=$(kubectl describe secret -n kubernetes-dashboard ${ADMIN_SECRET} | grep -E '^token' | awk '{print $2}') 
[root@master01 dashboard]# kubectl config set-cluster kubernetes \
  --certificate-authority=/etc/kubernetes/pki/ca.crt \
  --embed-certs=true \
  --server=172.24.8.100:16443 \
  --kubeconfig=local-ngkeconk8s-1-21-admin.kubeconfig		# 設定叢集引數
 [root@master01 dashboard]# kubectl config set-credentials dashboard_user \
  --token=${DASHBOARD_LOGIN_TOKEN} \
  --kubeconfig=local-ngkeconk8s-1-21-admin.kubeconfig       # 設定客戶端認證引數，使用上面建立的 Token
[root@master01 dashboard]# kubectl config set-context default \
  --cluster=kubernetes \
  --user=dashboard_user \
  --kubeconfig=local-ngkeconk8s-1-21-admin.kubeconfig	    # 設定上下文引數
[root@master01 dashboard]# kubectl config use-context default --kubeconfig=local-ngkeconk8s-1-21-admin.kubeconfig         # 設定預設上下文

將web.odocker.com.crt證書檔案匯入，以便於瀏覽器使用該檔案登入。

匯入證書

將web.odocker.com證書匯入瀏覽器，並設定為信任，匯入操作略。

測試訪問dashboard

本實驗採用ingress所暴露的域名：https://web.odocker.com
方式一：token訪問
可使用kubectl describe secret -n kubernetes-dashboard ${ADMIN_SECRET} | grep -E '^token' | awk '{print $2}'所獲取的token訪問。
011

方式二：kubeconfig訪問
local-ngkeconk8s-1-21-admin.kubeconfig檔案訪問。
012

提示：
更多dashboard訪問方式及認證可參考附004.Kubernetes Dashboard簡介及使用。
dashboard登入整個流程可參考：https://www.cnadn.net/post/2613.html

Longhorn儲存部署

Longhorn概述

Longhorn是用於Kubernetes的開源分散式塊儲存系統。
提示：更多介紹參考：https://github.com/longhorn/longhorn。

基礎軟體安裝

[root@master01 ~]# source environment.sh
[root@master01 ~]# for all_ip in ${ALL_IPS[@]}
  do
    echo ">>> ${all_ip}"
    ssh root@${all_ip} "yum -y install iscsi-initiator-utils &"
  done

提示：所有節點都需要安裝。

設定標籤

[root@master01 ~]# kubectl label nodes master0{1,2,3} longhorn-ui=enabled

提示：ui圖形介面可複用master高可用，因此部署在master節點。

準備磁碟

預設longhorn使用/var/lib/longhorn/作為裝置路徑，因此建議提前掛載。

[root@master01 ~]# source environment.sh
[root@master01 ~]# for node_ip in ${NODE_IPS[@]}
  do
    echo ">>> ${node_ip}"
        ssh root@${node_ip} "mkfs.xfs -f /dev/sdb &&
        mkdir -p /var/lib/longhorn/ &&
        echo '/dev/sdb        /var/lib/longhorn        xfs        defaults        0 0' >> /etc/fstab &&
        mount -a"
  done

配置Longhorn

[root@master01 ~]# mkdir longhorn
[root@master01 ~]# cd longhorn/
[root@master01 longhorn]# wget \
https://raw.githubusercontent.com/longhorn/longhorn/master/deploy/longhorn.yaml

[root@master01 longhorn]# vi longhorn.yaml
……
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
  labels:
    app: longhorn-manager
  name: longhorn-manager
……
        imagePullPolicy: IfNotPresent
……
---
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: longhorn-ui
  name: longhorn-ui
……
      nodeSelector:
        longhorn-ui: enabled                        #追加標籤選擇
      tolerations:
        - key: node-role.kubernetes.io/master       #新增容忍
          effect: NoSchedule
#      imagePullSecrets:
#      - name:
……
---
kind: Service
apiVersion: v1
metadata:
  labels:
    app: longhorn-ui
  name: longhorn-frontend
  namespace: longhorn-system
spec:
  type: NodePort			                        #修改為nodeport
  selector:
    app: longhorn-ui
  ports:
  - port: 80
    targetPort: 8000
    nodePort: 30002
---
……

[root@master01 longhorn]# kubectl apply -f longhorn.yaml
[root@master01 longhorn]# kubectl -n longhorn-system get pods -o wide

013

提示：若部署異常可刪除重建，若出現無法刪除namespace，可通過如下操作進行刪除：

wget https://github.com/longhorn/longhorn/blob/master/uninstall/uninstall.yaml
rm -rf /var/lib/longhorn/
kubectl apple -f uninstall.yaml
kubectl delete -f uninstall.yaml

動態sc建立

提示：預設longhorn部署完成已建立一個sc，也可通過如下手動編寫yaml建立。

 [root@master01 longhorn]# kubectl get sc
NAME                   PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
……
longhorn               driver.longhorn.io      Delete          Immediate              true                   15m

[root@master01 longhorn]# cat <<EOF > longhornsc.yaml
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: longhornsc
provisioner: rancher.io/longhorn
parameters:
  numberOfReplicas: "3"
  staleReplicaTimeout: "30"
  fromBackup: "" 
EOF

[root@master01 longhorn]# kubectl apply -f longhornsc.yaml

測試PV及PVC

[root@master01 longhorn]# cat <<EOF > longhornpod.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: longhorn-pvc
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: longhorn
  resources:
    requests:
      storage: 500Mi

---
apiVersion: v1
kind: Pod
metadata:
  name: longhorn-pod
  namespace: default
spec:
  containers:
  - name: volume-test
    image: nginx:stable-alpine
    imagePullPolicy: IfNotPresent
    volumeMounts:
    - name: volv
      mountPath: /data
    ports:
    - containerPort: 80
  volumes:
  - name: volv
    persistentVolumeClaim:
      claimName: longhorn-pvc
EOF

[root@master01 longhorn]# kubectl apply -f longhornpod.yaml
[root@master01 longhorn]# kubectl get pods
[root@master01 longhorn]# kubectl get pvc
[root@master01 longhorn]# kubectl get pv

014

Ingress暴露Longhorn

[root@master01 longhorn]# yum -y install httpd-tools
[root@master01 longhorn]# htpasswd -c auth xhy			#建立使用者名稱和密碼
New password: [輸入密碼]
Re-type new password:  [輸入密碼]

提示：也可通過如下命令建立：

USER=xhy; PASSWORD=x120952576; echo "${USER}:$(openssl passwd -stdin -apr1 <<< ${PASSWORD})" >> auth

[root@master01 longhorn]# kubectl -n longhorn-system create secret generic longhorn-basic-auth --from-file=auth

[root@master01 longhorn]# cat <<EOF > longhorn-ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: longhorn-ingress
  namespace: longhorn-system
  annotations:
    nginx.ingress.kubernetes.io/auth-type: basic
    nginx.ingress.kubernetes.io/auth-secret: longhorn-basic-auth
    nginx.ingress.kubernetes.io/auth-realm: 'Authentication Required '
spec:
  rules:
  - host: longhorn.odocker.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: longhorn-frontend
            port: 
              number: 80
EOF

[root@master01 longhorn]# kubectl apply -f longhorn-ingress.yaml
[root@master01 longhorn]# kubectl -n longhorn-system get ingress
NAME               CLASS    HOSTS                  ADDRESS                                  PORTS   AGE
longhorn-ingress   <none>   longhorn.odocker.com   172.24.8.144,172.24.8.145,172.24.8.146   80      45s

確認驗證

瀏覽器訪問：longhorn.odocker.com，並輸入賬號和密碼。

015

使用xhy/[密碼]登入檢視。

016

Helm部署

前置準備

Helm 將使用 kubectl 在已配置的叢集上部署 Kubernetes 資源，因此需要如下前置準備：

正在執行的 Kubernetes 叢集；
預配置的 kubectl 客戶端和 Kubernetes 叢集正確互動。

二進位制安裝Helm

[root@master01 ~]# wget https://get.helm.sh/helm-v3.5.4-linux-amd64.tar.gz
[root@master01 ~]# tar -zxvf helm-v3.5.4-linux-amd64.tar.gz
[root@master01 ~]# cp linux-amd64/helm /usr/local/bin/

[root@master01 ~]# helm version		#檢視安裝版本
[root@master01 ~]# echo 'source <(helm completion bash)' >> $HOME/.bashrc	#helm自動補全

提示：更多安裝方式參考官方手冊：https://helm.sh/docs/intro/install/。

Helm操作

查詢chart

helm search：可以用於搜尋兩種不同型別的源。
helm search hub：搜尋 Helm Hub，該源包含來自許多不同倉庫的Helm chart。
helm search repo：搜尋已新增到本地頭helm客戶端（帶有helm repo add）的倉庫，該搜尋是通過本地資料完成的，不需要連線公網。

[root@master01 ~]# helm search hub			            #可搜尋全部可用chart
[root@master01 ~]# helm search hub wordpress

新增repo

[root@master01 ~]# helm repo list			            #檢視repo
[root@master01 ~]# helm repo add brigade https://brigadecore.github.io/charts
[root@master01 ~]# helm repo add stable https://kubernetes-charts.storage.googleapis.com/   #新增官方repo
[root@master01 ~]# helm repo add bitnami https://charts.bitnami.com/bitnami

[root@master01 ~]# helm search repo brigade
[root@master01 ~]# helm search repo stable		        #搜尋repo中的chart
[root@master01 ~]# helm repo update			            #更新repo的chart

擴充套件：叢集擴容及縮容

叢集擴容

master節點擴容
參考：新增Master節點步驟
worker節點擴容
參考：新增Worker節點步驟

叢集縮容

master節點縮容

[root@master01 ~]# kubectl drain master03 --delete-emptydir-data --force --ignore-daemonsets
[root@master01 ~]# kubectl delete node master03

[root@master03 ~]# kubeadm reset -f && rm -rf $HOME/.kube

worker節點縮容

[root@master01 ~]# kubectl drain worker04 --delete-emptydir-data --force --ignore-daemonsets
[root@master01 ~]# kubectl delete node worker04

[root@worker04 ~]# kubeadm reset -f && rm -rf $HOME/.kube
[root@worker04 ~]# rm -rf /etc/kubernetes/admin.conf /etc/kubernetes/kubelet.conf /etc/kubernetes/bootstrap-kubelet.conf /etc/kubernetes/controller-manager.conf /etc/kubernetes/scheduler.conf

Canal高可用架構部署
2021-03-25
架構
附031.Kubernetes_v1.20.4高可用部署架構二
2021-04-14
架構
附028.Kubernetes_v1.20.0高可用部署架構二
2020-12-22
架構
mysql MHA 高可用架構部署
2016-03-01
MySql架構
部署MHA+keepalived+ProxySQL高可用架構
2021-05-06
SQL架構
MySQL 高可用架構 - MHA環境部署記錄
2020-12-10
MySql架構
MySQL高可用架構-MHA環境部署記錄
2016-07-12
MySql架構
MySQL高可用架構-MMM環境部署記錄
2016-07-12
MySql架構
MySQL高可用架構之Keepalived+主從架構部署
2018-05-18
MySql架構
附022.Kubernetes_v1.18.3高可用部署架構一
2020-06-12
架構
Oracle 高可用架構
2010-12-21
Oracle架構
MySQL 中常見的幾種高可用架構部署方案
2023-04-20
MySql架構
MySQL 高可用架構之 MMM 架構
2019-08-12
MySql架構
【Redis】Sentinel 高可用架構
2017-08-02
Redis架構
Redis Sentinel高可用架構
2015-12-12
Redis架構
Oracle高可用架構（MAA）
2011-11-10
Oracle架構
Twitter 高併發高可用架構
2013-07-24
架構
【DB寶45】MySQL高可用之MGR+Consul架構部署
2021-03-29
MySql架構
MySQL高可用架構對比
2019-04-03
MySql架構
AWS 高可用AWS架構方案
2020-12-02
架構
mysql高可用架構MHA搭建
2020-09-19
MySql架構
Keepalived 架構高可用 Mysql
2015-01-21
架構MySql
高可用架構之高可用的應用和服務
2017-10-28
架構
k8s高可用架構
2019-05-15
K8S架構
MySQL高可用架構設計分析
2019-07-23
MySql架構
MQ系列9：高可用架構分析
2023-01-04
MQ架構
深度解析KubeEdge EdgeMesh 高可用架構
2022-11-22
架構
MyCAT高可用方案和架構圖
2017-03-15
架構
理解HDFS高可用性架構
2017-08-21
架構
Redis 高可用架構最佳實踐
2017-05-28
Redis架構
高可用架構設計全面詳解(8大高可用方案)
2024-02-29
架構
用 Hystrix 構建高可用服務架構
2019-07-18
架構
MySQL 實現高可用架構之 MHA
2021-07-21
MySql架構
MHA高可用架構的實現方式
2020-08-31
架構
MySQL高可用架構-MMM、MHA、MGR、PXC
2021-10-02
MySql架構
高效能，高可用，安全的架構
2021-01-24
架構
MySQL高可用架構之MHA實踐
2016-08-23
MySql架構
jeesz分散式架構-分散式高可用
2017-03-16
分散式架構

附034.Kubernetes_v1.21.0高可用部署架構二

kubeadm介紹

kubeadm概述

kubeadm功能

本方案描述

部署規劃

節點規劃

主機名配置

變數準備

互信配置

環境初始化

部署高可用元件

HAProxy安裝

KeepAlived安裝

建立配置檔案

啟動服務

叢集部署

相關元件包

正式安裝

叢集初始化

拉取映象

Master01上初始化

新增Master節點

安裝NIC外掛

NIC外掛介紹

部署calico

修改node埠範圍

開啟非安全埠

新增Worker節點

新增Worker節點

確認驗證

Metrics部署

Metrics介紹

開啟聚合層

獲取部署檔案

正式部署

檢視資源監控

Nginx ingress部署

設定標籤

獲取資源

修改配置

確認驗證

Dashboard部署

設定標籤

建立證書

手動建立secret

下載yaml

修改yaml

正式部署

建立管理員賬戶

ingress暴露dashboard

建立ingress tls

建立ingress策略

訪問dashboard

建立kubeconfig檔案

匯入證書

測試訪問dashboard

Longhorn儲存部署

Longhorn概述

基礎軟體安裝

設定標籤

準備磁碟

配置Longhorn

動態sc建立

測試PV及PVC

Ingress暴露Longhorn

確認驗證

Helm部署

前置準備

二進位制安裝Helm

Helm操作

查詢chart

新增repo

擴充套件：叢集擴容及縮容

叢集擴容

叢集縮容

相關文章