centos7使用kubeadm配置高可用k8s叢集的另一種方式

簡介

使用kubeadm配置多master節點，實 現高可用。

安裝

實驗環境說明

實驗架構

lab1: etcd master keepalived 11.11.11.111
lab2: etcd master keepalived 11.11.11.112
lab3: etcd master keepalived 11.11.11.113
lab4: node 11.11.11.114
lab5: node 11.11.11.115
lab6: node 11.11.11.116

vip: 11.11.11.110
複製程式碼

實驗使用的Vagrantfile

# -*- mode: ruby -*- # vi: set ft=ruby :

ENV["LC_ALL"] = "en_US.UTF-8"

Vagrant.configure("2") do |config|
 (1..6).each do |i|
 config.vm.define "lab#{i}" do |node|
 node.vm.box = "centos-7.4-docker-17"
 node.ssh.insert_key = false
 node.vm.hostname = "lab#{i}"
 node.vm.network "private_network", ip: "11.11.11.11#{i}"
 node.vm.provision "shell",
 inline: "echo hello from node #{i}"
 node.vm.provider "virtualbox" do |v|
 v.cpus = 2
 v.customize ["modifyvm", :id, "--name", "lab#{i}", "--memory", "2048"]
 end end end end 複製程式碼

在所有機器上安裝kubeadm

參考之前的文章《centos7安裝kubeadm》

配置所有節點的kubelet

# 配置kubelet使用國內可用映象 # 修改/etc/systemd/system/kubelet.service.d/10-kubeadm.conf # 新增如下配置 
Environment="KUBELET_EXTRA_ARGS=--pod-infra-container-image=registry.cn-shanghai.aliyuncs.com/gcr-k8s/pause-amd64:3.0" # 使用命令
sed -i `/ExecStart=$/i Environment="KUBELET_EXTRA_ARGS=--pod-infra-container-image=registry.cn-shanghai.aliyuncs.com/gcr-k8s/pause-amd64:3.0"` /etc/systemd/system/kubelet.service.d/10-kubeadm.conf

# 重新載入配置
systemctl daemon-reload
複製程式碼

配置hosts

cat >>/etc/hosts<<EOF
11.11.11.111 lab1
11.11.11.112 lab2
11.11.11.113 lab3
11.11.11.114 lab4
11.11.11.115 lab5
11.11.11.116 lab6
EOF
複製程式碼

啟動etcd叢集

在lab1,lab2,lab3節點上啟動etcd叢集

# lab1
docker stop etcd && docker rm etcd
rm -rf /data/etcd
mkdir -p /data/etcd
docker run -d 
--restart always 
-v /etc/etcd/ssl/certs:/etc/ssl/certs 
-v /data/etcd:/var/lib/etcd 
-p 2380:2380 
-p 2379:2379 
--name etcd 
registry.cn-hangzhou.aliyuncs.com/google_containers/etcd-amd64:3.1.12 
etcd --name=etcd0 
--advertise-client-urls=http://11.11.11.111:2379 
--listen-client-urls=http://0.0.0.0:2379 
--initial-advertise-peer-urls=http://11.11.11.111:2380 
--listen-peer-urls=http://0.0.0.0:2380 
--initial-cluster-token=9477af68bbee1b9ae037d6fd9e7efefd 
--initial-cluster=etcd0=http://11.11.11.111:2380,etcd1=http://11.11.11.112:2380,etcd2=http://11.11.11.113:2380 
--initial-cluster-state=new 
--auto-tls 
--peer-auto-tls 
--data-dir=/var/lib/etcd

# lab2
docker stop etcd && docker rm etcd
rm -rf /data/etcd
mkdir -p /data/etcd
docker run -d 
--restart always 
-v /etc/etcd/ssl/certs:/etc/ssl/certs 
-v /data/etcd:/var/lib/etcd 
-p 2380:2380 
-p 2379:2379 
--name etcd 
registry.cn-hangzhou.aliyuncs.com/google_containers/etcd-amd64:3.1.12 
etcd --name=etcd1 
--advertise-client-urls=http://11.11.11.112:2379 
--listen-client-urls=http://0.0.0.0:2379 
--initial-advertise-peer-urls=http://11.11.11.112:2380 
--listen-peer-urls=http://0.0.0.0:2380 
--initial-cluster-token=9477af68bbee1b9ae037d6fd9e7efefd 
--initial-cluster=etcd0=http://11.11.11.111:2380,etcd1=http://11.11.11.112:2380,etcd2=http://11.11.11.113:2380 
--initial-cluster-state=new 
--auto-tls 
--peer-auto-tls 
--data-dir=/var/lib/etcd

# lab3
docker stop etcd && docker rm etcd
rm -rf /data/etcd
mkdir -p /data/etcd
docker run -d 
--restart always 
-v /etc/etcd/ssl/certs:/etc/ssl/certs 
-v /data/etcd:/var/lib/etcd 
-p 2380:2380 
-p 2379:2379 
--name etcd 
registry.cn-hangzhou.aliyuncs.com/google_containers/etcd-amd64:3.1.12 
etcd --name=etcd2 
--advertise-client-urls=http://11.11.11.113:2379 
--listen-client-urls=http://0.0.0.0:2379 
--initial-advertise-peer-urls=http://11.11.11.113:2380 
--listen-peer-urls=http://0.0.0.0:2380 
--initial-cluster-token=9477af68bbee1b9ae037d6fd9e7efefd 
--initial-cluster=etcd0=http://11.11.11.111:2380,etcd1=http://11.11.11.112:2380,etcd2=http://11.11.11.113:2380 
--initial-cluster-state=new 
--auto-tls 
--peer-auto-tls 
--data-dir=/var/lib/etcd

# 驗證檢視叢集
docker exec -ti etcd ash
etcdctl member list
etcdctl cluster-health
exit 複製程式碼

配置keepalived

在3臺master節點操作

# 載入核心相關模組
lsmod | grep ip_vs
modprobe ip_vs

# 啟動keepalived # eth1為本次實驗11.11.11.0/24網段的所在網路卡
docker run --net=host --cap-add=NET_ADMIN 
-e KEEPALIVED_INTERFACE=eth1 
-e KEEPALIVED_VIRTUAL_IPS="#PYTHON2BASH:[`11.11.11.110`]" 
-e KEEPALIVED_UNICAST_PEERS="#PYTHON2BASH:[`11.11.11.111`,`11.11.11.112`,`11.11.11.113`]" 
-e KEEPALIVED_PASSWORD=hello 
--name k8s-keepalived 
--restart always 
-d osixia/keepalived:1.4.4

# 檢視日誌 # 會看到兩個成為backup 一個成為master
docker logs k8s-keepalived

# 此時會配置 11.11.11.110 到其中一臺機器 # ping測試
ping -c4 11.11.11.110

# 如果失敗後清理後，重新實驗
docker rm -f k8s-keepalived
ip a del 11.11.11.110/32 dev eth1
複製程式碼

在第一臺master節點初始化

# 生成token # 保留token後面還要使用
token=$(kubeadm token generate)
echo $token # 生成配置檔案 # advertiseAddress 配置為VIP地址
cat >kubeadm-master.config<<EOF
apiVersion: kubeadm.k8s.io/v1alpha1
kind: MasterConfiguration
kubernetesVersion: v1.10.3
imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers

api:
 advertiseAddress: 11.11.11.110

apiServerExtraArgs:
 endpoint-reconciler-type: lease

controllerManagerExtraArgs:
 node-monitor-grace-period: 10s
 pod-eviction-timeout: 10s

networking:
 podSubnet: 10.244.0.0/16

etcd:
 endpoints:
 - "http://11.11.11.111:2379"
 - "http://11.11.11.112:2379"
 - "http://11.11.11.113:2379"

apiServerCertSANs:
- "lab1"
- "lab2"
- "lab3"
- "11.11.11.111"
- "11.11.11.112"
- "11.11.11.113"
- "11.11.11.110"
- "127.0.0.1"

token: $token
tokenTTL: "0"

featureGates:
 CoreDNS: true
EOF

# 初始化
kubeadm init --config kubeadm-master.config
systemctl enable kubelet

# 儲存初始化完成之後的join命令 # kubeadm join 11.11.11.110:6443 --token nevmjk.iuh214fc8i0k3iue --discovery-token-ca-cert-hash sha256:0e4f738348be836ff810bce754e059054845f44f01619a37b817eba83282d80f # 配置kubectl使用
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config


# 安裝網路外掛 # 下載配置
mkdir flannel && cd flannel
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

# 修改配置 # 此處的ip配置要與上面kubeadm的pod-network一致
 net-conf.json: |
 {
 "Network": "10.244.0.0/16",
 "Backend": {
 "Type": "vxlan"
 }
 }

# 修改映象
image: registry.cn-shanghai.aliyuncs.com/gcr-k8s/flannel:v0.10.0-amd64

# 如果Node有多個網路卡的話，參考flannel issues 39701， # https://github.com/kubernetes/kubernetes/issues/39701 # 目前需要在kube-flannel.yml中使用--iface引數指定叢集主機內網網路卡的名稱， # 否則可能會出現dns無法解析。容器無法通訊的情況，需要將kube-flannel.yml下載到本地， # flanneld啟動引數加上--iface=<iface-name>
 containers:
 - name: kube-flannel
 image: registry.cn-shanghai.aliyuncs.com/gcr-k8s/flannel:v0.10.0-amd64
 command:
 - /opt/bin/flanneld
 args:
 - --ip-masq
 - --kube-subnet-mgr
 - --iface=eth1

# 啟動
kubectl apply -f kube-flannel.yml

# 檢視
kubectl get pods -n kube-system
kubectl get svc -n kube-system

# 設定master允許部署應用pod，參與工作負載，現在可以部署其他系統元件 # 如 dashboard, heapster, efk等
kubectl taint nodes --all node-role.kubernetes.io/master-
複製程式碼

啟動其他master節點

# 打包第一臺master初始化之後的/etc/kubernetes/pki目錄 cd /etc/kubernetes && tar czvf /root/pki.tgz pki/ && cd ~

# 上傳到其他master的/etc/kubernetes目錄下
tar xf pki.tgz -C /etc/kubernetes/

# 複製啟動第一臺master時的配置檔案到其他master節點 # 初始化
kubeadm init --config kubeadm-master.config
systemctl enable kubelet

# 配置kubectl使用
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

# 在第一臺配置master節點檢視
kubectl get pod --all-namespaces -o wide | grep lab1
kubectl get pod --all-namespaces -o wide | grep lab2
kubectl get pod --all-namespaces -o wide | grep lab3
kubectl get nodes -o wide
複製程式碼

啟動node節點

# 加入master節點 # 這個命令是之前初始化master完成時，輸出的命令
kubeadm join 11.11.11.110:6443 --token nevmjk.iuh214fc8i0k3iue --discovery-token-ca-cert-hash sha256:0e4f738348be836ff810bce754e059054845f44f01619a37b817eba83282d80f
systemctl enable kubelet
複製程式碼

測試

重建多個coredns副本

# 刪除coredns的pods
kubectl get pods -n kube-system -o wide | grep coredns
all_coredns_pods=$(kubectl get pods -n kube-system -o wide | grep coredns | awk `{print $1}` | xargs)
echo $all_coredns_pods
kubectl delete pods $all_coredns_pods -n kube-system

# 修改副本數 # replicas: 3 # 可以修改為node節點的個數
kubectl edit deploy coredns -n kube-system

# 檢視狀態
kubectl get pods -n kube-system -o wide | grep coredns
複製程式碼

基礎測試

1. 啟動

# 直接使用命令測試
kubectl run nginx --replicas=2 --image=nginx:alpine --port=80
kubectl expose deployment nginx --type=NodePort --name=example-service-nodeport
kubectl expose deployment nginx --name=example-service

# 使用配置檔案測試
cat >example-nginx.yml<<EOF
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
 name: nginx
spec:
 replicas: 2
 template:
 metadata:
 labels:
 app: nginx
 spec:
 restartPolicy: Always
 containers:
 - name: nginx
 image: nginx:alpine
 ports:
 - containerPort: 80
 livenessProbe:
 httpGet:
 path: /
 port: 80
 initialDelaySeconds: 10
 periodSeconds: 3
 readinessProbe:
 httpGet:
 path: /
 port: 80
 initialDelaySeconds: 10
 periodSeconds: 3
---
kind: Service
apiVersion: v1
metadata:
 name: example-service
spec:
 selector:
 app: nginx
 ports:
 - name: http
 port: 80
 targetPort: 80

---
kind: Service
apiVersion: v1
metadata:
 name: example-service-nodeport
spec:
 selector:
 app: nginx
 type: NodePort
 ports:
 - name: http-nodeport
 port: 80
 nodePort: 32223
EOF
kubectl apply -f example-nginx.yml
複製程式碼

2. 檢視狀態

kubectl get deploy
kubectl get pods
kubectl get svc
kubectl describe svc example-service
複製程式碼

3. DNS解析

kubectl run curl --image=radial/busyboxplus:curl -i --tty
nslookup kubernetes
nslookup example-service
curl example-service

# 如果時間過長會返回錯誤，可以使用如下方式再進入測試
curlPod=$(kubectl get pod | grep curl | awk `{print $1}`)
kubectl exec -ti $curlPod -- sh
複製程式碼

4. 訪問測試

# 10.96.59.56 為檢視svc時獲取到的clusterip
curl "10.96.59.56:80" # 32223 為檢視svc時獲取到的 nodeport
http://11.11.11.114:32223/
http://11.11.11.115:32223/
複製程式碼

3. 清理刪除

kubectl delete svc example-service example-service-nodeport
kubectl delete deploy nginx curl
複製程式碼

高可用測試

任意關閉master節點測試叢集是能否正常執行上一步的基礎測試，檢視相關資訊，只關閉到只一臺master，因為etcd部署在相應的master節點上，如果關閉了兩臺，會造成etcd不可用，進而讓整個叢集不可用。

kubectl get pod --all-namespaces -o wide
kubectl get pod --all-namespaces -o wide | grep lab1
kubectl get pod --all-namespaces -o wide | grep lab2
kubectl get pod --all-namespaces -o wide | grep lab3
kubectl get nodes -o wide
複製程式碼

注意事項

• 當直接把node節點關閉時，只有過了5分鐘之後，上面的pod才會被檢測到有問題，並遷移到其他節點

  如果想快速遷移可以執行 kubectl delete node

  也可以修改controller-manager的的pod-eviction-timeout引數，預設5m

  node-monitor-grace-period引數，預設40s

• 此方案和之前文章中寫的高可用方案相比，缺點就是不能使用 kube-apiserver 多節點負載均衡的功能。所有對kube-apiserver的請求都只會發給一個master節點，只有當這個master節點掛掉之後，才會把所有有請求發給另外的master。

本文轉自掘金-centos7使用kubeadm配置高可用k8s叢集的另一種方式