背景
| 型別 | 版本 |
|---|---|
| 作業系統 | CentOS Linux release 7.6.1810 (AltArch) |
| 核心 | Linux master 4.18.0-80.7.2.el7.aarch64 |
| 硬體配置 | 8核16G記憶體 * 2臺 |
| 計算機名 | master、node1 |
| K8S版本 | 1.14.2 |
| 計算機名 | 公網IP | 私網IP |
|---|---|---|
| master | 116.63.180.97 | 192.168.0.113 |
| node1 | 116.63.177.54 | 192.168.0.226 |
說明：
- 搭建K8s叢集，每臺節點均需要按照文件安裝Docker及K8s的全部元件。
- 為驗證叢集搭建功能，至少需要兩個節點。如果要驗證親和性排程功能，至少需要三臺節點，安裝配置工作在每臺節點都需要執行。
- Master為叢集管理節點，node1為叢集計算節點。
一、配置華為雲yum源
1.1 配置華為雲yum源。
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.huaweicloud.com/kubernetes/yum/repos/kubernetes-el7-aarch64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=http://mirrors.huaweicloud.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.huaweicloud.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
說明：
若沒有找到需要的k8s版本，可自行配置阿里yum源
1.2 重新整理yum快取。
yum makecache
二、安裝配置K8S
主節點和計算節點都需要安裝配置K8s。
2.1 安裝Docker
2.1.1 安裝yum-utils軟體包並設定穩定的儲存庫。
yum install -y yum-utils
yum-config-manager \
--add-repo \
https://download.docker.com/linux/centos/docker-ce.repo
2.1.2 安裝特定版本Docker
要安裝特定版本的Docker Engine，可以先通過命名檢視儲存庫，列出可用版本，然後選擇並安裝：
yum list docker-ce --showduplicates | sort -r
yum list docker-ce-cli --showduplicates | sort -r
然後根據版本號安裝（本文選擇），例如：
yum install docker-ce-18.09.9-3.el7 docker-ce-cli-18.09.9-3.el7 containerd.io
也可以安裝最新版，例如直接使用方式，本文選擇的不是最新版本，安裝的是指定版本18.09
yum install docker-ce docker-ce-cli containerd.io
2.1.3 安裝完成啟動
systemctl start docker
2.1.4 通過docker version檢視版本
2.1.5 設定docker開機啟動
systemctl enable docker
2.2 安裝基礎元件
2.2.1 啟用NET.BRIDGE.BRIDGE-NF-CALL-IPTABLES核心選項。
sysctl -w net.bridge.bridge-nf-call-iptables=1
2.2.2 禁用交換分割槽。
swapoff -a
cp -p /etc/fstab /etc/fstab.bak$(date '+%Y%m%d%H%M%S')
sed -i "s/\/dev\/mapper\/centos-swap/\#\/dev\/mapper\/centos-swap/g" /etc/fstab
2.2.3 安裝K8s元件。
yum install -y kubelet kubeadm kubectl kubernetes-cni
2.2.4 檢視安裝情況。
rpm -qa | grep kubelet
rpm -qa | grep kubeadm
rpm -qa | grep kubectl
rpm -qa | grep kubernetes-cni
例如看到如下內容代表安裝成功
[root@master aarch64]# rpm -qa | grep kubelet
kubelet-1.14.2-0.aarch64
[root@master aarch64]# rpm -qa | grep kubeadm
kubeadm-1.14.2-0.aarch64
[root@master aarch64]# rpm -qa | grep kubectl
kubectl-1.14.2-0.aarch64
[root@master aarch64]# rpm -qa | grep kubernetes-cn
kubernetes-cni-0.7.5-0.aarch64
2.2.5 設定iptables。
echo "net.bridge.bridge-nf-call-iptables=1" > /etc/sysctl.d/k8s.conf
2.2.6 開機啟動kubelet服務。
systemctl enable kubelet
2.3 通過Docker下載其它元件
2.3.1 檢視下載節點初始化所需映象。
kubeadm config images list
[root@master aarch64]# kubeadm config images list
I1208 09:21:05.327540 2544 version.go:96] could not fetch a Kubernetes version from the internet: unable to get URL "https://dl.k8s.io/release/stable-1.txt": Get https://storage.googleapis.com/kubernetes-release/release/stable-1.txt: net/http: request canceled (Client.Timeout exceeded while awaiting headers)
I1208 09:21:05.327591 2544 version.go:97] falling back to the local client version: v1.14.2
k8s.gcr.io/kube-apiserver:v1.14.2
k8s.gcr.io/kube-controller-manager:v1.14.2
k8s.gcr.io/kube-scheduler:v1.14.2
k8s.gcr.io/kube-proxy:v1.14.2
k8s.gcr.io/pause:3.1
k8s.gcr.io/etcd:3.3.10
k8s.gcr.io/coredns:1.3.1
K8s所需映象版本有可能會變動，因此檢視列表並以此匹配需要下載的Docker映象，文件中的映象版本僅做參考。
切忌直接把非arm架構機器上的映象直接複製過來使用
2.3.2 從DockerHub上下載映象（速度有點慢）
命令如下所示
docker pull docker.io/mirrorgooglecontainers/kube-apiserver-arm64:v1.14.2
docker pull docker.io/mirrorgooglecontainers/kube-controller-manager-arm64:v1.14.2
docker pull docker.io/mirrorgooglecontainers/kube-scheduler-arm64:v1.14.2
docker pull docker.io/mirrorgooglecontainers/kube-proxy-arm64:v1.14.2
docker pull docker.io/mirrorgooglecontainers/pause-arm64:3.1
docker pull docker.io/mirrorgooglecontainers/etcd-arm64:3.3.10
docker pull docker.io/coredns/coredns:1.3.1
下載完成後可以檢視本地映象
[root@master aarch64]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
mirrorgooglecontainers/kube-proxy-arm64 v1.14.2 5227f1c3c8a7 19 months ago 82.7MB
mirrorgooglecontainers/kube-apiserver-arm64 v1.14.2 091f78b1b081 19 months ago 207MB
mirrorgooglecontainers/kube-controller-manager-arm64 v1.14.2 e0fa3d206e49 19 months ago 155MB
mirrorgooglecontainers/kube-scheduler-arm64 v1.14.2 485238b2c4a5 19 months ago 82.2MB
coredns/coredns 1.3.1 7e8edeee9a1e 23 months ago 37.4MB
mirrorgooglecontainers/etcd-arm64 3.3.10 ad99d3ead043 2 years ago 300MB
mirrorgooglecontainers/pause-arm64 3.1 6cf7c80fe444 2 years ago 525kB
2.3.3 修改已下載的映象標籤。
docker tag mirrorgooglecontainers/kube-apiserver-arm64:v1.14.2 k8s.gcr.io/kube-apiserver:v1.14.2
docker tag mirrorgooglecontainers/kube-controller-manager-arm64:v1.14.2 k8s.gcr.io/kube-controller-manager:v1.14.2
docker tag mirrorgooglecontainers/kube-scheduler-arm64:v1.14.2 k8s.gcr.io/kube-scheduler:v1.14.2
docker tag mirrorgooglecontainers/kube-proxy-arm64:v1.14.2 k8s.gcr.io/kube-proxy:v1.14.2
docker tag mirrorgooglecontainers/pause-arm64:3.1 k8s.gcr.io/pause:3.1
docker tag mirrorgooglecontainers/etcd-arm64:3.3.10 k8s.gcr.io/etcd:3.3.10
docker tag coredns/coredns:1.3.1 k8s.gcr.io/coredns:1.3.1
說明：
需要將映象repository修改與kubeadm列出的映象名保持一致。
2.3.4 檢視K8s的Docker映象元件
docker images | grep k8s
[root@master aarch64]# docker images | grep k8s
k8s.gcr.io/kube-apiserver v1.14.2 091f78b1b081 19 months ago 207MB
k8s.gcr.io/kube-controller-manager v1.14.2 e0fa3d206e49 19 months ago 155MB
k8s.gcr.io/kube-scheduler v1.14.2 485238b2c4a5 19 months ago 82.2MB
k8s.gcr.io/kube-proxy v1.14.2 5227f1c3c8a7 19 months ago 82.7MB
k8s.gcr.io/coredns 1.3.1 7e8edeee9a1e 23 months ago 37.4MB
k8s.gcr.io/etcd 3.3.10 ad99d3ead043 2 years ago 300MB
k8s.gcr.io/pause 3.1 6cf7c80fe444 2 years ago 525kB
2.3.5 刪除舊映象。
命令如下所示
docker rmi mirrorgooglecontainers/kube-apiserver-arm64:v1.14.2
docker rmi mirrorgooglecontainers/kube-controller-manager-arm64:v1.14.2
docker rmi mirrorgooglecontainers/kube-scheduler-arm64:v1.14.2
docker rmi mirrorgooglecontainers/kube-proxy-arm64:v1.14.2
docker rmi mirrorgooglecontainers/pause-arm64:3.1
docker rmi mirrorgooglecontainers/etcd-arm64:3.3.10
docker rmi coredns/coredns:1.3.1
刪除後再次檢視本地映象
[root@master aarch64]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
k8s.gcr.io/kube-scheduler v1.14.2 485238b2c4a5 19 months ago 82.2MB
k8s.gcr.io/kube-proxy v1.14.2 5227f1c3c8a7 19 months ago 82.7MB
k8s.gcr.io/kube-apiserver v1.14.2 091f78b1b081 19 months ago 207MB
k8s.gcr.io/kube-controller-manager v1.14.2 e0fa3d206e49 19 months ago 155MB
k8s.gcr.io/coredns 1.3.1 7e8edeee9a1e 23 months ago 37.4MB
k8s.gcr.io/etcd 3.3.10 ad99d3ead043 2 years ago 300MB
k8s.gcr.io/pause 3.1 6cf7c80fe444 2 years ago 525kB
三、部署K8S叢集
3.1 配置hosts檔案
主節點和計算節點都需要配置hosts檔案。
執行vi /etc/hosts命令，修改hosts檔案，新增叢集所有節點的ip及hostname資訊。
192.168.0.113 master master
192.168.0.226 node1 node1
每臺節點的/etc/hosts檔案都要修改。
3.2 配置主節點(master)
說明：重複搭建叢集時，請先執行kubeadm reset命令，清除舊的K8s叢集設定。
在主節點上執行叢集初始化命令。
3.2.1 在主節點上執行叢集初始化命令
kubeadm init --kubernetes-version=1.14.2 --service-cidr=10.1.0.0/16 --pod-network-cidr=10.244.0.0/16
當看到如下資訊時代表初始化成功
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 192.168.0.113:6443 --token all7y6.hxs2yemaucku9dct \
--discovery-token-ca-cert-hash sha256:7e1b11d2715fd87d8aeec9a1924c87b68d36da35392ccee57b0581993dfeb821
黃框資訊表示主節點配置叢集需要執行的命令，紅框資訊表示計算節點加入叢集的token命令，請儲存該段命令。
說明：
計算節點不需要執行叢集初始化操作。
如果在主節點初始化的時候提示：
/proc/sys/net/bridge/bridge-nf-call-iptables contents are not set to 1
可以通過執行echo 1 > /proc/sys/net/bridge/bridge-nf-call-iptables命令將其置為1（vim不可修改此檔案）。執行該操作時，建議排查是否有配置代理（執行env檢視），避免kubeadm init初始化超時失敗，刪除代理的操作：
export -n http_proxy
export -n https_proxy
export -n no_proxy
--pod-network-cidr > 3.選項用於指定kubernetes網路可以使用的IP地址段，由於後續使用Flannel網路外掛，該外掛固定使用的IP段為：10.244.0.0/16 。
3.2.2 配置叢集
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
export KUBECONFIG=/etc/kubernetes/admin.conf
3.2.3 在主節點檢視叢集節點資訊。
kubectl get node
[root@master aarch64]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
master NotReady master 97s v1.14.2
3.2.4 儲存主節點生成的加入叢集資訊。
該資訊在成功初始化主節點後生成並列印，叢集資訊如下所示：
kubeadm join 192.168.0.113:6443 --token all7y6.hxs2yemaucku9dct \
--discovery-token-ca-cert-hash sha256:7e1b11d2715fd87d8aeec9a1924c87b68d36da35392ccee57b0581993dfeb821
注意：
該token命令可以用於二十四小時內計算節點加入叢集，若token超時，可在K8S主節點通過kubeadm token create --print-join-command命令進行重新生成
3.3 配置計算點(node1)
3.3.1 計算節點加入叢集
計算節點執行
kubeadm join 192.168.0.113:6443 --token all7y6.hxs2yemaucku9dct \
--discovery-token-ca-cert-hash sha256:7e1b11d2715fd87d8aeec9a1924c87b68d36da35392ccee57b0581993dfeb821
3.3.2 等待1分鐘後，在主節點（master）執行kubectl get nodes
[root@master opt]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
master Ready master 3h7m v1.14.2
node1 NotReady <none> 83s v1.14.2
3.3.3 在主節點和計算節點上檢視kubelet服務狀態
systemctl status kubelet
主節點
子節點
3.4 新增Flannel網路外掛
3.4.1 在主節點上執行如下命令安裝Flannel網路外掛。
當前版本1.14版本執行（如果無法下載，可以檢視網盤附件進行本地化安裝，下載地址：https://pan.baidu.com/s/1L1epcWiEI7v2C4bHo2nx3Q 提取碼：1fsh）
kubectl apply -f https://gitee.com/mirrors/flannel/blob/master/Documentation/kube-flannel-old.yaml
注意：對於 Kubernetes 版本 v1.17+
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
3.4.2 安裝完成後，執行kubectl get pod -n kube-system，看到kube-flannel正常執行即可
[root@master opt]# kubectl get pod -n kube-system
NAME READY STATUS RESTARTS AGE
coredns-fb8b8dccf-sgzqj 1/1 Running 0 38m
coredns-fb8b8dccf-xpx5x 1/1 Running 0 38m
etcd-master 1/1 Running 0 37m
kube-apiserver-master 1/1 Running 0 37m
kube-controller-manager-master 1/1 Running 0 37m
kube-flannel-ds-arm64-wxc6f 1/1 Running 0 98s
kube-proxy-tzb4r 1/1 Running 0 38m
kube-scheduler-master 1/1 Running 0 37m
這樣我們K8S叢集就搭建完成了。
四、（選配）安裝Kubernetes Dashboard外掛
主節點上操作即可
4.1 用openssl生成自簽證書(有第三方證書可跳過)
生成證書請求的key
openssl genrsa -out dashboard.key 2048
生成證書請求
openssl req -new -out dashboard.csr -key dashboard.key -subj '/CN=<your_ip>'
<your_ip>換成自己的ip或域名。
生成自簽證書
openssl x509 -days 3650 -req -in dashboard.csr -signkey dashboard.key -out dashboard.crt
這裡指定了過期時間3650天，預設365天
4.2 部署Dashboard外掛
4.2.1 建立部署kubernetes-dashboard的yaml檔案
（檔案下載地址：連結：https://pan.baidu.com/s/1L1epcWiEI7v2C4bHo2nx3Q 提取碼：1fsh）
根據官方檔案做了微調:
- 把cert註釋掉，使用待會自己建立的cert,因為預設的證書有問題；
- 把dashboard訪問方式改為NodePort,埠是31234，訪問時用pod所在主機的ip加埠號即可訪問;
- imagePullPolicy改為IfNotPresent,當本地找不到映象時才從網上拉取;
注意檢視映象路徑是否有效，如果無效，自行百度查詢映象源，或者到別的地方把映象下載到本地，然後把tag改成和yaml檔案中的image一致- arm映象源修改kubernetesui/metrics-scraper-arm64:v1.0.6和kubernetesui/dashboard-arm64:v2.0.5
4.2.2 部署kubernetes-dashboard
kubectl apply -f /opt/kubernetes-dashboard.yaml
4.2.3 部署完成後還是不能訪問，因為yaml檔案中註釋掉了kubernetes-dashboard-certs，相關的pod沒跑起來，所以此時應建立certs
kubectl create secret generic kubernetes-dashboard-certs --from-file=/opt/dashboard.key --from-file=/opt/dashboard.crt -n kubernetes-dashboard
4.2.4 如果失敗檢查方式
一般經過以上步驟就可以訪問dashboard，可以跳過這一步了，但如果此時仍不能訪問，pod不是處於"running"狀態，可以刪除kubenetes-dashboard相關的pod，讓kubelet自動生成一個新的可執行的pod
檢視kubernetes-dashboard的pod名
kubectl get pods -n kubernetes-dashboard
刪除該pod:
kubectl delete pod -n kubernetes-dashboard <pod名>
正確結果
[root@master /]# kubectl get pod -n kubernetes-dashboard
NAME READY STATUS RESTARTS AGE
dashboard-metrics-scraper-57c8667f5c-92fls 1/1 Running 0 5h9m
kubernetes-dashboard-69d48fd659-bw7zb 1/1 Running 0 5h9m
4.3 建立訪問使用者,用於訪問dashboard的Service Account
kubectl create serviceaccount admin-user -n kubernetes-dashboard
4.4 為使用者繫結角色，建立ClusterRoleBinding
kubectl create clusterrolebinding admin-user --clusterrole=cluster-admin --serviceaccount=kubernetes-dashboard:admin-user
4.5 獲取登入金鑰
kubectl -n kubernetes-dashboard describe secret $(kubectl -n kubernetes-dashboard get secret | grep admin-user | awk '{print $1}')
複製生成的token值即可
[root@master opt]# kubectl -n kubernetes-dashboard describe secret $(kubectl -n kubernetes-dashboard get secret | grep admin-user | awk '{print $1}')
Name: admin-user-token-64tjt
Namespace: kubernetes-dashboard
Labels: <none>
Annotations: kubernetes.io/service-account.name: admin-user
kubernetes.io/service-account.uid: c882f015-39ca-11eb-9396-fa163ec97a54
Type: kubernetes.io/service-account-token
Data
====
ca.crt: 1025 bytes
namespace: 20 bytes
token: eyJhbGciOiJSUzI1NiIsImtpZCI6IiJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJhZG1pbi11c2VyLXRva2VuLTY0dGp0Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQubmFtZSI6ImFkbWluLXVzZXIiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC51aWQiOiJjODgyZjAxNS0zOWNhLTExZWItOTM5Ni1mYTE2M2VjOTdhNTQiLCJzdWIiOiJzeXN0ZW06c2VydmljZWFjY291bnQ6a3ViZXJuZXRlcy1kYXNoYm9hcmQ6YWRtaW4tdXNlciJ9.nK8gspJ8DAMzrOesHC-CGvjaYKAtahUCB9L1eQTbaeCXv-8ZT-8HVBzzCTk20XnAG30yPwOD80x_MBCksSgaw7QkImNlZVcNM3JXmaNvxFTObeg9aY_Lgdbs7r4hfAMKZd2wi1G3BaNbfAWnWxlecbOXTMYBL5PI6h5oJSuR6Fgm0IEdRT6diI_uaoan-Mqmvm_VKvj6tMl1xTqczTgnp0Hv5kwJvT0lOYx13nhjix-hfo0B2UaSGDnLcyFLrzAIOfKuAlFQMwcJndgs7hz_x7CM-UpfOvCg4oVrWkHAlspOfxRVflHXjfexUGnjGq2Rywph5h4godbTPwhLwJ4tcg
4.6 登入驗證
訪問我們master地址，通過瀏覽器訪問https://IP:31234，點選繼續訪問
輸入token值
即可看到kubernetes-dashboard UI介面
如果無法訪問，可以通過以下方式檢視pod狀態
[root@master opt]# kubectl get secret -n kubernetes-dashboard
NAME TYPE DATA AGE
admin-user-token-zqdnf kubernetes.io/service-account-token 3 3h4m
default-token-v7v95 kubernetes.io/service-account-token 3 3h9m
kubernetes-dashboard-certs Opaque 2 3h8m
kubernetes-dashboard-csrf Opaque 1 3h9m
kubernetes-dashboard-key-holder Opaque 2 3h9m
kubernetes-dashboard-token-47xg5 kubernetes.io/service-account-token 3 3h9m
UI檢視節點資訊
五、解除安裝K8S元件
注意：
下列步驟僅僅指導使用者如何手動解除安裝K8s元件，請勿在正常的部署過程中執行。
清空K8s叢集設定。
在解除安裝K8s元件前，先執行kubeadm reset命令，清空K8s叢集設定。
解除安裝管理元件。
yum erase -y kubelet kubectl kubeadm kubernetes-cni
刪除基礎元件映象。
基礎元件通過Docker映象部署，因此只需要強制刪除對應映象即可解除安裝。
docker rmi -f k8s.gcr.io/kube-apiserver:v1.15.1
docker rmi -f k8s.gcr.io/kube-controller-manager:v1.15.1
docker rmi -f k8s.gcr.io/kube-scheduler:v1.15.1
docker rmi -f k8s.gcr.io/kube-proxy:v1.15.1
docker rmi -f k8s.gcr.io/pause:3.1
docker rmi -f k8s.gcr.io/etcd:3.3.10
docker rmi -f k8s.gcr.io/coredns:1.3.1
（轉發請註明出處：http://www.cnblogs.com/zhangyongli2011/ 如發現有錯，請留言，謝謝）