Kubernetes是Goole開源的一個容器編排引擎,它支援自動化部署、大規模可伸縮、應用容器化管理 —— 百度百科。
接觸K8s也有半年多了,也基於阿里雲平臺搭建了包含多級服務、目前執行較為穩定的K8s叢集(感興趣的可參考 k8s雲叢集混搭模式,可能幫你節省50%以上的服務成本, k8s雲叢集混搭模式落地分享),但一直沒來得及對其進行系統的學習,本系列文章還像以前Docker系列一樣,以筆記的形式進行記錄與分享,會包括理論與實踐,感興趣的同學可以關注,一起探索下目前較為流行的容器化及服務編排解決方案。
工欲善其事,必先利其器,本文先介紹如何在本地自行搭建一套k8s叢集,並且採用我們前面介紹過的Ansible來提高效率(參考 Ansible簡明教程)
本文所涉及的所有配置檔案可在這裡找到 github
一. 準備伺服器節點
如果還沒有伺服器,可以參考 ubuntu18.04上搭建KVM虛擬機器環境超完整過程 建立虛擬伺服器。
伺服器節點IP(hostname):
- 192.168.40.111 (kmaster)
- 192.168.40.112 (knode1)
- 192.168.40.113 (knode2)
- 192.168.40.114 (knode3)
作業系統版本:
cat /etc/redhat-release
: CentOS Linux release 7.6.1810 (Core)uname -a
: 3.10.0-957.el7.x86_64
二. 配置Ansible
如果還沒有Ansible環境,可以參考 [Ansible簡明教程]https://mp.weixin.qq.com/s/JIZE1RvN7Yop5dsOHJvStw) 搭建。
1.在Ansible伺服器上的/etc/hosts檔案中新增k8s伺服器節點資訊(參考 hosts)
192.168.40.111 kmaster
192.168.40.112 knode1
192.168.40.113 knode2
192.168.40.114 knode3
2.在Ansible伺服器上的/etc/ansible/hosts檔案中新增k8s伺服器節點(參考 ansible_hosts)
[k8s-all]
kmaster
knode1
knode2
knode3
[k8s-master]
kmaster
[k8s-nodes]
knode1
knode2
knode3
三. 修改k8s叢集各節點/etc/hosts(非必須)
修改所有主機/etc/hosts檔案,新增IP/主機名對映,方便通過主機名ssh訪問
1.建立playbook檔案(參考 set_hosts_playbook.yml)
vim set_hosts_playbook.yml
---
- hosts: k8s-all
remote_user: root
tasks:
- name: backup /etc/hosts
shell: mv /etc/hosts /etc/hosts_bak
- name: copy local hosts file to remote
copy: src=/etc/hosts dest=/etc/ owner=root group=root mode=0644
2.執行ansible-playbook
ansible-playbook set_hosts_playbook.yml
四. 安裝Docker
在所有主機上安裝Docker
1.建立playbook檔案(參考 install_docker_playbook.yml)
vim install_docker_playbook.yml
- hosts: k8s-all
remote_user: root
vars:
docker_version: 18.09.2
tasks:
- name: install dependencies
#shell: yum install -y yum-utils device-mapper-persistent-data lvm2
yum: name={{item}} state=present
with_items:
- yum-utils
- device-mapper-persistent-data
- lvm2
- name: config yum repo
shell: yum-config-manager --add-repo https://mirrors.ustc.edu.cn/docker-ce/linux/centos/docker-ce.repo
- name: install docker
yum: name=docker-ce-{{docker_version}} state=present
- name: start docker
shell: systemctl enable docker && systemctl start docker
2.執行ansible-playbook
ansible-playbook install_docker_playbook.yml
五. 部署k8s master
1.開始部署之前,需要做一些初始化處理:關閉防火牆、關閉selinux、禁用swap、配置k8s阿里雲yum源等,所有操作放在指令碼 pre-setup.sh 中,並在2中playbook中通過script模組執行
2.建立playbook檔案 deploy_master_playbook.yml,只針對master節點,安裝kubectl,kubeadm,kubelet,以及flannel(將kube-flannel.yml檔案裡映象地址的quay.io改為quay-mirror.qiniu.com避免超時,參考 kube-flannel.yml)
vim deploy_master_playbook.yml
- hosts: k8s-master
remote_user: root:q
vars:
kube_version: 1.16.0-0
k8s_version: v1.16.0
k8s_master: 192.168.40.111
tasks:
- name: prepare env
script: ./pre-setup.sh
- name: install kubectl,kubeadm,kubelet
yum: name={{item}} state=present
with_items:
- kubectl-{{kube_version}}
- kubeadm-{{kube_version}}
- kubelet-{{kube_version}}
- name: init k8s
shell: kubeadm init --image-repository registry.aliyuncs.com/google_containers --kubernetes-version {{k8s_version}} --apiserver-advertise-address {{k8s_master}} --pod-network-cidr=10.244.0.0/16 --token-ttl 0
- name: config kube
shell: mkdir -p $HOME/.kube && cp -i /etc/kubernetes/admin.conf $HOME/.kube/config && chown $(id -u):$(id -g) $HOME/.kube/config
- name: copy flannel yaml file
copy: src=./kube-flannel.yml dest=/tmp/ owner=root group=root mode=0644
- name: install flannel
shell: kubectl apply -f /tmp/kube-flannel.yml
- name: get join command
shell: kubeadm token create --print-join-command
register: join_command
- name: show join command
debug: var=join_command verbosity=0
3.執行ansible-playbook
ansible-playbook deploy_master_playbook.yml
4.上述命令執行完成會輸出節點加入k8s叢集的命令,如下圖。記下該命令,後面部署node時會用到
六. 部署k8s node
1.同master一樣,開始部署之前,需要做一些初始化處理:關閉防火牆、關閉selinux、禁用swap、配置k8s阿里雲yum源等,所有操作放在指令碼 pre-setup.sh 中,並在2中playbook中通過script模組執行
2.建立playbook檔案 deploy_nodes_playbook.yml,針對除master外的其它叢集節點,安裝kubeadm,kubelet,並將節點加入到k8s叢集中,使用的是前面部署master時輸出的加入叢集命令
vim deploy_nodes_playbook.yml
- hosts: k8s-nodes
remote_user: root
vars:
kube_version: 1.16.0-0
tasks:
- name: prepare env
script: ./pre-setup.sh
- name: install kubeadm,kubelet
yum: name={{item}} state=present
with_items:
- kubeadm-{{kube_version}}
- kubelet-{{kube_version}}
- name: start kubelt
shell: systemctl enable kubelet && systemctl start kubelet
- name: join cluster
shell: kubeadm join 192.168.40.111:6443 --token zgx3ov.zlq3jh12atw1zh8r --discovery-token-ca-cert-hash sha256:60b7c62687974ec5803e0b69cfc7ccc2c4a8236e59c8e8b8a67f726358863fa7
3.執行ansible-playbook
ansible-playbook deploy_nodes_playbook.yml
4.稍等片刻,即可在master節點上通過kubectl get nodes
看到加入到叢集中的節點,並且status為Ready狀態,如下
[root@kmaster ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
kmaster Ready master 37m v1.16.0
knode1 Ready <none> 7m1s v1.16.0
knode2 Ready <none> 7m1s v1.16.0
knode3 Ready <none> 4m12s v1.16.0
至此,k8s叢集基本部署完成。接下來可安裝Ingress與Dashboard。
七. 安裝Ingress
Ingress為叢集內服務提供外網訪問,包括基於Nginx與Traefik兩個版本,這裡使用比較熟悉的Nginx版本。安裝Ingress的操作在master節點進行(因為前面在master節點安裝並配置了kubectl,也可在其它安裝並配置好了kubectl的節點進行)
1.下載yaml檔案(此目錄已包含 nginx-ingress.yaml,並修改了映象地址,可直接進入第3步)
wget -O nginx-ingress.yaml https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/provider/baremetal/deploy.yaml
2.將裡面的quay.io修改為quay-mirror.qiniu.com,避免映象拉取超時。同時在nginx-ingress-controller的Deployment上新增hostNetwork為true及nginx-ingress的標籤,以使用宿主機網路與控制Ingress部署的節點
vim nginx-ingress.yaml
:s/quay.io/quay-mirror.qiniu.com/g
vim nginx-ingress.yaml
spec:
hostNetwork: true
nodeSelector:
nginx-ingress: "true"
3.部署Ingress
首先在knode1節點上打標籤nginx-ingress=true,控制Ingress部署到knode1上,保持IP固定。
[root@kmaster k8s-deploy]# kubectl label node knode1 nginx-ingress=true
node/knode1 labeled
然後完成nginx-ingress的部署
kubectl apply -f nginx-ingress.yaml
4.部署完成,稍等片刻等Pod建立完成,可通過如下命令檢視ingress相關Pod情況
[root@kmaster k8s-deploy]# kubectl get pods -n ingress-nginx -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
ingress-nginx-admission-create-drpg5 0/1 Completed 0 79m 10.244.2.2 knode1 <none> <none>
ingress-nginx-admission-patch-db2rt 0/1 Completed 1 79m 10.244.3.2 knode3 <none> <none>
ingress-nginx-controller-575cffb49c-4xm55 1/1 Running 0 79m 192.168.40.112 knode1 <none> <none>
八. 安裝Kubernetes Dashboard
1.下載yaml檔案(此目錄已包含 kubernetes-dashboard.yaml 檔案,可直接進入第3步)
wget -O kubernetes-dashboard.yaml https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-beta5/aio/deploy/recommended.yaml
2.修改kubernetes-dashboard.yaml
將Service type改為NodePort,使得可通過IP訪問Dashboard。註釋掉預設的Secret(預設的secret許可權很有限,看不到多少資料)
kind: Service
apiVersion: v1
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard
namespace: kubernetes-dashboard
spec:
type: NodePort
ports:
- port: 443
targetPort: 8443
nodePort: 30443
selector:
k8s-app: kubernetes-dashboard
3.部署Dashboard,並建立繫結cluster-admin角色的ServiceAccount —— admin-user (參考 auth.yaml)
kubectl apply -f kubernetes-dashboard.yaml
kubectl apply -f kubernetes-dashboard-auth.yaml
4.訪問Dashboard
訪問 https://叢集任意節點IP:30443,開啟Dashboard登入頁面,執行如下命令獲取登入token
kubectl -n kubernetes-dashboard describe secret $(kubectl -n kubernetes-dashboard get secret | grep admin-user | awk '{print $1}')
使用token完成登入,如圖
九. 解決證書無效問題
安裝完後,預設的證書可能無效,在Chrome瀏覽中無法開啟Dashboard,可通過重新生成證書解決。
1.建立自定義證書
[root@kmaster ~]# cd /etc/kubernetes/pki/
#生成私鑰
[root@kmaster pki]# openssl genrsa -out dashboard.key 2048
#生成證書
[root@kmaster pki]# openssl req -new -key dashboard.key -out dashboard.csr -subj "/O=JBST/CN=kubernetes-dashboard"
#使用叢集的CA來簽署證書
[root@kmaster pki]# openssl x509 -req -in dashboard.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out dashboard.crt -days 3650
#檢視自創證書
[root@kmaster pki]# openssl x509 -in dashboard.crt -noout -text
2.註釋 kubernetes-dashboard.yaml 中預設的Secret,
#---
#
#apiVersion: v1
#kind: Secret
#metadata:
# labels:
# k8s-app: kubernetes-dashboard
# name: kubernetes-dashboard-certs
# namespace: kubernetes-dashboard
#type: Opaque
3.重新部署Dashboard,並通過自定義證書建立新的Secret
[root@kmaster k8s-deploy]# kubectl delete -f kubernetes-dashboard.yaml
[root@kmaster k8s-deploy]# kubectl apply -f kubernetes-dashboard.yaml
[root@kmaster k8s-deploy]# kubectl create secret generic kubernetes-dashboard-certs --from-file=dashboard.crt=/etc/kubernetes/pki/dashboard.crt --from-file=dashboard.key=/etc/kubernetes/pki/dashboard.key -n kubernetes-dashboard
十. 在本地(win10)管理k8s叢集
1.下載kubectl windows版本: https://storage.googleapis.com/kubernetes-release/release/v1.16.0/bin/windows/amd64/kubectl.exe
2.將kubectl.exe檔案所在目錄加入系統環境變數的Path中
3.將master節點上 /etc/kubernetes/admin.conf 的內容拷貝到本地使用者目錄的 .kube/config 檔案中,如 C:\Users\Administrator\.kube\config
4.驗證
C:\Users\Administrator>kubectl get nodes
NAME STATUS ROLES AGE VERSION
kmaster Ready master 4d19h v1.16.0
knode1 Ready <none> 4d19h v1.16.0
knode2 Ready <none> 4d19h v1.16.0
knode3 Ready <none> 4d19h v1.16.0
本文所涉及的所有配置檔案可在這裡找到 github
相關閱讀:
歡迎關注作者公眾號:空山新雨的技術空間