1. Kubernetes概述
1.1 Kubernetes是什麼
- Kubernetes是Google在2014年開源的一個容器叢集管理系統，Kubernetes簡稱K8S。
- K8S用於容器化應用程式的部署，擴充套件和管理。
- K8S提供了容器編排，資源排程，彈性伸縮，部署管理，服務發現等一系列功能。
- Kubernetes目標是讓部署容器化應用簡單高效。
1.2 Kubernetes的特性
1）自我修復
- 在節點故障時重新啟動失敗的容器，替換和重新部署，保證預期的副本數量；
- 殺死健康檢查失敗的容器，並且在未準備好之前不會處理客戶端請求，確保線上服務不中斷；
2）彈性伸縮
- 使用命令、UI或者基於CPU使用情況自動快速擴容和縮容應用程式例項，保證應用業務高峰併發時的高可用性；
- 業務低峰時回收資源，以最小成本執行服務
3）自動部署和回滾
- Kubernetes採用滾動跟新策略更新應用，一次更新一個Pod，而不是同時刪除所有的Pod，如果更新過程中出現問題，將回滾更改，確保升級不影響業務。
4）服務發現和負載均衡
- K8S為多個容器提供一個統一訪問入口（內部IP地址和一個DNS名稱），並且負載均衡關聯的所有容器，使得使用者無需考慮容器IP問題。
5）機密和配置管理
- 管理機密資料和應用程式配置，而不需要把敏感資料暴露在映象裡，提高敏感資料安全性。並可以將一些常用的配置儲存在K8S中，方便應用程式使用。
6）儲存編排
- 掛載外部儲存系統，無論是來自本地儲存，公有云（AWS），還是網路儲存（NFS、GlusterFS、Ceph）都作為叢集資源的一部分使用，極大提高儲存使用靈活性
7）批處理
- 提供一次性服務，定時任務；滿足批量資料處理和分析的場景
1.3 Kubernetes叢集架構元件
1）Master元件
- kube-apiserver
- （Kubernetes API）叢集的統一入口，各元件協調者，以RESTful API提供介面服務，所有物件資源的增刪改查和監聽操作都交給APIServer處理後再提交給Etcd儲存。
- kube-controller-manager
- 處理叢集中常規後臺任務，一個資源對應一個控制器，而ControllerManager就是負責管理這些控制器的
- kube-schedule
- 根據排程演算法為新建立的Pod選擇一個Node節點，可以任意部署，可以部署在同一個節點上,也可以部署在不同的節點上
- etcd
- 分散式鍵值儲存系統。用於儲存叢集狀態資料，比如Pod、Service等物件資訊。
2）Node元件
- kubelet
- kubelet是Master在Node節點上的Agent，管理本機執行容器的生命週期，比如建立容器、Pod掛載資料卷、下載secret、獲取容器和節點狀態等工作。kubelet將每個Pod轉換成一組容器
- kube-proxy
- 在Node節點上實現Pod網路代理，維護網路規則和四層負載均衡工作。
- docker 或 rocket
- 容器引擎，執行容器
1.4 Kubernetes核心概念
1）Pod
- 最小部署單元
- 一組容器的集合
- 一個Pod中的容器共享網路名稱空間
- Pod是短暫的
2）Controller
- ReplicaSet：確保預期的Pod副本數量
- Deployment：無狀態應用部署
- StatefulSet：有狀態應用部署
- DaemonSet：確保所有Node執行同一個Pod
- Job：一次性任務
- Cronjob：定時任務
3）更高階層次物件，部署和管理Pod
- Service：
- 防止Pod失聯；定義一次Pod的訪問策略
- Service抽象層不過是iptables或者ipvs中的規則而已
- Label：標籤，附加到某個資源上，用於關聯物件、查詢和篩選
- Namespaces：名稱空間，將物件邏輯上隔離
- Annotations：註釋
4）網路解決方案
- K8S通過CNI外掛體系來接入外部網路服務解決方案
- 常見的有：
- flannel：網路配置相關
- calico：網路配置、網路策略
- canel：flannel的網路配置 + calico的網路策略
5）三種網路
- Pod網路：Pod的地址是配置在Pod內部的網路名稱空間上的，是能ping通的，就像正常主機上的地址一樣
- Service網路（叢集網路）：Service的地址是虛擬的，它只存在於iptables或者ipvs的規則之中
- 節點網路：各個節點也應該有一個網路
各個Pod執行在同一個網路中，而service是另外一個網路；Pod和service的地址是不同網段的。
接入外部訪問時，先接入節點網路，然後由節點網路代理至叢集網路，再由叢集網路代理至Pod網路。
同一Pod內的多個容器之間通過 lo 介面進行通訊。
兩個Pod之間可以直接進行通訊：通過隧道的方式（Overlay疊加網路）來轉發二層報文，使得它們雖然擴主機但是好像工作在同一個二層網路中。訪問對方Pod所在節點的位置，然後再代理到Pod內部的容器上。
2. 使用kubeadm部署K8S叢集
2.1 Kubernetes的三種部署方式
1）minikube
- Minikube是一個工具，可以在本地快速執行一個單點的Kubernetes，僅用於嘗試Kubernetes或日常開發的使用者使用。
- 部署地址：https://kubernetes.io/docs/setup/minikube/
2）kubeadm
- Kubeadm是一個工具，提供kubeadm init 和 kubeadm join，用於快速部署Kubernetes叢集。
- 部署地址：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/
3）二進位制包
- 從官方下載發行版的二進位制包，手動部署每個元件，組成Kubernetes叢集。
- 下載地址：https://github.com/kubernetes/kubernetes/releases
2.2 K8S叢集的部署規劃
1）環境需求
- 系統：CentOS7.4
- 記憶體 > 1.7G
- CPU > 2核
2）角色規劃
3）網路模型
- 節點網路：172.18.0.0/16
- Pod網路：10.244.0.0/16
- Service網路：10.96.0.0/12
2.3 環境初始化
- 在所有節點上都執行
1）關閉防火牆、SELinux
# 關閉防火牆並設定開機禁止啟動 systemctl stop firewalld && systemctl disable firewalld # 關閉SELinux sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config && setenforce 0
2）關閉swap分割槽
# 臨時關閉所有swap swapoff -a # 在/etc/fstab中機制掛載swap sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
3）設定主機名並配置hosts
# 為各個主機配置主機名 hostnamectl set-hostname k8s-master01 hostnamectl set-hostname k8s-node01 hostnamectl set-hostname k8s-node02 # 配置好主機名後將以下內容寫入到所有節點的 /etc/hosts 檔案中 172.18.0.67 k8s-master01 172.18.0.68 k8s-node01 172.18.0.69 k8s-node02
4）核心調整
- 將橋接的 IPv4 的流量傳遞到 iptables的鏈
# 設定 net.bridge.bridge-nf-call-ip6tables = 1 # 設定 net.bridge.bridge-nf-call-iptables = 1 cat > /etc/sysctl.d/k8s.conf << EOF net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 EOF sysctl --system # Load settings from all system configuration files
5）為各個主機做時間同步
- 啟動chrony服務同步時間即可
2.4 開始安裝
- 在所有節點上執行
1）配置安裝源
- 配置docker-ce的源
cd /etc/yum.repos.d/ && wget -c https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/centos/docker-ce.repo # 注意要修改下載下來的這個repo檔案中的地址，將其指向為清華的源的地址
- 配置Kubernetes的源
cat > /etc/yum.repos.d/kubernetes.repo << EOF [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=0 repo_gpgcheck=0 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF
2）安裝docker-ce
yum install -y docker-ce systemctl start docker && systemctl enable docker docker info # 安裝完成之後注意要為docker配置好映象加速
3）安裝kubeadm、kubelet 和 kubectl
yum install kubelet kubeadm kubectl -y # 注意，要讓kubelet開機自啟，現在還不能去手動啟動它 systemctl enable kubelet
4）為kubelet配置額外引數
# 可以在 /etc/sysconfig/kubelet 這個檔案中新增額外的引數 # 如關閉swap功能 KUBELET_EXTRA_ARGS="--fail-swap-on=false"
2.5 部署 K8S Master
- 只需要在 k8s-master節點上執行
1）初始化master
kubeadm init \ --kubernetes-version v1.20.2 \ --pod-network-cidr=10.244.0.0/16 \ --service-cidr=10.96.0.0/12 \ --apiserver-advertise-address=172.18.0.67 \ --ignore-preflight-errors=Swap \ --image-repository registry.aliyuncs.com/google_containers # apiserver要修改成自己的master節點的地址，預設apiserver監聽在所有地址的6443埠上 # 如果swap報錯，可以加上選項--ignore-preflight-errors=Swap，但是注意那個Swap的S要大寫 # 由於預設拉取映象地址k8s.gcr.io國內無法訪問，這裡指定阿里雲映象倉庫地址
# 注意kubernetes的版本要和之前安裝的kubelet的版本一致
2）根據回顯提示操作
mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config
3）測試
# 獲取元件狀態資訊 kubectl get cs # cs是kubectl get componentstatus的簡寫，獲取元件狀態資訊 # 檢視k8s叢集的節點資訊 kubectl get nodes
4）token失效解決
因為預設 token 的有效期為24小時，過期之後該token就不可用了，所以如果後續有node節點加入，可以重新生成新的token
- 重新生成新的token
[root@master01 ~]# kubeadm token create salxe7.gnlwtozqxxsf4uu7 [root@master01 ~]# kubeadm token list TOKEN TTL EXPIRES USAGES DESCRIPTION EXTRA GROUPS he4ugm.z537h1g7taugguco 23h 2021-01-19T15:53:34+08:00 authentication,signing <none> system:bootstrappers:kubeadm:default-node-token salxe7.gnlwtozqxxsf4uu7 23h 2021-01-19T15:53:48+08:00 authentication,signing <none> system:bootstrappers:kubeadm:default-node-token t4xdcj.5vgr19ymj4g6y7hm 6h 2021-01-18T22:31:08+08:00 authentication,signing <none> system:bootstrappers:kubeadm:default-node-token [root@master01 ~]#
- 獲取ca證書sha256編碼hash值
[root@master01 ~]# openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //' 19060b637433363db284e831fce4bd567f82d8070b2744741dbe2f1cfa804d53
- 節點加入叢集
kubeadm join 172.18.0.67:6443 --token t4xdcj.5vgr19ymj4g6y7hm --discovery-token-ca-cert-hash sha256:19060b637433363db284e831fce4bd567f82d8070b2744741dbe2f1cfa804d53 --ignore-preflight-errors=Swap
2.6 加入K8S Node
- 在兩個Node節點執行
註冊Node節點到Master
# kubeadm join 的內容，在上面kubeadm init 已經生成好了 kubeadm join 172.18.0.67:6443 --token t4xdcj.5vgr19ymj4g6y7hm --discovery-token-ca-cert-hash sha256:19060b637433363db284e831fce4bd567f82d8070b2744741dbe2f1cfa804d53 --ignore-preflight-errors=Swap
2.7 安裝網路外掛flannel
- 在master節點上安裝即可，其他節點加入k8s叢集后會自動安裝
1）安裝flannel
# 這個地址可能訪問不到，可以開小飛機手動把這個檔案下載下來，然後再apply kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml # 執行的成功與否要看docker image ls中是否有flannel的映象，慢慢等待它下載即可
# 要確保能夠訪問到 quay.io 這個registery
# 如果無法訪問，可以將此檔案中image項後面的地址修改成可以訪問到的地址
2）檢視是否安裝成功
# 注意，要確保狀態為全1/1時，才可進行後續操作 [root@k8s-master01 ~]# kubectl get pods -n kube-system NAME READY STATUS RESTARTS AGE coredns-7f89b7bc75-9zxjz 1/1 Running 0 12m coredns-7f89b7bc75-n8p4s 1/1 Running 0 12m etcd-k8s-master01 1/1 Running 0 12m kube-apiserver-k8s-master01 1/1 Running 0 12m kube-controller-manager-k8s-master01 1/1 Running 0 12m kube-flannel-ds-b5ljk 1/1 Running 0 7m58s kube-proxy-cwzkw 1/1 Running 0 12m kube-scheduler-k8s-master01 1/1 Running 0 12m # 確保所有節點為Ready狀態 [root@k8s-master01 ~]# kubectl get nodes NAME STATUS ROLES AGE VERSION k8s-master01 Ready control-plane,master 93m v1.20.2 k8s-node01 Ready <none> 49m v1.20.2
3）flannel安裝失敗後重灌
- 如果flannel因為網路問題安裝失敗，需要進行重新安裝
kubectl delete -f kube-flannel.yml # 然後重新安裝 kebectl apply -f kube-flannel.yml
3. Kubernetes叢集資訊檢視及管理
3.1 Pod的建立與檢視
1）資訊檢視
# 檢視k8s叢集的整體資訊 kubectl cluster-info # 檢視當前系統上已經被建立的控制器 kubectl get deployment # 檢視pod的相關資訊 kubectl get pods kubectl get pods -o wide # 檢視更詳細的資訊 # 檢視services的相關資訊 kubectl get services kubectl get svc # 檢視kube-system名稱空間中service的相關資訊 kubectl get svc -n kube-system
2）建立一個pod
# 建立並執行一個特定的映象，暴露80埠，並且只建立1個副本，幹跑模式需要再加上--dry-run=true kubectl run nginx-deploy --image=nginx:1.14 --port=80 --replicas=1
# 如果要映象中執行其他程式，可以寫成這樣（注意前面要加 -- ） kubectl run nginx-deploy --image=nginx:1.14 --port=80 --replicas=1 -- /bin/sh
3）對剛剛建立的pod進行檢視並訪問
[root@k8s-master01 ~]# kubectl get pods -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES nginx-deploy 1/1 Running 0 3m6s 10.244.1.2 k8s-node01 <none> <none> [root@k8s-master01 ~]# curl 10.244.1.2
3.2 建立pod並暴露埠
- 在Kubernetes叢集中建立一個pod，然後暴露埠，驗證其是否可以正常訪問
1）建立deployment
# 建立一個deployment控制器，這個控制器的名字就叫nginx-deploy kubectl create deployment nginx-deploy --image=nginx
2）建立service並暴露埠
kubectl expose deployment nginx-deploy --name=nginx --port=80 --target-port=80 --protocol=TCP # 將nginx-deploy這個控制器（deployment ）相關的pod資源都建立為一個服務，服務名叫nginx # --name 是service的名稱 # --port 是service暴露到外部的埠 # --target-port 是pod暴露的埠 # --protocol 使用的協議，預設就是TCP # --type 是service的型別，service有多種型別，可kubectl expose --help來檢視--type選項，Defaultis 'ClusterIP'
3）檢視相關資訊並訪問
# 檢視pod和service的相關資訊 [root@k8s-master01 ~]# kubectl get pods,svc NAME READY STATUS RESTARTS AGE pod/nginx-deploy-8588f9dfb-t8wzr 1/1 Running 0 11m NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE service/kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 78m service/nginx ClusterIP 10.99.193.184 <none> 80/TCP 34s # 檢視kube-system名稱空間中service的相關資訊 kubectl get svc -n kube-system # 訪問：http://NodeIP:PORT，只有在叢集內部的節點上才能被訪問到 curl http://10.99.193.184
參考：
- https://www.cnblogs.com/jiangwenhui/p/11792519.html
- https://www.cnblogs.com/double-dong/p/11483670.html