K8s技術全景：架構、應用與最佳化

techlead_krischang發表於2024-04-07
K8S架構

本文深入探討了Kubernetes（K8s）的關鍵方面，包括其架構、容器編排、網路與儲存管理、安全與合規、高可用性、災難恢復以及監控與日誌系統。

關注【TechLeadCloud】，分享網際網路架構、雲服務技術的全維度知識。作者擁有10+年網際網路服務架構、AI產品研發經驗、團隊管理經驗，同濟本復旦碩，復旦機器人智慧實驗室成員，阿里雲認證的資深架構師，專案管理專業人士，上億營收AI產品研發負責人

file

一、介紹

file

Kubernetes的歷史和演進

Kubernetes（簡稱K8s）是一個開源的容器編排系統，用於自動化應用程式的部署、擴充套件和管理。它最初是由Google內部的Borg系統啟發並設計的，於2014年作為開源專案首次亮相。

初始階段

Kubernetes的誕生源於Google內部對大規模容器管理的需求。早在2014年之前，Google已經在其內部系統Borg上積累了大量關於容器編排和管理的經驗。這些經驗和技術最終孕育出Kubernetes。

發展階段

隨著雲端計算和微服務架構的興起，Kubernetes迅速成為行業標準。它的設計哲學、可擴充套件性和社群支援是其成功的關鍵因素。2015年，Cloud Native Computing Foundation（CNCF）成立，並接管了Kubernetes的發展。在CNCF的支援下，Kubernetes經歷了快速發展，吸引了一大批貢獻者和使用者。

演進階段

Kubernetes不斷演進，增加了對多種雲平臺的支援，改進了網路和儲存功能，增強了安全性。其社群也不斷擴大，衍生出眾多相關專案和工具，形成了一個龐大的生態系統。

K8s的核心概念和設計理念

核心概念

  1. Pods：Pod是Kubernetes的基本執行單位，代表了在叢集中執行的一個或多個容器的組合。
  2. Services：Service是對一組提供相同功能的Pods的抽象，它提供了一個穩定的網路介面。
  3. Deployments：Deployment提供了對Pods和ReplicaSets（副本集）的宣告式更新能力。

設計理念

  1. 宣告式配置：Kubernetes使用宣告式配置（而非命令式），使用者定義期望狀態，系統負責實現這一狀態。
  2. 自我修復：系統能夠自動替換、重啟、複製和擴充套件叢集中的節點。
  3. 可擴充套件性：Kubernetes設計了一套強大的APIs，允許在其上構建更復雜的系統。
  4. 負載均衡和服務發現：Kubernetes能夠自動分配IP地址和DNS名，以及平衡網路流量，以實現高效的服務發現和負載均衡。
  5. 多維度資源排程：它支援基於CPU、記憶體等多種資源型別的排程決策。

Kubernetes的這些概念和設計理念共同構成了其強大的容器編排和管理能力，使其成為當今雲原生應用和微服務架構的首選平臺。

二、K8s架構深入解析

file
架構、應用與最佳化
Kubernetes的架構設計旨在提供一個分散式、可擴充套件且高度可用的容器編排平臺。它由多個元件構成，協同工作以管理叢集的生命週期和操作。

主要元件和節點型別

1. 控制平面（Master節點）

控制平面是Kubernetes的大腦，負責整個叢集的管理和協調。它包含幾個關鍵元件：

  • API伺服器（kube-apiserver）：作為叢集的前端，處理REST請求，是所有通訊的樞紐。
  • 叢集資料儲存（etcd）：一個輕量級、高可用的鍵值儲存，用於儲存所有叢集資料。
  • 控制器管理器（kube-controller-manager）：執行控制器程序，這些控制器包括節點控制器、副本控制器等。
  • 排程器（kube-scheduler）：負責決定將新建立的Pod分配給哪個節點。

2. 工作節點（Worker節點）

工作節點是執行應用程式容器的物理伺服器或虛擬機器。它們包括：

  • Kubelet：確保容器在Pod中執行，並向控制平面彙報節點的狀態。
  • Kube-Proxy：負責節點上的網路代理，實現服務發現和負載均衡。
  • 容器執行時：負責執行容器，例如Docker或containerd。

控制平面和資料平面的工作原理

控制平面

控制平面維護著叢集的全域性狀態，如排程決策、響應Pod生命週期事件、控制器的邏輯等。它確保叢集始終處於使用者定義的期望狀態。

資料平面

資料平面包括所有工作節點，負責實際執行使用者的應用程式。它透過Kubelet和Kube-Proxy來維護Pod的生命週期和網路規則。

叢集狀態管理和排程演算法

叢集狀態管理

Kubernetes透過etcd來維護叢集狀態。所有元件都透過API伺服器與etcd互動，獲取或更改叢集的狀態資訊。

排程演算法

Kubernetes排程器採用多步驟的過程來選擇最佳節點：

  1. 過濾：基於資源需求、策略限制、親和性規則等過濾掉不適合的節點。
  2. 評分：對於剩餘節點，基於資源使用率、網路拓撲等因素計算評分。
  3. 選擇：選擇得分最高的節點來部署Pod。

此過程確保了有效的資源分配和負載平衡，同時滿足使用者對部署位置的具體要求。

Kubernetes架構的每個組成部分都被精心設計以提高效率、可靠性和可擴充套件性，確保其能夠應對各種規模和複雜度的應用需求。

三、容器編排和管理

容器編排是Kubernetes的核心功能，它負責管理容器的生命週期、維護應用的健康和確保服務的可用性。在這一部分，我們將深入探討Kubernetes在容器編排和管理方面的機制和元件。

Pod生命週期管理

1. Pod的建立

  • 定義：Pod是Kubernetes中最小的部署單元，通常包含一個或多個容器。
  • 配置：透過YAML或JSON檔案定義Pod的規格，包括容器映象、埠、環境變數等。

2. Pod的狀態

  • Pending：Pod已被Kubernetes接受，但有一個或多個容器尚未建立。
  • Running：Pod已被繫結到一個節點，所有容器都已建立，至少有一個正在執行。
  • Succeeded：Pod中的所有容器都正常執行並已退出，不會重啟。
  • Failed：Pod中的所有容器都已終止，且至少有一個因故障終止。
  • Unknown：Pod的狀態無法確定。

3. Pod的生命週期鉤子

  • PostStart：在容器建立後立即執行的操作。
  • PreStop：在容器終止之前執行的操作。

控制器模式

1. Deployment

  • 用途：管理無狀態的應用。
  • 功能：確保指定數量的Pod副本始終執行，支援滾動更新和回滾。

2. StatefulSet

  • 用途：管理有狀態的應用。
  • 功能：為每個副本維護一個持久的識別符號和儲存。

3. DaemonSet

  • 用途：在叢集的每個節點上執行一份Pod副本。
  • 功能：用於執行日誌收集器、監控代理等叢集範圍的服務。

4. Job和CronJob

  • 用途：執行一次性或定時任務。
  • 功能：Job用於執行批處理任務，CronJob用於定時任務。

服務發現和負載均衡

1. Service

  • 定義：一種抽象，定義了訪問一組Pod的方式。
  • 型別：
    • ClusterIP：在叢集內部提供一個內部IP。
    • NodePort：在每個節點的指定埠上提供訪問。
    • LoadBalancer：使用外部負載均衡器提供訪問。
    • ExternalName：透過DNS名對映到外部服務。

2. Ingress

  • 定義：管理外部訪問叢集服務的規則。
  • 功能：提供URL路由、負載均衡、SSL終端和名稱基礎的虛擬主機。

容器編排和管理是Kubernetes的核心強項，它透過一系列精密設計的機制和元件，確保容器化應用的高效、可靠執行。這些功能的深度和靈活性使Kubernetes成為當今企業級容器管理的首選平臺。

四、網路和儲存

在Kubernetes中，網路和儲存的管理對於保證容器化應用的高效執行至關重要。這部分將深入探討Kubernetes在這兩個關鍵領域的實現機制。

網路模型與策略

1. 網路模型

Kubernetes採用的是扁平化網路模型，要求每個Pod都有一個獨一無二的IP地址。這意味著在整個叢集內，每個Pod都應該能夠直接訪問其他Pod，而無需NAT。

  • Pod-to-Pod Communication：Pod之間可以直接通訊，無需透過NAT。
  • Pod-to-Service Communication：Service作為Pods的抽象，提供了一個穩定的介面供Pods間通訊。

2. 網路策略

Kubernetes允許使用網路策略來控制Pod間的流量。這些策略基於標籤和名稱空間，允許定義複雜的規則集，以確定Pods間的通訊許可權。

  • 入口和出口規則：定義哪些型別的流量可以進入或離開Pod。
  • 基於標籤的隔離：透過標籤來標識Pods和服務，實現細粒度的網路隔離。

持久化儲存和Volume管理

1. Volume

Kubernetes中的Volume是一個儲存在Pod中的目錄，可以是本地的目錄，也可以是遠端儲存或其他高階儲存裝置。

  • 生命週期：Volume的生命週期與Pod相同，它在Pod啟動時建立，在Pod退出時銷燬。
  • 型別：支援多種型別的Volume，如emptyDir、hostPath、NFS、PersistentVolume等。

2. PersistentVolume (PV) 和 PersistentVolumeClaim (PVC)

  • PersistentVolume (PV)：叢集資源，代表一塊儲存空間。PV是獨立於Pod的，可以在Pod間共享。
  • PersistentVolumeClaim (PVC)：使用者對儲存的請求。PVC消費PV資源，PVC與PV之間的關係類似於Pod與Node。

3. 儲存類 (StorageClass)

  • 定義：描述不同型別儲存的方法。
  • 功能：允許管理員為不同的儲存後端提供和配置類別，使用者可以基於這些類別建立PVC。

4. StatefulSet的儲存管理

StatefulSet是管理有狀態應用的控制器，它可以確保每個Pod都能夠繫結到特定的PersistentVolume，這對於資料庫和其他需要持久化儲存的應用至關重要。

Kubernetes在網路和儲存方面提供了高度的靈活性和可擴充套件性，能夠適應不同的應用場景和需求。這些特性是Kubernetes支援複雜企業級應用的關鍵因素之一。

五、安全和合規

在Kubernetes環境中，確保叢集安全和遵守合規標準是至關重要的。這一部分詳細探討Kubernetes中的安全機制，包括認證、授權、訪問控制以及最佳安全實踐。

認證、授權與訪問控制

1. 認證 (Authentication)

  • 機制：Kubernetes支援多種認證機制，如X.509證書、Bearer Tokens、OpenID Connect Tokens等。
  • Kubeconfig：用於儲存API伺服器的訪問憑證和連線資訊。
  • Service Accounts：專門為Pod中執行的應用程式建立的賬戶，由Kubernetes自動管理。

2. 授權 (Authorization)

  • RBAC (Role-Based Access Control)：基於角色的訪問控制，透過角色和角色繫結來控制使用者對Kubernetes資源的訪問。
  • ABAC (Attribute-Based Access Control)：基於屬性的訪問控制，定義複雜的訪問規則。
  • Node Authorization：專門控制節點（kubelet）對API的訪問。

3. 准入控制 (Admission Control)

  • 定義：用於攔截（在認證和授權之後）對API的請求。
  • 常用控制器：包括PodSecurityPolicies、ResourceQuotas、NamespaceLifecycle等。

安全最佳實踐與策略

1. 叢集安全

  • API伺服器安全配置：使用HTTPS、開啟RBAC、限制訪問來源等。
  • 節點安全：保證kubelet的安全，限制對kubelet API的訪問。
  • 網路策略：使用網路策略隔離Pod和服務，防止未授權的跨服務訪問。

2. Pod安全

  • Pod安全策略：定義一組條件，Pod需要滿足這些條件才能執行。
  • 安全上下文：為Pod和容器配置許可權和訪問控制設定。
  • 最小許可權原則：只授予Pod執行所必需的許可權。

3. 金鑰和敏感資料管理

  • Secrets：用於儲存和管理敏感資訊，如密碼、OAuth令牌和SSH金鑰。
  • 加密-at-Rest：確保持久化儲存的資料被加密。

4. 審計日誌

  • 審計：跟蹤和記錄叢集中的活動，對安全事件進行分析。
  • 策略：定義稽核日誌策略，決定記錄哪些事件以及如何保留日誌。

透過這些機制和最佳實踐，Kubernetes提供了強大的工具來保護叢集和應用程式免受未授權訪問和攻擊，同時確保了合規性和資料保密性。

六、高可用和災難恢復

在Kubernetes叢集管理中，實現高可用性和災難恢復策略是至關重要的。這些機制確保在硬體故障、軟體錯誤、網路問題等不可預測情況下，叢集和應用能夠持續執行或快速恢復。

叢集的高可用配置

1. 控制平面的高可用

  • 多節點控制平面：部署多個控制平面節點，以避免單點故障。
  • 負載均衡器：在控制平面節點前設定負載均衡器，以分散請求。
  • etcd叢集：執行多個etcd例項，形成一個高可用的鍵值儲存叢集。

2. 工作節點的高可用

  • 自動擴充套件和自愈：使用叢集自動擴充套件器和自動修復策略確保足夠的工作節點數量和健康狀態。
  • 跨區域部署：在不同的地理位置或雲區域部署節點，以抵禦區域性故障。

備份與恢復策略

1. 資料備份

  • etcd備份：定期備份etcd資料，這對於恢復叢集狀態至關重要。
  • 持久卷備份：對PersistentVolumes進行定期備份，以保證資料安全。

2. 叢集資源備份

  • Kubernetes資源備份：使用工具如Velero備份Kubernetes資源和配置，包括Deployments、Services等。

3. 災難恢復

  • 恢復計劃：制定詳細的災難恢復計劃，包括如何快速恢復叢集和應用。
  • 演練：定期進行災難恢復演練，以驗證和改進恢復流程。

4. 容災策略

  • 多叢集部署：部署多個Kubernetes叢集，作為彼此的備份，以保證至少有一個叢集始終可用。
  • 資料複製：跨叢集複製關鍵資料和配置，以確保在主叢集不可用時能夠快速切換。

透過這些高可用和災難恢復策略，Kubernetes能夠最大限度地減少系統停機時間，保證業務連續性和資料完整性。這些策略對於執行關鍵業務應用的企業來說尤為重要。

七、監控和日誌

監控和日誌管理是Kubernetes叢集管理中不可或缺的一部分，它們幫助管理員瞭解叢集的健康狀況，診斷問題，並確保叢集的高效執行。這部分將深入探討Kubernetes中的監控和日誌系統。

叢集監控工具和技巧

1. 資源和效能監控

  • Prometheus：一個開源的監控和告警工具，廣泛用於Kubernetes的資源和效能監控。
  • Grafana：與Prometheus整合，提供了豐富的資料視覺化選項。
  • Heapster：（已廢棄）曾經是Kubernetes的預設監控工具，現已被Metrics Server所替代。
  • Metrics Server：用於收集叢集中節點和Pod的資源使用資料。

2. 監控策略

  • 基於閾值的告警：設定資源使用率等的閾值，當達到閾值時傳送告警。
  • 自定義監控和告警規則：利用Prometheus的強大查詢語言和告警規則來定製監控策略。

日誌管理和分析

1. 日誌收集

  • Elasticsearch、Fluentd和Kibana（EFK堆疊）：一套流行的日誌收集、儲存和分析解決方案。
  • Loki：一個更輕量級的日誌聚合系統，專為Kubernetes設計，與Grafana緊密整合。

2. 日誌策略

  • 集中式日誌收集：將所有節點和Pod的日誌彙總到一箇中心位置，便於分析和儲存。
  • 日誌輪轉和保留：自動刪除舊日誌，以管理儲存空間和滿足合規要求。

3. 日誌分析

  • 實時日誌分析：提供實時的日誌資料流，幫助快速定位問題。
  • 日誌查詢和視覺化：使用Kibana或Grafana對日誌資料進行查詢和視覺化展示。

4. 審計日誌

  • Kubernetes審計：記錄對Kubernetes API的請求，包括誰、什麼時候、什麼操作以及操作是否成功等資訊。

透過這些監控和日誌管理工具，Kubernetes管理員能夠有效地監控叢集狀態，識別和解決問題，從而保證叢集的穩定性和效率。這些系統對於維護大規模、複雜的Kubernetes叢集至關重要。

關注【TechLeadCloud】，分享網際網路架構、雲服務技術的全維度知識。作者擁有10+年網際網路服務架構、AI產品研發經驗、團隊管理經驗，同濟本復旦碩，復旦機器人智慧實驗室成員，阿里雲認證的資深架構師，專案管理專業人士，上億營收AI產品研發負責人
如有幫助，請多關注
TeahLead KrisChang，10+年的網際網路和人工智慧從業經驗，10年+技術和業務團隊管理經驗，同濟軟體工程本科，復旦工程管理碩士，阿里雲認證雲服務資深架構師，上億營收AI產品業務負責人。

相關文章