kubebuilder實戰之五：operator編碼

程式設計師欣宸發表於2021-08-30

歡迎訪問我的GitHub

https://github.com/zq2599/blog_demos

內容：所有原創文章分類彙總及配套原始碼，涉及Java、Docker、Kubernetes、DevOPS等；

系列文章連結

本篇概覽

本篇是《kubebuilder實戰》系列的第五篇，前面的一切努力(環境準備、知識儲備、需求分析、資料結構和業務邏輯設計)，都是為了將之前的設計用編碼實現；
既然已經充分準備，如今無需太多言語，我們們開始動手吧！

原始碼下載

本篇實戰中的完整原始碼可在GitHub下載到，地址和連結資訊如下表所示(https://github.com/zq2599/blog_demos)：

名稱	連結	備註
專案主頁	https://github.com/zq2599/blog_demos	該專案在GitHub上的主頁
git倉庫地址(https)	https://github.com/zq2599/blog_demos.git	該專案原始碼的倉庫地址，https協議
git倉庫地址(ssh)	git@github.com:zq2599/blog_demos.git	該專案原始碼的倉庫地址，ssh協議

這個git專案中有多個資料夾，kubebuilder相關的應用在kubebuilder資料夾下，如下圖紅框所示：

在這裡插入圖片描述

kubebuilder資料夾下有多個子資料夾，本篇對應的原始碼在elasticweb目錄下，如下圖紅框所示：

在這裡插入圖片描述

新建專案elasticweb

新建名為elasticweb的資料夾，在裡面執行以下命令即可建立名為elasticweb的專案，domain為com.bolingcavalry：

go mod init elasticweb
kubebuilder init --domain com.bolingcavalry

然後是CRD，執行以下命令即可建立相關資源：

kubebuilder create api \
--group elasticweb \
--version v1 \
--kind ElasticWeb

然後用IDE開啟整個工程，我這裡是goland：

在這裡插入圖片描述

CRD編碼

開啟檔案api/v1/elasticweb_types.go，做以下幾步改動：

修改資料結構ElasticWebSpec，增加前文設計的四個欄位；
修改資料結構ElasticWebStatus，增加前文設計的一個欄位；
增加String方法，這樣列印日誌時方便我們檢視，注意RealQPS欄位是指標，因此可能為空，需要判空；

完整的elasticweb_types.go如下所示：

package v1

import (
	"fmt"
	metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
	"strconv"
)

// 期望狀態
type ElasticWebSpec struct {
	// 業務服務對應的映象，包括名稱:tag
	Image string `json:"image"`
	// service佔用的宿主機埠，外部請求通過此埠訪問pod的服務
	Port *int32 `json:"port"`

	// 單個pod的QPS上限
	SinglePodQPS *int32 `json:"singlePodQPS"`
	// 當前整個業務的總QPS
	TotalQPS *int32 `json:"totalQPS"`
}

// 實際狀態，該資料結構中的值都是業務程式碼計算出來的
type ElasticWebStatus struct {
	// 當前kubernetes中實際支援的總QPS
	RealQPS *int32 `json:"realQPS"`
}

// +kubebuilder:object:root=true

// ElasticWeb is the Schema for the elasticwebs API
type ElasticWeb struct {
	metav1.TypeMeta   `json:",inline"`
	metav1.ObjectMeta `json:"metadata,omitempty"`

	Spec   ElasticWebSpec   `json:"spec,omitempty"`
	Status ElasticWebStatus `json:"status,omitempty"`
}

func (in *ElasticWeb) String() string {
	var realQPS string

	if nil == in.Status.RealQPS {
		realQPS = "nil"
	} else {
		realQPS = strconv.Itoa(int(*(in.Status.RealQPS)))
	}

	return fmt.Sprintf("Image [%s], Port [%d], SinglePodQPS [%d], TotalQPS [%d], RealQPS [%s]",
		in.Spec.Image,
		*(in.Spec.Port),
		*(in.Spec.SinglePodQPS),
		*(in.Spec.TotalQPS),
		realQPS)
}

// +kubebuilder:object:root=true

// ElasticWebList contains a list of ElasticWeb
type ElasticWebList struct {
	metav1.TypeMeta `json:",inline"`
	metav1.ListMeta `json:"metadata,omitempty"`
	Items           []ElasticWeb `json:"items"`
}

func init() {
	SchemeBuilder.Register(&ElasticWeb{}, &ElasticWebList{})
}

在elasticweb目錄下執行make install即可部署CRD到kubernetes：

zhaoqin@zhaoqindeMBP-2 elasticweb % make install
/Users/zhaoqin/go/bin/controller-gen "crd:trivialVersions=true" rbac:roleName=manager-role webhook paths="./..." output:crd:artifacts:config=config/crd/bases
kustomize build config/crd | kubectl apply -f -
Warning: apiextensions.k8s.io/v1beta1 CustomResourceDefinition is deprecated in v1.16+, unavailable in v1.22+; use apiextensions.k8s.io/v1 CustomResourceDefinition
customresourcedefinition.apiextensions.k8s.io/elasticwebs.elasticweb.com.bolingcavalry created

部署成功後，用api-versions命令可以查到該GV：

在這裡插入圖片描述

回顧業務邏輯

核心資料結構設計編碼完畢，接下來該編寫業務邏輯程式碼了，大家還記得前文設計的業務流程吧，簡單回顧一下，如下圖：
開啟檔案elasticweb_controller.go，接下來我們們逐漸新增內容；

新增資源訪問許可權

我們們的elasticweb會對service、deployment這兩種資源做查詢、新增、修改等操作，因此需要這些資源的操作許可權，增加下圖紅框中的兩行註釋，這樣程式碼生成工具就會在RBAC配置中增加對應的許可權：

在這裡插入圖片描述

常量定義

先把常量準備好，可見每個pod使用的CPU和記憶體都是在此固定的，您也可以改成在Spec中定義，這樣就可以從外部傳入了，另外這裡為每個pod只分配了0.1個CPU，主要是因為我窮買不起好的CPU，您可以酌情調整該值：

const (
	// deployment中的APP標籤名
	APP_NAME = "elastic-app"
	// tomcat容器的埠號
	CONTAINER_PORT = 8080
	// 單個POD的CPU資源申請
	CPU_REQUEST = "100m"
	// 單個POD的CPU資源上限
	CPU_LIMIT = "100m"
	// 單個POD的記憶體資源申請
	MEM_REQUEST = "512Mi"
	// 單個POD的記憶體資源上限
	MEM_LIMIT = "512Mi"
)

方法getExpectReplicas

有個很重要的邏輯：根據單個pod的QPS和總QPS，計算需要多少個pod，我們們將這個邏輯封裝到一個方法中以便使用：

/ 根據單個QPS和總QPS計算pod數量
func getExpectReplicas(elasticWeb *elasticwebv1.ElasticWeb) int32 {
	// 單個pod的QPS
	singlePodQPS := *(elasticWeb.Spec.SinglePodQPS)

	// 期望的總QPS
	totalQPS := *(elasticWeb.Spec.TotalQPS)

	// Replicas就是要建立的副本數
	replicas := totalQPS / singlePodQPS

	if totalQPS%singlePodQPS > 0 {
		replicas++
	}

	return replicas
}

方法createServiceIfNotExists

將建立service的操作封裝到一個方法中，是的主幹程式碼的邏輯更清晰，可讀性更強；
建立service的時候，有幾處要注意：

先檢視service是否存在，不存在才建立；
將service和CRD例項elasticWeb建立關聯(controllerutil.SetControllerReference方法)，這樣當elasticWeb被刪除的時候，service會被自動刪除而無需我們干預；
建立service的時候用到了client-go工具，推薦您閱讀《client-go實戰系列》,工具越熟練，編碼越盡興；

建立service的完整方法如下：

// 新建service
func createServiceIfNotExists(ctx context.Context, r *ElasticWebReconciler, elasticWeb *elasticwebv1.ElasticWeb, req ctrl.Request) error {
	log := r.Log.WithValues("func", "createService")

	service := &corev1.Service{}

	err := r.Get(ctx, req.NamespacedName, service)

	// 如果查詢結果沒有錯誤，證明service正常，就不做任何操作
	if err == nil {
		log.Info("service exists")
		return nil
	}

	// 如果錯誤不是NotFound，就返回錯誤
	if !errors.IsNotFound(err) {
		log.Error(err, "query service error")
		return err
	}

	// 例項化一個資料結構
	service = &corev1.Service{
		ObjectMeta: metav1.ObjectMeta{
			Namespace: elasticWeb.Namespace,
			Name:      elasticWeb.Name,
		},
		Spec: corev1.ServiceSpec{
			Ports: []corev1.ServicePort{{
				Name:     "http",
				Port:     8080,
				NodePort: *elasticWeb.Spec.Port,
			},
			},
			Selector: map[string]string{
				"app": APP_NAME,
			},
			Type: corev1.ServiceTypeNodePort,
		},
	}

	// 這一步非常關鍵！
	// 建立關聯後，刪除elasticweb資源時就會將deployment也刪除掉
	log.Info("set reference")
	if err := controllerutil.SetControllerReference(elasticWeb, service, r.Scheme); err != nil {
		log.Error(err, "SetControllerReference error")
		return err
	}

	// 建立service
	log.Info("start create service")
	if err := r.Create(ctx, service); err != nil {
		log.Error(err, "create service error")
		return err
	}

	log.Info("create service success")

	return nil
}

方法createDeployment

將建立deployment的操作封裝在一個方法中，同樣是為了將主幹邏輯保持簡潔；
建立deployment的方法也有幾處要注意：

呼叫getExpectReplicas方法得到要建立的pod的數量，該數量是建立deployment時的一個重要引數；
每個pod所需的CPU和記憶體資源也是deployment的引數；
將deployment和elasticweb建立關聯，這樣刪除elasticweb的時候deplyment就會被自動刪除了；
同樣是使用client-go客戶端工具建立deployment資源；

// 新建deployment
func createDeployment(ctx context.Context, r *ElasticWebReconciler, elasticWeb *elasticwebv1.ElasticWeb) error {
	log := r.Log.WithValues("func", "createDeployment")

	// 計算期望的pod數量
	expectReplicas := getExpectReplicas(elasticWeb)

	log.Info(fmt.Sprintf("expectReplicas [%d]", expectReplicas))

	// 例項化一個資料結構
	deployment := &appsv1.Deployment{
		ObjectMeta: metav1.ObjectMeta{
			Namespace: elasticWeb.Namespace,
			Name:      elasticWeb.Name,
		},
		Spec: appsv1.DeploymentSpec{
			// 副本數是計算出來的
			Replicas: pointer.Int32Ptr(expectReplicas),
			Selector: &metav1.LabelSelector{
				MatchLabels: map[string]string{
					"app": APP_NAME,
				},
			},

			Template: corev1.PodTemplateSpec{
				ObjectMeta: metav1.ObjectMeta{
					Labels: map[string]string{
						"app": APP_NAME,
					},
				},
				Spec: corev1.PodSpec{
					Containers: []corev1.Container{
						{
							Name: APP_NAME,
							// 用指定的映象
							Image:           elasticWeb.Spec.Image,
							ImagePullPolicy: "IfNotPresent",
							Ports: []corev1.ContainerPort{
								{
									Name:          "http",
									Protocol:      corev1.ProtocolSCTP,
									ContainerPort: CONTAINER_PORT,
								},
							},
							Resources: corev1.ResourceRequirements{
								Requests: corev1.ResourceList{
									"cpu":    resource.MustParse(CPU_REQUEST),
									"memory": resource.MustParse(MEM_REQUEST),
								},
								Limits: corev1.ResourceList{
									"cpu":    resource.MustParse(CPU_LIMIT),
									"memory": resource.MustParse(MEM_LIMIT),
								},
							},
						},
					},
				},
			},
		},
	}

	// 這一步非常關鍵！
	// 建立關聯後，刪除elasticweb資源時就會將deployment也刪除掉
	log.Info("set reference")
	if err := controllerutil.SetControllerReference(elasticWeb, deployment, r.Scheme); err != nil {
		log.Error(err, "SetControllerReference error")
		return err
	}

	// 建立deployment
	log.Info("start create deployment")
	if err := r.Create(ctx, deployment); err != nil {
		log.Error(err, "create deployment error")
		return err
	}

	log.Info("create deployment success")

	return nil
}

方法updateStatus

不論是建立deployment資源物件，還是對已有的deployment的pod數量做調整，這些操作完成後都要去修改Status，既實際的狀態，這樣外部才能隨時隨地知道當前elasticweb支援多大的QPS，因此需要將修改Status的操作封裝到一個方法中，給多個場景使用，Status的計算邏輯很簡單：pod數量乘以每個pod的QPS就是總QPS了，程式碼如下：

// 完成了pod的處理後，更新最新狀態
func updateStatus(ctx context.Context, r *ElasticWebReconciler, elasticWeb *elasticwebv1.ElasticWeb) error {
	log := r.Log.WithValues("func", "updateStatus")

	// 單個pod的QPS
	singlePodQPS := *(elasticWeb.Spec.SinglePodQPS)

	// pod總數
	replicas := getExpectReplicas(elasticWeb)

	// 當pod建立完畢後，當前系統實際的QPS：單個pod的QPS * pod總數
	// 如果該欄位還沒有初始化，就先做初始化
	if nil == elasticWeb.Status.RealQPS {
		elasticWeb.Status.RealQPS = new(int32)
	}

	*(elasticWeb.Status.RealQPS) = singlePodQPS * replicas

	log.Info(fmt.Sprintf("singlePodQPS [%d], replicas [%d], realQPS[%d]", singlePodQPS, replicas, *(elasticWeb.Status.RealQPS)))

	if err := r.Update(ctx, elasticWeb); err != nil {
		log.Error(err, "update instance error")
		return err
	}

	return nil
}

主幹程式碼

前面細枝末節都處理完畢，可以開始主流程了，有了前面的流程圖的賦值，主流程的程式碼很容就寫出來了，如下所示，已經新增了足夠的註釋，就不再贅述了：

func (r *ElasticWebReconciler) Reconcile(req ctrl.Request) (ctrl.Result, error) {
	// 會用到context
	ctx := context.Background()
	log := r.Log.WithValues("elasticweb", req.NamespacedName)

	// your logic here

	log.Info("1. start reconcile logic")

	// 例項化資料結構
	instance := &elasticwebv1.ElasticWeb{}

	// 通過客戶端工具查詢，查詢條件是
	err := r.Get(ctx, req.NamespacedName, instance)

	if err != nil {

		// 如果沒有例項，就返回空結果，這樣外部就不再立即呼叫Reconcile方法了
		if errors.IsNotFound(err) {
			log.Info("2.1. instance not found, maybe removed")
			return reconcile.Result{}, nil
		}

		log.Error(err, "2.2 error")
		// 返回錯誤資訊給外部
		return ctrl.Result{}, err
	}

	log.Info("3. instance : " + instance.String())

	// 查詢deployment
	deployment := &appsv1.Deployment{}

	// 用客戶端工具查詢
	err = r.Get(ctx, req.NamespacedName, deployment)

	// 查詢時發生異常，以及查出來沒有結果的處理邏輯
	if err != nil {
		// 如果沒有例項就要建立了
		if errors.IsNotFound(err) {
			log.Info("4. deployment not exists")

			// 如果對QPS沒有需求，此時又沒有deployment，就啥事都不做了
			if *(instance.Spec.TotalQPS) < 1 {
				log.Info("5.1 not need deployment")
				// 返回
				return ctrl.Result{}, nil
			}

			// 先要建立service
			if err = createServiceIfNotExists(ctx, r, instance, req); err != nil {
				log.Error(err, "5.2 error")
				// 返回錯誤資訊給外部
				return ctrl.Result{}, err
			}

			// 立即建立deployment
			if err = createDeployment(ctx, r, instance); err != nil {
				log.Error(err, "5.3 error")
				// 返回錯誤資訊給外部
				return ctrl.Result{}, err
			}

			// 如果建立成功就更新狀態
			if err = updateStatus(ctx, r, instance); err != nil {
				log.Error(err, "5.4. error")
				// 返回錯誤資訊給外部
				return ctrl.Result{}, err
			}

			// 建立成功就可以返回了
			return ctrl.Result{}, nil
		} else {
			log.Error(err, "7. error")
			// 返回錯誤資訊給外部
			return ctrl.Result{}, err
		}
	}

	// 如果查到了deployment，並且沒有返回錯誤，就走下面的邏輯

	// 根據單QPS和總QPS計算期望的副本數
	expectReplicas := getExpectReplicas(instance)

	// 當前deployment的期望副本數
	realReplicas := *deployment.Spec.Replicas

	log.Info(fmt.Sprintf("9. expectReplicas [%d], realReplicas [%d]", expectReplicas, realReplicas))

	// 如果相等，就直接返回了
	if expectReplicas == realReplicas {
		log.Info("10. return now")
		return ctrl.Result{}, nil
	}

	// 如果不等，就要調整
	*(deployment.Spec.Replicas) = expectReplicas

	log.Info("11. update deployment's Replicas")
	// 通過客戶端更新deployment
	if err = r.Update(ctx, deployment); err != nil {
		log.Error(err, "12. update deployment replicas error")
		// 返回錯誤資訊給外部
		return ctrl.Result{}, err
	}

	log.Info("13. update status")

	// 如果更新deployment的Replicas成功，就更新狀態
	if err = updateStatus(ctx, r, instance); err != nil {
		log.Error(err, "14. update status error")
		// 返回錯誤資訊給外部
		return ctrl.Result{}, err
	}

	return ctrl.Result{}, nil
}

至此，整個elasticweb operator編碼就完成了，限於篇幅，我們們把部署、執行、映象製作等操作放在下一篇文章吧；

你不孤單，欣宸原創一路相伴

歡迎關注公眾號：程式設計師欣宸

微信搜尋「程式設計師欣宸」，我是欣宸，期待與您一同暢遊Java世界...
https://github.com/zq2599/blog_demos

kubebuilder實戰之四：operator需求說明和設計
2021-08-28
UI
kubebuilder實戰之七：webhook
2021-09-02
UIWebHook
kubebuilder operator的執行邏輯
2022-03-05
UI
kubebuilder實戰之六：構建部署執行
2021-08-31
UI
kubebuilder實戰之八：知識點小記
2021-09-03
UI
kubebuilder實戰之一：準備工作kubebuilder實戰之一：準備工作
2021-08-25
UI
kubebuilder實戰之三：基礎知識速覽
2021-08-27
UI
webpack 學習筆記：實戰之 babel 編碼
2020-09-27
Web筆記Babel
ElasticSearch實戰－編碼實踐
2015-08-11
Elasticsearch
五分鐘戰勝 Python 字元編碼
2016-06-27
Python字元
Web自動化之Headless Chrome編碼實戰
2017-07-08
WebChrome
client-go實戰之五：DiscoveryClient
2021-09-10
clientGo
OpenFaaS實戰之五：大話watchdog
2021-08-04
多雲容器編排 Karmada-Operator 實踐
2022-09-29
tcc分散式事務框架原始碼解析系列(五)之專案實戰
2017-10-13
分散式框架原始碼
Hadoop專案實戰－使用者行為分析之編碼實踐
2015-06-24
Hadoop
Spring Cloud Gateway實戰之五：內建filter
2021-11-18
SpringCloudGatewayFilter
JavaCV的攝像頭實戰之五：推流
2022-02-09
Java
Nancy簡單實戰之NancyMusicStore(五)：部署上線
2017-01-21
NaN
rust實戰系列-base64編碼
2022-07-12
Rust
TypeScript 之 Typeof Type Operator
2021-11-30
TypeScript
編輯小記之實戰中的MongoDB
2012-08-28
MongoDB
Kafka專案實戰－使用者日誌上報實時統計之編碼實踐
2017-11-16
Kafka
Express 實戰（五）：路由
2017-09-16
Express路由
iOS專案開發實戰——CoreLocation地理編碼和反地理編碼
2015-09-20
iOS
音訊編解碼·實戰篇（1）WAV轉至AAC（AAC編碼）
2012-04-07
音訊
音訊編解碼·實戰篇（1）PCM轉至AAC（AAC編碼）
2012-04-07
音訊
gRPC學習之五：gRPC-Gateway實戰
2021-08-18
RPCGateway
TiDB Operator 原始碼閱讀 (三) 編排元件控制迴圈
2021-09-09
TiDB原始碼元件
TypeScript 之 Keyof Type Operator
2021-11-29
TypeScript
Nginx實戰（五）反向代理
2016-10-18
Nginx
Python爬蟲實戰之（五）| 模擬登入wechat
2018-04-10
Python爬蟲
【虛擬化實戰】網路設計之五IPStorage
2017-11-23
Netty4實戰 - 編解碼技術
2017-05-21
Netty
Android實戰技巧之四十：Android5.1.1原始碼編譯與燒寫
2016-09-17
Android原始碼編譯
Nebula Operator 雲上實踐
2021-08-18
DL4J實戰之五：矩陣操作基本功
2021-10-20
矩陣
MyBatis初級實戰之五：一對一關聯查詢
2021-01-21
MyBatis

kubebuilder實戰之五：operator編碼

歡迎訪問我的GitHub

系列文章連結

本篇概覽

原始碼下載

新建專案elasticweb

CRD編碼

回顧業務邏輯

新增資源訪問許可權

常量定義

方法getExpectReplicas

方法createServiceIfNotExists

方法createDeployment

方法updateStatus

主幹程式碼

你不孤單，欣宸原創一路相伴

歡迎關注公眾號：程式設計師欣宸

相關文章