開發一個MutatingWebhook

leason001發表於2024-08-22

介紹

Webhook就是一種HTTP回撥，用於在某種情況下執行某些動作，Webhook不是K8S獨有的，很多場景下都可以進行Webhook，比如在提交完程式碼後呼叫一個Webhook自動構建docker映象

准入 Webhook 是一種用於接收准入請求並對其進行處理的 HTTP 回撥機制。可以定義兩種型別的准入 Webhook，即驗證性質的准入 Webhook 和變更性質的准入 Webhook。變更性質的准入 Webhook 會先被呼叫。它們可以修改傳送到 API 伺服器的物件以執行自定義的設定預設值操作。

在完成了所有物件修改並且 API 伺服器也驗證了所傳入的物件之後，驗證性質的 Webhook 會被呼叫，並透過拒絕請求的方式來強制實施自定義的策略。

Admission Webhook使用較多的場景如下

在資源持久化到ETCD之前進行修改（Mutating Webhook），比如增加init Container或者sidecar Container
在資源持久化到ETCD之前進行校驗（Validating Webhook），不滿足條件的資源直接拒絕並給出相應資訊

組成

webhook 服務
webhook 配置
webhook 證書

建立核心元件Pod的Webhook

使用kubebuilder新建webhook專案

kubebuilder init --domain test.com --repo gitlab.qima-inc.com/test-operator

(base) (⎈ |kubernetes-admin@qa-u03:qa)➜  test-operator kubebuilder init --domain test.com --repo gitlab.qima-inc.com/test-operator
INFO Writing kustomize manifests for you to edit...
INFO Writing scaffold for you to edit...
INFO Get controller runtime:
$ go get sigs.k8s.io/controller-runtime@v0.17.2
INFO Update dependencies:
$ go mod tidy
go: go.mod file indicates go 1.21, but maximum version supported by tidy is 1.19
Error: failed to initialize project: unable to run post-scaffold tasks of "base.go.kubebuilder.io/v4": exit status 1

因為我預設是是go1.19所以版本達不到要求，這裡兩種處理方式

指定 --plugins go/v3 --project-version 3
切換高版本golang 這裡我切換了go1.22

(base) (⎈ |kubernetes-admin@qa-u03:qa)➜  test-operator kubebuilder init --domain test.com --repo gitlab.qima-inc.com/test-operator                                    
INFO Writing kustomize manifests for you to edit... 
INFO Writing scaffold for you to edit...          
INFO Get controller runtime:
$ go get sigs.k8s.io/controller-runtime@v0.17.2 
INFO Update dependencies:
$ go mod tidy           
Next: define a resource with:
$ kubebuilder create api

生成核心元件Pod的API

(base) (⎈ |kubernetes-admin@qa-u03:qa)➜  test-operator kubebuilder create api --group core --version v1 --kind Pod                                                    
INFO Create Resource [y/n]                        
n
INFO Create Controller [y/n]                      
n
INFO Writing kustomize manifests for you to edit... 
INFO Writing scaffold for you to edit...          
INFO Update dependencies:
$ go mod tidy

這裡有兩個選項，建立資源和建立控制器
因為是內建資源Pod所以不需要建立資源，也不需要控制器
假如是自定義資源，需要建立資源，建立控制器

建立webhook

(base) (⎈ |kubernetes-admin@qa-u03:qa)➜  test-operator kubebuilder create webhook --group core --version v1 --kind Pod --defaulting --programmatic-validation
INFO Writing kustomize manifests for you to edit... 
ERRO Unable to find the target(s) #- path: patches/webhook/* to uncomment in the file config/crd/kustomization.yaml. 
ERRO Unable to find the target(s) #configurations:
#- kustomizeconfig.yaml to uncomment in the file config/crd/kustomization.yaml. 
INFO Writing scaffold for you to edit...          
INFO api/v1/pod_webhook.go                        
INFO api/v1/pod_webhook_test.go                   
INFO api/v1/webhook_suite_test.go                 
INFO Update dependencies:
$ go mod tidy           
INFO Running make:
$ make generate                
mkdir -p /Users/xxxx/test-operator/bin
Downloading sigs.k8s.io/controller-tools/cmd/controller-gen@v0.14.0
/Users/xxxx/test-operator/bin/controller-gen-v0.14.0 object:headerFile="hack/boilerplate.go.txt" paths="./..."
Next: implement your new Webhook and generate the manifests with:
$ make manifests

程式碼結構

.
├── Dockerfile
├── Makefile
├── PROJECT
├── README.md
├── api
│   └── v1
│       ├── pod_webhook.go
│       ├── pod_webhook_test.go
│       └── webhook_suite_test.go
├── bin
│   └── controller-gen-v0.14.0
├── cmd
│   └── main.go
├── config
│   ├── certmanager
│   │   ├── certificate.yaml
│   │   ├── kustomization.yaml
│   │   └── kustomizeconfig.yaml
│   ├── crd
│   │   └── patches
│   │       ├── cainjection_in_pods.yaml
│   │       └── webhook_in_pods.yaml
│   ├── default
│   │   ├── kustomization.yaml
│   │   ├── manager_auth_proxy_patch.yaml
│   │   ├── manager_config_patch.yaml
│   │   ├── manager_webhook_patch.yaml
│   │   └── webhookcainjection_patch.yaml
│   ├── manager
│   │   ├── kustomization.yaml
│   │   └── manager.yaml
│   ├── prometheus
│   │   ├── kustomization.yaml
│   │   └── monitor.yaml
│   ├── rbac
│   │   ├── auth_proxy_client_clusterrole.yaml
│   │   ├── auth_proxy_role.yaml
│   │   ├── auth_proxy_role_binding.yaml
│   │   ├── auth_proxy_service.yaml
│   │   ├── kustomization.yaml
│   │   ├── leader_election_role.yaml
│   │   ├── leader_election_role_binding.yaml
│   │   ├── role.yaml
│   │   ├── role_binding.yaml
│   │   └── service_account.yaml
│   └── webhook
│       ├── kustomization.yaml
│       ├── kustomizeconfig.yaml
│       ├── manifests.yaml
│       └── service.yaml
├── go.mod
├── go.sum
├── hack
│   └── boilerplate.go.txt
└── test
├── e2e
│   ├── e2e_suite_test.go
│   └── e2e_test.go
└── utils
└── utils.go

實現Webhook相關程式碼

因為只有Webhook，沒有Controller 所以只需要實現Webhook相關程式碼即可，同時需要註釋掉一些程式碼如：
Dockerfile中的

# COPY internal/controller/ internal/controller/

修改api/v1/xxx_suite_test.go
因為核心元件Pod的Webhook和一般的CRD的webhook不一樣，此處生成的pod_webhook.go只有Default()這個function，因此，我們需要直接重寫整個程式碼，最重要的是Handle()方法。

/*
Copyright 2024.

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
*/

package v1

import (
	"fmt"
	"net/http"
	"sigs.k8s.io/controller-runtime/pkg/client"
	logf "sigs.k8s.io/controller-runtime/pkg/log"
	"sigs.k8s.io/controller-runtime/pkg/webhook/admission"
)

// log is for logging in this package.
var podlog = logf.Log.WithName("pod-resource")

// 定義核心元件pod的webhook的主struct，類似於java的Class
type PodWebhookMutate struct {
	Client  client.Client
	decoder *admission.Decoder
}

// +kubebuilder:webhook:path=/mutate-core-v1-pod,mutating=true,failurePolicy=fail,sideEffects=None,groups=core,resources=pods,verbs=create;update,versions=v1,name=mpod.kb.io,admissionReviewVersions=v1
func (a *PodWebhookMutate) Handle(ctx context.Context, req admission.Request) admission.Response {
	pod := &corev1.Pod{}
	err := a.decoder.Decode(req, pod)
	if err != nil {
		return admission.Errored(http.StatusBadRequest, err)
	}

	// TODO: 變數marshaledPod是一個Map，可以直接修改pod的一些屬性
	marshaledPod, err := json.Marshal(pod)
	if err != nil {
		return admission.Errored(http.StatusInternalServerError, err)
	}
	// 列印
	fmt.Println("======================================================")
	fmt.Println(string(marshaledPod))
	return admission.PatchResponseFromRaw(req.Object.Raw, marshaledPod)
}

func (a *PodWebhookMutate) InjectDecoder(d *admission.Decoder) error {
	a.decoder = d
	return nil
}

修改main.go檔案：

if os.Getenv("ENABLE_WEBHOOKS") != "false" {
    //if err = (&corev1.Pod{}).SetupWebhookWithManager(mgr); err != nil {
    //	setupLog.Error(err, "unable to create webhook", "webhook", "Pod")
    //	os.Exit(1)
    //}
    mgr.GetWebhookServer().Register("/mutate-core-v1-pod", &webhook.Admission{Handler: &v1.PodWebhookMutate{Client: mgr.GetClient()}})
}

生成mainfests

make manifests generate

證書

手動簽發證書

https://cuisongliu.github.io/2020/07/kubernetes/admission-webhook/

自動簽發證書

webhook 服務啟動時自動生成證書，授權證書

建立CA根證書以及服務的證書
將服務端、CA證書寫入 k8s Secret，並且支援find or create
本地寫入證書
獲取MutatingWebhookConfiguration和ValidatingWebhookConfiguration將caCert寫入webhook config中的ClientConfig.CABundle（這裡有個問題是webhook需要提前建立，CABundle可以寫個臨時值，等webhook server 啟動覆蓋）

自動簽發證書參考專案： https://github.com/koordinator-sh/koordinator/blob/main/pkg/webhook/util/controller/webhook_controller.go#L187

從頭開發一個Flutter外掛（一）開發流程
2018-11-05
Flutter
敏捷個人-做好一個開發者
2019-04-06
敏捷
從零開始開發一個 Webpack
2018-07-12
Web
開發一個Spring Boot Starter!
2019-08-05
Spring Boot
開發一個 React Loading 元件
2020-03-08
React元件
一個Wpf的開發框架
2020-11-22
框架
開發一個自己的 CSS 框架（一）
2018-07-14
CSS框架
如何開發一個開源閘道器？
2022-12-14
一分鐘開發一個表單
2019-04-01
一個良好的開發理念TDD
2018-11-02
開發一個React + Electron應用
2019-03-09
React
開發第一個Flink應用
2022-07-17
使用 typescript 快速開發一個 cli
2020-12-08
TypeScript
從零開始完成一個Android JNI開發
2019-01-16
Android
一週開發一個客服工單系統
2024-05-20
手動開發一個日曆元件
2019-03-04
元件
如何開發一個免費的app？
2023-12-19
APP
Flutter從0開發一個路由框架
2019-09-27
Flutter路由框架
介紹一個軟體開發工具
2019-07-12
如何從0開發一個Atom元件
2018-04-11
元件
一個pyspark 開發練習例項
2024-07-15
Spark
golang開發一個簡單的grpc
2022-10-13
GolangRPC
介紹一個軟體開發工具，堪稱快速開發神器
2019-07-19
歷時一個月！又完成一個全棧開發的小程式！
2023-07-30
全棧
nodejs：開發併釋出一個nodejs包
2019-02-16
NodeJS
我如何用Django開發一個專案
2018-11-18
Django
如何開發一個框架或中介軟體
2019-01-15
框架
iOS上開發的一個安全鍵盤
2018-03-14
iOS
推薦一個好用的.net開發框架
2024-05-12
框架
C#-sharpdevelop開發第一個winform程式
2020-11-07
C#devORM
終於,幫開發寫了一個bug
2020-05-19
[新手開發記錄] 新建一個網站
2020-05-16
網站
如何自己開發一個腳手架工具
2019-05-05
求一個獨立模型的開發示例
2019-05-11
模型
從零開發一個node命令列工具
2019-06-05
命令列
來開發一個wanandroid快應用吧
2019-02-21
NaNAndroid
如何構建一個高效的開發流程
2018-12-31
使用Kotlin開發一個追番應用
2018-03-02
Kotlin