Aggregated APIServer 構建雲原生應用最佳實踐

概述

為什麼選擇 Aggregated APIServer？

選擇獨立 API 還是 Aggregated APIServer ？

• 能利用 Kubernetes 原生的認證、授權、准入等機制，有更高的開發效率;
• 能更好的和 K8s 系統融合，藉助 K8s 生態更快的推廣自己的產品，方便使用者上手;
• 藉助於 K8s 成熟的 API 工具及規範，構建出的 API 介面更加規範整齊;

選擇 CRDs 還是 Aggregated APIServer？

• 定製資源的欄位不多；
• 你在組織內部使用該資源或者在一個小規模的開源專案中使用該資源，而不是在商業產品中使用；聚合 API 可提供更多的高階 API 特性，也可對其他特性進行定製；例如，對儲存層進行定製、對 protobuf 協議支援、對 logs、patch 等操作支援。

APIServer 擴充套件的基本原理

• AggregatorServer：負責處理  apiregistration.k8s.io  組下的 APIService 資源請求，同時將來自使用者的請求攔截轉發給 Aggregated APIServer(AA)；
• KubeAPIServer：負責對請求的一些通用處理，包括：認證、鑑權以及各個內建資源(pod, deployment，service)的 REST 服務等；
• ApiExtensionsServer：負責 CustomResourceDefinition（CRD）apiResources 以及 apiVersions 的註冊，同時處理 CRD 以及相應 CustomResource（CR）的REST請求(如果對應 CR 不能被處理的話則會返回404)，也是 apiserver Delegation 的最後一環；

如何快速構建 Aggregated APIServer？

安裝 apiserver-builder 工具

$ GO111MODULE=on go get sigs.k8s.io/apiserver-builder-alpha/cmd/apiserver-boot

• 下載 ^[8]最新版本
• 解壓到 /usr/local/apiserver-builder/
• 如果此目錄不存在，則建立此目錄
• 新增/usr/local/apiserver-builder/bin到您的路徑  export PATH=$PATH:/usr/local/apiserver-builder/bin
• 執行 apiserver-boot -h

初始化專案

$ mkdir skai-demo

$ 
cd skai-demo 

$ apiserver-boot init repo --domain skai.io

.

├── BUILD.bazel

├── Dockerfile

├── Makefile

├── PROJECT

├── WORKSPACE

├── bin

├── cmd

│   ├── apiserver

│   │   └── main.go

│   └── manager

│       └── main.go -> ../../main.go

├── go.mod

├── hack

│   └── boilerplate.go.txt

├── main.go

└── pkg

    └── apis

        └── doc.go

• hack 目錄存放自動指令碼

• cmd/apiserver 是 aggregated server的啟動入口

• cmd/manager 是 controller 的啟動入口

• pkg/apis 存放 CR 相關的結構體定義，會在下一步自動生成

生成自定義資源

$ apiserver-boot create group version resource --group animal --version v1alpha1 --kind Cat --non-namespaced=false

Create Resource [y/n]

y

Create Controller [y/n]

n

└── pkg

    └── apis

        ├── animal

        │   ├── doc.go

        │   └── v1alpha1

        │       ├── cat_types.go

        │       ├── doc.go

        │       └── register.go

        └── doc.go

// Cat

// +k8s:openapi-gen=
true


type Cat struct {

        metav1.TypeMeta   `json:
",inline"`

        metav1.ObjectMeta `json:
"metadata,omitempty"`

        Spec   CatSpec   `json:
"spec,omitempty"`

        Status CatStatus `json:
"status,omitempty"`

}

// CatSpec defines the desired state of Cat


type CatSpec struct {

    Name string `json:
"name"`

}

func (
in *Cat) Validate(ctx context.Context) field.ErrorList {

    allErrs := field.ErrorList{}

    
if len(in.Spec.Name) == 0 {

        allErrs = append(allErrs, field.Invalid(field.NewPath(
"spec", 
"name"), in.Spec.Name, 
"must be specify"))

    }

    
return allErrs

}

部署執行

建立 EKS叢集 ^[9]&配置好本地 kubeconfig ^[10]；

執行部署命令 ；

$ apiserver-boot run 
in-cluster --image=xxx/skai.io/skai-demo:0.0.1 --name=skai-demo --namespace=default

• 自動生成 APIServer Dockerfile 檔案；
• 透過 APIServer Dockerfile 構建服務映象，並將映象推送到指定倉庫；
• 在config目錄下生成 CA 及其他 APIServer 部署需要的證書檔案；
• 在config目錄下生成 APIServer 部署需要的 Deployment、Service、APIService、ServiceAccount 等 yaml 檔案；
• 將上一步生成的 yaml 檔案部署到叢集中；

功能驗證

確認 Resource 註冊成功

$ kubectl api-versions |grep animal

animal.skai.io/v1alpha1

確認 Aggregated APIServer 能正常工作

$ kubectl get apiservice v1alpha1.animal.skai.io 

NAME                      SERVICE             AVAILABLE   AGE

v1alpha1.animal.skai.io   default/skai-demo   True        19h

建立並檢視新增的 Resource

建立

$ cat lucky.yaml

apiVersion: animal.skai.io/v1alpha1

kind: Cat

metadata:

  name: mycat

  namespace: default

spec:

  name: lucky


# 建立自定義 resource

$ kubectl apply -f lucky.yaml

查詢

# 查詢自定義 resource 列表

$ kubectl get cat

NAME    CREATED AT

mycat   2021-11-17T09:08:10Z


# 查詢自定義資源詳情

$ kubectl get cat mycat -oyaml

apiVersion: animal.skai.io/v1alpha1

kind: Cat

metadata:

  annotations:

    kubectl.kubernetes.io/last-applied-configuration: |

      {
"apiVersion":
"animal.skai.io/v1alpha1",
"kind":
"Cat",
"metadata":{
"annotations":{},
"name":
"mycat"},
"spec":{
"name":
"lucky"}}

  creationTimestamp: 
"2021-11-17T09:08:10Z"

  name: mycat

  resourceVersion: 
"17"

  uid: 98af0905-f01d-4042-bad3-71b96c0919f4

spec:

  name: lucky

status: {}

總結

參考資料