作者：KubeVela 社群

KubeVela 目前已經支援了 AWS、Azure、GCP、阿里雲、騰訊雲、百度雲、UCloud 等雲廠商，也提供了簡單快捷的命令列工具[1]引入雲服務商的雲資源，但是在 KubeVela 裡一個一個地支援雲服務商的雲資源不利於快速滿足使用者對於雲資源的需求，本文提供了一個方案，用不到 100 行程式碼快速引入 AWS 前 50 最受歡迎的雲資源。

同時，我們也期望使用者受到本文的啟發，貢獻其他雲服務商的雲資源。

## AWS 最受歡迎的雲資源在哪裡？

Terraform 官網提供了各個雲服務商的 Terraform modules，比如 AWS 的雲資源 Terraform modules[2]。其中，雲資源按照受歡迎的使用程度（下載量）排序，比如 AWS VPC 下載量為 1870 萬次。

透過簡單分析，我們發現 AWS 前 50 Terraform modules 的資料可以透過請求 https://registry.terraform.io/v2/modules?filter%5Bprovider%5D=aws&include=latest-version&page%5Bsize%5D=50&page%5Bnumber%5D=1 獲取。

## 開始之前
程式碼接受兩個使用者傳入引數：
• provider 的名稱
• 該 provider 對應的 Terraform Modules 的 URL

對於 AWS 來說，Provider名稱為 “aws”，對應的 Terraform modules 為 Terraform Modules json 格式介面[3]（即在 Terraform Registry[4]中搜尋 provider 為 aws 時最受歡迎的 50 種雲資源）。
在執行程式碼之前需要確認 providerName(aws) 和 Modules 連結無誤。

## 執行程式碼
那麼你就可以透過以下 100 行左右的程式碼（檔名 gen.go）來批次地快速引入 AWS 最受歡迎的前 50 種雲資源。

```csharp
import (
  "encoding/json"
  "fmt"
  "io"
  "log"
  "net/http"
  "os"
  "os/exec"
  "path/filepath"
  "strings"
  "github.com/pkg/errors"
)
type TFDownload struct {
  Data     []DataItem     `json:"data"`
  Included []IncludedItem `json:"included"`
}
type IncludedItem struct {
  Id         string     `json:"id"`
  Attributes Attributes `json:"attributes"`
}
type DataItem struct {
  Attributes    Attributes    `json:"attributes"`
  Relationships Relationships `json:"relationships"`
}
type Relationships struct {
  LatestVersion RelationshipLatestVersion `json:"latest-version"`
}
type RelationshipLatestVersion struct {
  Data RelationshipData `json:"data"`
}
type RelationshipData struct {
  Id string `json:"id"`
}
var errNoVariables = errors.New("failed to find main.tf or variables.tf in Terraform configurations")
type Attributes struct {
  Name        string `json:"name"`
  Downloads   int    `json:"downloads"`
  Source      string `json:"source"`
  Description string `json:"description"`
  Verified    bool   `json:"verified"`
}
func main() {
  if len(os.Args) < 2 {
     fmt.Println("Please provide the cloud provider name and an official Terraform modules URL")
     os.Exit(1)
  }
  providerName := os.Args[1]
  terraformModulesUrl := os.Args[2]
  resp, err := http.Get(terraformModulesUrl)
  if err != nil {
     log.Fatal(err)
  }
  defer resp.Body.Close()
  body, err := io.ReadAll(resp.Body)
  if err != nil {
     log.Fatal(err)
  }
  var modules TFDownload
  if err := json.Unmarshal(body, &modules); err != nil {
     fmt.Println(err.Error())
     os.Exit(1)
  }
  if _, err = os.Stat(providerName); err == nil {
     if err := os.RemoveAll(providerName); err != nil {
        log.Fatal(err)
     }
     fmt.Printf("Successfully deleted existed directory %s\n", providerName)
  }
  if _, err = os.Stat(providerName); os.IsNotExist(err) {
     if err := os.Mkdir(providerName, 0755); err != nil {
        if !os.IsExist(err) {
           log.Fatal(err)
        }
        fmt.Printf("Successfully created directory %s\n", providerName)
     }
  }
  for _, module := range modules.Data {
     var description string
     for _, attr := range modules.Included {
        if module.Relationships.LatestVersion.Data.Id == attr.Id {
           description = attr.Attributes.Description
        }
     }
     if description == "" {
        description = strings.ToUpper(providerName) + " " + strings.Title(module.Attributes.Name)
     }
     outputFile := fmt.Sprintf("%s/terraform-%s-%s.yaml", providerName, providerName, module.Attributes.Name)
     if _, err := os.Stat(outputFile); !os.IsNotExist(err) {
        continue
     }
     if providerName == "aws" && (module.Attributes.Name == "rds" || module.Attributes.Name == "s3-bucket" ||
        module.Attributes.Name == "subnet" || module.Attributes.Name == "vpc") {
        continue
     }
     if err := generateDefinition(providerName, module.Attributes.Name, module.Attributes.Source, "", description); err != nil {
        fmt.Println(err.Error())
        os.Exit(1)
     }
  }
}
func generateDefinition(provider, name, gitURL, path, description string) error {
  defYaml := filepath.Join(provider, fmt.Sprintf("terraform-%s-%s.yaml", provider, name))
  cmd := fmt.Sprintf("vela def init %s --type component --provider %s --git %s.git --desc \"%s\" -o %s",
     name, provider, gitURL, description, defYaml)
  if path != "" {
     cmd = fmt.Sprintf("%s --path %s", cmd, path)
  }
  fmt.Println(cmd)
  stdout, err := exec.Command("bash", "-c", cmd).CombinedOutput()
  if err != nil {
     return errors.Wrap(err, string(stdout))
  }
  fmt.Println(string(stdout))
  return nil
```

執行命令：

```csharp
go run gen.go aws "https://registry.terraform.io/v2/modules?filter%5Bprovider%5D=aws&include=latest-version&page%5Bsize%5D=50&page%5Bnumber%5D=1"
```

## 程式碼簡要說明
### 解析雲資源資料
訪問使用者傳入的 URL，將返回的 json 資料解析為 Go 中的結構體。

資源對應的 json 格式如下：

```csharp
{
  "data": [
    {
      "type": "modules",
      "id": "23",
      "attributes": {
        "downloads": 18440513,
        "full-name": "terraform-aws-modules/vpc/aws",
        "name": "vpc",
        "namespace": "terraform-aws-modules",
        "owner-name": "",
        "provider-logo-url": "/images/providers/aws.png",
        "provider-name": "aws",
        "source": "https://github.com/terraform-aws-modules/terraform-aws-vpc",
        "verified": true
      },
      "relationships": {
        "latest-version": {
          "data": {
            "id": "142143",
            "type": "module-versions"
          }
        }
      },
      "links": {
        "self": "/v2/modules/23"
      }
    },
    ...
  ],
  "included": [
    {
      "type": "module-versions",
      "id": "36806",
      "attributes": {
        "created-at": "2020-01-03T11:35:36Z",
        "description": "Terraform module Terraform module for creating AWS IAM Roles with heredocs",
        "downloads": 260030,
        "published-at": "2020-02-06T06:26:08Z",
        "source": "",
        "tag": "v2.0.0",
        "updated-at": "2022-02-22T00:45:44Z",
        "version": "2.0.0"
      },
      "links": {
        "self": "/v2/module-versions/36806"
      }
    },
    ...
  ],
  ...
}
```

在 Modules 對應的 json 資料中，我們只關心兩個鍵值對，即：

• data：包含 Modules 名稱及屬性的列表
• Included：篩選出的特定版本的 Modules 具體資訊

其中，對於 data 中的每個 Module 元素，解析它的屬性，Id 和 relationship 中的 latest-version 對應的 id；對於 Included 中的每個 Module 版本元素，解析它的屬性和Id。

屬性又解析如下五項：

• Name
• Downloads
• Source
• Description
• Verified

結構體定義在結構體 TFDownload 中，透過 http 庫獲取 json 資料，再透過 json.Unmarshal 解析出 Terraform modules 的結構體。

### 批次生產雲資源
#### 1. 新建目錄，生成資源所需檔案
解析完畢後，在當前目錄下新建資料夾，資料夾命名為 provider 名稱。
遍歷解析後的 data，對於其中每個 Module 元素，執行下述操作，為其生成相應配置檔案，定義和相應文件。

#### 2. 生成定義檔案
透過下述 vela 指令從模組對應的 github 倉庫讀取相應資訊生成定義檔案。

```csharp
vela def init {ModuleName} --type component --provider {providerName} --git {gitURL} --desc {description} -o {yamlFileName}
```

指令中需要填入的幾項由解析好的 Module 結構體傳入。

• gitURL: {Module.Attributes.Source}.git

• description: 如果 Included 中存在元素 ID 與模組 relationship 中 latest-version 對應 ID 相同，則 description 為 Included 中對應元素屬性的 description；否則 description 為 providerName 與模組名稱的拼接

• yamlFileName：terraform-{providerName}-{Module.Attributes.Name}.yaml

## 你也來試試？

還有不少雲服務商也提供了豐富的 Terraform modules，比如

GCP：
https://registry.terraform.io/namespaces/terraform-google-modules

阿里雲：
https://registry.terraform.io/namespaces/terraform-alicloud-modules

你要不要也為 KubeVela 引入你正在使用的、或喜歡的雲服務商的雲資源？

## 相關連結
[1] 簡單快捷的命令列工具

https://kubevela.io/docs/next/platform-engineers/components/component-terraform

[2] AWS 的雲資源Terraform modules

https://registry.terraform.io/namespaces/terraform-aws-modules

[3] Terraform Modules json 格式介面

https://registry.terraform.io/v2/modules?filter%5Bprovider%5D=aws&include=latest-version&page%5Bsize%5D=50&page%5Bnumber%5D=1

[4] Terraform Registry

https://aregistry.terraform.io/

KubeVela: 如何用 100 行程式碼快速引入 AWS 最受歡迎的 50 種雲資源

相關文章