刀耕火種微服務？何不用 go-zero 自動生成！

kevwan發表於2020-09-06

微服務Go

0. 為什麼說做好微服務很難？

要想做好微服務，我們需要理解和掌握的知識點非常多，從幾個維度上來說：

基本功能層面
1. 併發控制&限流，避免服務被突發流量擊垮
2. 服務註冊與服務發現，確保能夠動態偵測增減的節點
3. 負載均衡，需要根據節點承受能力分發流量
4. 超時控制，避免對已超時請求做無用功
5. 熔斷設計，快速失敗，保障故障節點的恢復能力
高階功能層面
1. 請求認證，確保每個使用者只能訪問自己的資料
2. 鏈路追蹤，用於理解整個系統和快速定位特定請求的問題
3. 日誌，用於資料收集和問題定位
4. 可觀測性，沒有度量就沒有優化

對於其中每一點，我們都需要用很長的篇幅來講述其原理和實現，那麼對我們後端開發者來說，要想把這些知識點都掌握並落實到業務系統裡，難度是非常大的，不過我們可以依賴已經被大流量驗證過的框架體系。go-zero 微服務框架就是為此而生。

另外，我們始終秉承工具大於約定和文件的理念。我們希望儘可能減少開發人員的心智負擔，把精力都投入到產生業務價值的程式碼上，減少重複程式碼的編寫，所以我們開發了goctl工具。

下面我通過書店服務來演示通過go-zero快速的建立微服務的流程，走完一遍，你就會發現：原來編寫微服務如此簡單！

1. 書店服務示例簡介

為了教程簡單，我們用書店服務做示例，並且只實現其中的增加書目和檢查價格功能。

寫此書店服務是為了從整體上演示 go-zero 構建完整微服務的過程，實現細節儘可能簡化了。

2. 書店微服務架構圖

architecture

3. goctl 各層程式碼生成一覽

所有綠色背景的功能模組是自動生成的，按需啟用，紅色模組是需要自己寫的，也就是增加下依賴，編寫業務特有邏輯，各層示意圖分別如下：

API Gateway

api

rpc

model

model

下面我們來一起完整走一遍快速構建微服務的流程，Let’s Go!?‍♂️

4. 準備工作

安裝 etcd, mysql, redis
安裝 goctl 工具

GO111MODULE=on GOPROXY=https://goproxy.cn/,direct go get -u github.com/tal-tech/go-zero/tools/goctl

建立工作目錄bookstore
在bookstore目錄下執行go mod init bookstore初始化go.mod

5. 編寫 API Gateway 程式碼

在bookstore/api目錄下通過 goctl 生成api/bookstore.api：

goctl api -o bookstore.api

編輯bookstore.api，為了簡潔，去除了檔案開頭的info，程式碼如下：

type (
    addReq struct {
        book  string `form:"book"`
        price int64  `form:"price"`
    }

    addResp struct {
        ok bool `json:"ok"`
    }
)

type (
    checkReq struct {
        book string `form:"book"`
    }

    checkResp struct {
        found bool  `json:"found"`
        price int64 `json:"price"`
    }
)

service bookstore-api {
    @server(
        handler: AddHandler
    )
    get /add(addReq) returns(addResp)

    @server(
        handler: CheckHandler
    )
    get /check(checkReq) returns(checkResp)
}

type 用法和 go 一致，service 用來定義 get/post/head/delete 等 api 請求，解釋如下：

service bookstore-api {這一行定義了 service 名字
@server部分用來定義 server 端用到的屬性
handler定義了服務端 handler 名字
get /add(addReq) returns(addResp)定義了 get 方法的路由、請求引數、返回引數等
- 使用 goctl 生成 API Gateway 程式碼

goctl api go -api bookstore.api -dir .

生成的檔案結構如下：

api
├── bookstore.api                  // api定義
├── bookstore.go                   // main入口定義
├── etc
│   └── bookstore-api.yaml         // 配置檔案
└── internal
    ├── config
    │   └── config.go              // 定義配置
    ├── handler
    │   ├── addhandler.go          // 實現addHandler
    │   ├── checkhandler.go        // 實現checkHandler
    │   └── routes.go              // 定義路由處理
    ├── logic
    │   ├── addlogic.go            // 實現AddLogic
    │   └── checklogic.go          // 實現CheckLogic
    ├── svc
    │   └── servicecontext.go      // 定義ServiceContext
    └── types
        └── types.go               // 定義請求、返回結構體

啟動 API Gateway 服務，預設偵聽在 8888 埠

go run bookstore.go -f etc/bookstore-api.yaml

測試 API Gateway 服務

curl -i "http://localhost:8888/check?book=go-zero"

返回如下：

HTTP/1.1 200 OK
Content-Type: application/json
Date: Thu, 03 Sep 2020 06:46:18 GMT
Content-Length: 25

{"found":false,"price":0}

可以看到我們 API Gateway 其實啥也沒幹，就返回了個空值，接下來我們會在 rpc 服務裡實現業務邏輯

可以修改internal/svc/servicecontext.go來傳遞服務依賴（如果需要）
實現邏輯可以修改internal/logic下的對應檔案
可以通過goctl生成各種客戶端語言的 api 呼叫程式碼
到這裡，你已經可以通過 goctl 生成客戶端程式碼給客戶端同學並行開發了，支援多種語言，詳見文件

6. 編寫 add rpc 服務

在rpc/add目錄下編寫add.proto檔案

可以通過命令生成 proto 檔案模板

goctl rpc template -o add.proto

修改後檔案內容如下：

syntax = "proto3";

package add;

message addReq {
    string book = 1;
    int64 price = 2;
}

message addResp {
    bool ok = 1;
}

service adder {
    rpc add(addReq) returns(addResp);
}

用goctl生成 rpc 程式碼，在rpc/add目錄下執行命令

goctl rpc proto -src add.proto

檔案結構如下：

rpc/add
├── add.go                      // rpc服務main函式
├── add.proto                   // rpc介面定義
├── adder
│   ├── adder.go                // 提供了外部呼叫方法，無需修改
│   ├── adder_mock.go           // mock方法，測試用
│   └── types.go                // request/response結構體定義
├── etc
│   └── add.yaml                // 配置檔案
├── internal
│   ├── config
│   │   └── config.go           // 配置定義
│   ├── logic
│   │   └── addlogic.go         // add業務邏輯在這裡實現
│   ├── server
│   │   └── adderserver.go      // 呼叫入口, 不需要修改
│   └── svc
│       └── servicecontext.go   // 定義ServiceContext，傳遞依賴
└── pb
    └── add.pb.go

直接可以執行，如下：

$ go run add.go -f etc/add.yaml
Starting rpc server at 127.0.0.1:8080...

etc/add.yaml檔案裡可以修改偵聽埠等配置

7. 編寫 check rpc 服務

在rpc/check目錄下編寫check.proto檔案

可以通過命令生成 proto 檔案模板

goctl rpc template -o check.proto

修改後檔案內容如下：

syntax = "proto3";

package check;

message checkReq {
    string book = 1;
}

message checkResp {
    bool found = 1;
    int64 price = 2;
}

service checker {
    rpc check(checkReq) returns(checkResp);
}

用goctl生成 rpc 程式碼，在rpc/check目錄下執行命令

goctl rpc proto -src check.proto

檔案結構如下：

rpc/check
├── check.go                    // rpc服務main函式
├── check.proto                 // rpc介面定義
├── checker
│   ├── checker.go              // 提供了外部呼叫方法，無需修改
│   ├── checker_mock.go         // mock方法，測試用
│   └── types.go                // request/response結構體定義
├── etc
│   └── check.yaml              // 配置檔案
├── internal
│   ├── config
│   │   └── config.go           // 配置定義
│   ├── logic
│   │   └── checklogic.go       // check業務邏輯在這裡實現
│   ├── server
│   │   └── checkerserver.go    // 呼叫入口, 不需要修改
│   └── svc
│       └── servicecontext.go   // 定義ServiceContext，傳遞依賴
└── pb
    └── check.pb.go

etc/check.yaml檔案裡可以修改偵聽埠等配置

需要修改etc/check.yaml的埠為8081，因為8080已經被add服務使用了，直接可以執行，如下：

$ go run check.go -f etc/check.yaml
Starting rpc server at 127.0.0.1:8081...

8. 修改 API Gateway 程式碼呼叫 add/check rpc 服務

修改配置檔案bookstore-api.yaml，增加如下內容

Add:
  Etcd:
    Hosts:
      - localhost:2379
    Key: add.rpc
Check:
  Etcd:
    Hosts:
      - localhost:2379
    Key: check.rpc

通過 etcd 自動去發現可用的 add/check 服務

修改internal/config/config.go如下，增加 add/check 服務依賴

type Config struct {
    rest.RestConf
    Add   rpcx.RpcClientConf     // 手動程式碼
    Check rpcx.RpcClientConf     // 手動程式碼
}

修改internal/svc/servicecontext.go，如下：

type ServiceContext struct {
    Config  config.Config
    Adder   adder.Adder          // 手動程式碼
    Checker checker.Checker      // 手動程式碼
}

func NewServiceContext(c config.Config) *ServiceContext {
    return &ServiceContext{
        Config:  c,
        Adder:   adder.NewAdder(rpcx.MustNewClient(c.Add)),         // 手動程式碼
        Checker: checker.NewChecker(rpcx.MustNewClient(c.Check)),   // 手動程式碼
    }
}

通過 ServiceContext 在不同業務邏輯之間傳遞依賴

修改internal/logic/addlogic.go裡的Add方法，如下：

func (l *AddLogic) Add(req types.AddReq) (*types.AddResp, error) {
    // 手動程式碼開始
    resp, err := l.svcCtx.Adder.Add(l.ctx, &adder.AddReq{
        Book:  req.Book,
        Price: req.Price,
    })
    if err != nil {
        return nil, err
    }

    return &types.AddResp{
        Ok: resp.Ok,
    }, nil
    // 手動程式碼結束
}

通過呼叫adder的Add方法實現新增圖書到 bookstore 系統

修改internal/logic/checklogic.go裡的Check方法，如下：

func (l *CheckLogic) Check(req types.CheckReq) (*types.CheckResp, error) {
    // 手動程式碼開始
    resp, err := l.svcCtx.Checker.Check(l.ctx, &checker.CheckReq{
        Book:  req.Book,
    })
    if err != nil {
        return nil, err
    }

    return &types.CheckResp{
        Found: resp.Found,
        Price: resp.Price,
    }, nil
    // 手動程式碼結束
}

通過呼叫checker的Check方法實現從 bookstore 系統中查詢圖書的價格

9. 定義資料庫表結構，並生成 CRUD+cache 程式碼

bookstore 下建立rpc/model目錄：mkdir -p rpc/model
在 rpc/model 目錄下編寫建立 book 表的 sql 檔案book.sql，如下：

CREATE TABLE `book`
(
  `book` varchar(255) NOT NULL COMMENT 'book name',
  `price` int NOT NULL COMMENT 'book price',
  PRIMARY KEY(`book`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

建立 DB 和 table

create database gozero;

source book.sql;

在rpc/model目錄下執行如下命令生成 CRUD+cache 程式碼，-c表示使用redis cache

goctl model mysql ddl -c -src book.sql -dir .

也可以用datasource命令代替ddl來指定資料庫連結直接從 schema 生成

生成後的檔案結構如下：

rpc/model
├── bookstore.sql
├── bookstoremodel.go     // CRUD+cache程式碼
└── vars.go               // 定義常量和變數

10. 修改 add/check rpc 程式碼呼叫 crud+cache 程式碼

修改rpc/add/etc/add.yaml和rpc/check/etc/check.yaml，增加如下內容：

DataSource: root:@tcp(localhost:3306)/gozero
Table: book
Cache:
  - Host: localhost:6379

可以使用多個 redis 作為 cache，支援 redis 單點或者 redis 叢集

修改rpc/add/internal/config.go和rpc/check/internal/config.go，如下：

type Config struct {
    rpcx.RpcServerConf
    DataSource string             // 手動程式碼
    Table      string             // 手動程式碼
    Cache      cache.CacheConf    // 手動程式碼
}

增加了 mysql 和 redis cache 配置

修改rpc/add/internal/svc/servicecontext.go和rpc/check/internal/svc/servicecontext.go，如下：

type ServiceContext struct {
    c     config.Config
    Model *model.BookModel   // 手動程式碼
}

func NewServiceContext(c config.Config) *ServiceContext {
    return &ServiceContext{
        c:             c,
        Model: model.NewBookModel(sqlx.NewMysql(c.DataSource), c.Cache, c.Table), // 手動程式碼
    }
}

修改rpc/add/internal/logic/addlogic.go，如下：

func (l *AddLogic) Add(in *add.AddReq) (*add.AddResp, error) {
    // 手動程式碼開始
    _, err := l.svcCtx.Model.Insert(model.Book{
        Book:  in.Book,
        Price: in.Price,
    })
    if err != nil {
        return nil, err
    }

    return &add.AddResp{
        Ok: true,
    }, nil
    // 手動程式碼結束
}

修改rpc/check/internal/logic/checklogic.go，如下：

func (l *CheckLogic) Check(in *check.CheckReq) (*check.CheckResp, error) {
    // 手動程式碼開始
    resp, err := l.svcCtx.Model.FindOne(in.Book)
    if err != nil {
        return nil, err
    }

    return &check.CheckResp{
        Found: true,
        Price: resp.Price,
    }, nil
    // 手動程式碼結束
}

至此程式碼修改完成，凡事手動修改的程式碼我加了標註

11. 完整呼叫演示

add api 呼叫

curl -i "http://localhost:8888/add?book=go-zero&price=10"

返回如下：

HTTP/1.1 200 OK
Content-Type: application/json
Date: Thu, 03 Sep 2020 09:42:13 GMT
Content-Length: 11

{"ok":true}

check api 呼叫

curl -i "http://localhost:8888/check?book=go-zero"

返回如下：

HTTP/1.1 200 OK
Content-Type: application/json
Date: Thu, 03 Sep 2020 09:47:34 GMT
Content-Length: 25

{"found":true,"price":10}

12. Benchmark

因為寫入依賴於 mysql 的寫入速度，就相當於壓 mysql 了，所以壓測只測試了 check 介面，相當於從 mysql 裡讀取並利用快取，為了方便，直接壓這一本書，因為有快取，多本書也是一樣的，對壓測結果沒有影響。

壓測之前，讓我們先把開啟檔案控制程式碼數調大：

ulimit -n 20000

並日志的等級改為error，防止過多的 info 影響壓測結果，在每個 yaml 配置檔案里加上如下：

Log:
    Level: error

benchmark

可以看出在我的 MacBook Pro 上能達到 3 萬 + 的 qps。

13. 完整程式碼

https://github.com/tal-tech/go-zero/tree/master/example/bookstore

14. 總結

我們一直強調工具大於約定和文件。

go-zero 不只是一個框架，更是一個建立在框架 + 工具基礎上的，簡化和規範了整個微服務構建的技術體系。

我們在保持簡單的同時也儘可能把微服務治理的複雜度封裝到了框架內部，極大的降低了開發人員的心智負擔，使得業務開發得以快速推進。

通過 go-zero+goctl 生成的程式碼，包含了微服務治理的各種元件，包括：併發控制、自適應熔斷、自適應降載、自動快取控制等，可以輕鬆部署以承載巨大訪問量。

有任何好的提升工程效率的想法，隨時歡迎交流！?

15. 專案地址

https://github.com/tal-tech/go-zero

16. 微信交流群

wechat

更多原創文章乾貨分享，請關注公眾號

加微信實戰群請加微信(註明:實戰群)：gocnio

刀耕火種“自走棋”
2019-07-10
你還在手撕微服務？快試試 go-zero 的微服務自動生成
2020-10-14
微服務Go
go-zero：微服務框架
2021-08-19
Go微服務框架
雲原生 go-zero 微服務框架
2020-10-13
Go微服務框架
雲原生微服務框架之go-zero
2020-12-04
微服務框架Go
go-zero 微服務實戰系列（二、服務拆分）
2022-06-10
Go微服務
曉黑板 go-zero 微服務框架介紹
2020-08-19
Go微服務框架
go-zero：開箱即用的微服務框架
2021-06-16
Go微服務框架
go-zero微服務框架的靜態檔案服務
2024-08-04
Go微服務框架
微服務那麼火，我也該用微服務嗎？
2018-07-24
微服務
go-zero 微服務實戰系列（一、開篇）
2022-06-05
Go微服務
go-zero微服務實戰系列（十一、大結局）
2022-07-11
Go微服務
go-zero微服務實戰系列（四、CRUD熱身）
2022-06-24
Go微服務
Lumen 微服務生成 Swagger 文件
2019-01-02
微服務Swagger
go-zero微服務實戰系列（四、CRUD熱熱身）
2022-06-16
Go微服務
開箱即用的微服務框架 Go-zero（進階篇）
2021-06-23
微服務框架Go
go-zero微服務實戰系列（十、分散式事務如何實現）
2022-07-08
Go微服務分散式
.NET 微服務——CI/CD（2）：自動打包映象
2022-01-05
微服務
自動生成介面各種逆向組合引數
2020-07-06
構建微服務的三種重要模式 - DZone微服務
2019-08-18
微服務模式
.NET 微服務——CI/CD（3）：映象自動分發
2022-01-06
微服務
微服務架構:自動擴充套件簡介
2019-06-17
微服務架構套件
go-zero docker-compose搭建課件服務（四）：生成Dockerfile
2022-08-29
GoDocker
微服務之唯一ID生成策略
2019-08-01
微服務
自動生成serialVersionUID
2020-11-21
UI
uuid自動生成
2020-12-06
UI
微服務專案Git倉庫自動化指令碼
2022-12-20
微服務Git指令碼
go-zero微服務實戰系列（九、極致優化秒殺效能）
2022-07-04
Go微服務優化
go-zero微服務實戰系列（五、快取程式碼怎麼寫）
2022-06-30
Go微服務快取
.Net Core微服務——自動收縮、健康檢查：Consul（三）
2021-07-26
微服務
xorm自動生成model
2021-11-01
ORM
使用ONE.Abp快速開發微服務，再也不用加班了
2023-05-18
微服務
ABP微服務系列學習-使用Tye啟動微服務
2023-03-02
微服務
go-zero微服務實戰系列（三、API定義和表結構設計）
2022-06-13
Go微服務API
go-zero微服務實戰系列（六、快取一致性保證）
2022-06-29
Go微服務快取
K8s微服務自動化部署容器(Rancher流水線)
2021-03-04
K8S微服務
在微服務領域Spring Boot自動伸縮如何實現
2019-03-03
微服務Spring Boot
自動生成介面文件coreapi
2024-04-18
API

刀耕火種微服務？何不用 go-zero 自動生成！

0. 為什麼說做好微服務很難？

1. 書店服務示例簡介

2. 書店微服務架構圖

3. goctl 各層程式碼生成一覽

4. 準備工作

5. 編寫 API Gateway 程式碼

6. 編寫 add rpc 服務

7. 編寫 check rpc 服務

8. 修改 API Gateway 程式碼呼叫 add/check rpc 服務

9. 定義資料庫表結構，並生成 CRUD+cache 程式碼

10. 修改 add/check rpc 程式碼呼叫 crud+cache 程式碼

11. 完整呼叫演示

12. Benchmark

13. 完整程式碼

14. 總結

15. 專案地址

16. 微信交流群

相關文章