你還在手撕微服務？快試試 go-zero 的微服務自動生成

Kevin Wan發表於2020-10-14

微服務Go

0. 為什麼說做好微服務很難？

要想做好微服務，我們需要理解和掌握的知識點非常多，從幾個維度上來說：

基本功能層面
1. 併發控制&限流，避免服務被突發流量擊垮
2. 服務註冊與服務發現，確保能夠動態偵測增減的節點
3. 負載均衡，需要根據節點承受能力分發流量
4. 超時控制，避免對已超時請求做無用功
5. 熔斷設計，快速失敗，保障故障節點的恢復能力
高階功能層面
1. 請求認證，確保每個使用者只能訪問自己的資料
2. 鏈路追蹤，用於理解整個系統和快速定位特定請求的問題
3. 日誌，用於資料收集和問題定位
4. 可觀測性，沒有度量就沒有優化

對於其中每一點，我們都需要用很長的篇幅來講述其原理和實現，那麼對我們後端開發者來說，要想把這些知識點都掌握並落實到業務系統裡，難度是非常大的，不過我們可以依賴已經被大流量驗證過的框架體系。go-zero微服務框架就是為此而生。

另外，我們始終秉承工具大於約定和文件的理念。我們希望儘可能減少開發人員的心智負擔，把精力都投入到產生業務價值的程式碼上，減少重複程式碼的編寫，所以我們開發了goctl工具。

下面我通過書店服務來演示通過go-zero快速的建立微服務的流程，走完一遍，你就會發現：原來編寫微服務如此簡單！

1. 書店服務示例簡介

為了教程簡單，我們用書店服務做示例，並且只實現其中的增加書目和檢查價格功能。

寫此書店服務是為了從整體上演示go-zero構建完整微服務的過程，實現細節儘可能簡化了。

2. 書店微服務架構圖

architecture

3. goctl各層程式碼生成一覽

所有綠色背景的功能模組是自動生成的，按需啟用，紅色模組是需要自己寫的，也就是增加下依賴，編寫業務特有邏輯，各層示意圖分別如下：

API Gateway

api

rpc

model

model

下面我們來一起完整走一遍快速構建微服務的流程，Let’s Go!?‍♂️

4. 準備工作

安裝etcd, mysql, redis

安裝goctl工具

GO111MODULE=on GOPROXY=https://goproxy.cn/,direct go get -u github.com/tal-tech/go-zero/tools/goctl

建立工作目錄bookstore
在bookstore目錄下執行go mod init bookstore初始化go.mod

5. 編寫API Gateway程式碼

在bookstore/api目錄下通過goctl生成api/bookstore.api：

goctl api -o bookstore.api

編輯bookstore.api，為了簡潔，去除了檔案開頭的info，程式碼如下：

type (
    addReq struct {
        book  string `form:"book"`
        price int64  `form:"price"`
    }

    addResp struct {
        ok bool `json:"ok"`
    }
)

type (
    checkReq struct {
        book string `form:"book"`
    }

    checkResp struct {
        found bool  `json:"found"`
        price int64 `json:"price"`
    }
)

service bookstore-api {
    @server(
        handler: AddHandler
    )
    get /add(addReq) returns(addResp)

    @server(
        handler: CheckHandler
    )
    get /check(checkReq) returns(checkResp)
}

type用法和go一致，service用來定義get/post/head/delete等api請求，解釋如下：

service bookstore-api {這一行定義了service名字
@server部分用來定義server端用到的屬性
handler定義了服務端handler名字
get /add(addReq) returns(addResp)定義了get方法的路由、請求引數、返回引數等

使用goctl生成API Gateway程式碼

goctl api go -api bookstore.api -dir .

生成的檔案結構如下：

api
├── bookstore.api                  // api定義
├── bookstore.go                   // main入口定義
├── etc
│   └── bookstore-api.yaml         // 配置檔案
└── internal
    ├── config
    │   └── config.go              // 定義配置
    ├── handler
    │   ├── addhandler.go          // 實現addHandler
    │   ├── checkhandler.go        // 實現checkHandler
    │   └── routes.go              // 定義路由處理
    ├── logic
    │   ├── addlogic.go            // 實現AddLogic
    │   └── checklogic.go          // 實現CheckLogic
    ├── svc
    │   └── servicecontext.go      // 定義ServiceContext
    └── types
        └── types.go               // 定義請求、返回結構體

啟動API Gateway服務，預設偵聽在8888埠
```
go run bookstore.go -f etc/bookstore-api.yaml
```

測試API Gateway服務

curl -i "http://localhost:8888/check?book=go-zero"

返回如下：

HTTP/1.1 200 OK
Content-Type: application/json
Date: Thu, 03 Sep 2020 06:46:18 GMT
Content-Length: 25

{"found":false,"price":0}

可以看到我們API Gateway其實啥也沒幹，就返回了個空值，接下來我們會在rpc服務裡實現業務邏輯

可以修改internal/svc/servicecontext.go來傳遞服務依賴（如果需要）
實現邏輯可以修改internal/logic下的對應檔案
可以通過goctl生成各種客戶端語言的api呼叫程式碼
到這裡，你已經可以通過goctl生成客戶端程式碼給客戶端同學並行開發了，支援多種語言，詳見文件

6. 編寫add rpc服務

在rpc/add目錄下編寫add.proto檔案

可以通過命令生成proto檔案模板

goctl rpc template -o add.proto

修改後檔案內容如下：

syntax = "proto3";

package add;

message addReq {
    string book = 1;
    int64 price = 2;
}

message addResp {
    bool ok = 1;
}

service adder {
    rpc add(addReq) returns(addResp);
}

用goctl生成rpc程式碼，在rpc/add目錄下執行命令

goctl rpc proto -src add.proto

檔案結構如下：

rpc/add
├── add.go                      // rpc服務main函式
├── add.proto                   // rpc介面定義
├── adder
│   ├── adder.go                // 提供了外部呼叫方法，無需修改
│   ├── adder_mock.go           // mock方法，測試用
│   └── types.go                // request/response結構體定義
├── etc
│   └── add.yaml                // 配置檔案
├── internal
│   ├── config
│   │   └── config.go           // 配置定義
│   ├── logic
│   │   └── addlogic.go         // add業務邏輯在這裡實現
│   ├── server
│   │   └── adderserver.go      // 呼叫入口, 不需要修改
│   └── svc
│       └── servicecontext.go   // 定義ServiceContext，傳遞依賴
└── pb
    └── add.pb.go

直接可以執行，如下：

  $ go run add.go -f etc/add.yaml
  Starting rpc server at 127.0.0.1:8080...

etc/add.yaml檔案裡可以修改偵聽埠等配置

7. 編寫check rpc服務

在rpc/check目錄下編寫check.proto檔案

可以通過命令生成proto檔案模板

goctl rpc template -o check.proto

修改後檔案內容如下：

syntax = "proto3";

package check;

message checkReq {
    string book = 1;
}

message checkResp {
    bool found = 1;
    int64 price = 2;
}

service checker {
    rpc check(checkReq) returns(checkResp);
}

用goctl生成rpc程式碼，在rpc/check目錄下執行命令

goctl rpc proto -src check.proto

檔案結構如下：

rpc/check
├── check.go                    // rpc服務main函式
├── check.proto                 // rpc介面定義
├── checker
│   ├── checker.go              // 提供了外部呼叫方法，無需修改
│   ├── checker_mock.go         // mock方法，測試用
│   └── types.go                // request/response結構體定義
├── etc
│   └── check.yaml              // 配置檔案
├── internal
│   ├── config
│   │   └── config.go           // 配置定義
│   ├── logic
│   │   └── checklogic.go       // check業務邏輯在這裡實現
│   ├── server
│   │   └── checkerserver.go    // 呼叫入口, 不需要修改
│   └── svc
│       └── servicecontext.go   // 定義ServiceContext，傳遞依賴
└── pb
    └── check.pb.go

etc/check.yaml檔案裡可以修改偵聽埠等配置

需要修改etc/check.yaml的埠為8081，因為8080已經被add服務使用了，直接可以執行，如下：

$ go run check.go -f etc/check.yaml
Starting rpc server at 127.0.0.1:8081...

8. 修改API Gateway程式碼呼叫add/check rpc服務

修改配置檔案bookstore-api.yaml，增加如下內容

Add:
  Etcd:
    Hosts:
      - localhost:2379
    Key: add.rpc
Check:
  Etcd:
    Hosts:
      - localhost:2379
    Key: check.rpc

通過etcd自動去發現可用的add/check服務

修改internal/config/config.go如下，增加add/check服務依賴

type Config struct {
    rest.RestConf
    Add   rpcx.RpcClientConf     // 手動程式碼
    Check rpcx.RpcClientConf     // 手動程式碼
}

修改internal/svc/servicecontext.go，如下：

type ServiceContext struct {
    Config  config.Config
    Adder   adder.Adder          // 手動程式碼
    Checker checker.Checker      // 手動程式碼
}

func NewServiceContext(c config.Config) *ServiceContext {
    return &ServiceContext{
        Config:  c,
        Adder:   adder.NewAdder(rpcx.MustNewClient(c.Add)),         // 手動程式碼
        Checker: checker.NewChecker(rpcx.MustNewClient(c.Check)),   // 手動程式碼
    }
}

通過ServiceContext在不同業務邏輯之間傳遞依賴

修改internal/logic/addlogic.go裡的Add方法，如下：

func (l *AddLogic) Add(req types.AddReq) (*types.AddResp, error) {
    // 手動程式碼開始
    resp, err := l.svcCtx.Adder.Add(l.ctx, &adder.AddReq{
        Book:  req.Book,
        Price: req.Price,
    })
    if err != nil {
        return nil, err
    }

    return &types.AddResp{
        Ok: resp.Ok,
    }, nil
    // 手動程式碼結束
}

通過呼叫adder的Add方法實現新增圖書到bookstore系統

修改internal/logic/checklogic.go裡的Check方法，如下：

func (l *CheckLogic) Check(req types.CheckReq) (*types.CheckResp, error) {
    // 手動程式碼開始
    resp, err := l.svcCtx.Checker.Check(l.ctx, &checker.CheckReq{
        Book:  req.Book,
    })
    if err != nil {
        return nil, err
    }

    return &types.CheckResp{
        Found: resp.Found,
        Price: resp.Price,
    }, nil
    // 手動程式碼結束
}

通過呼叫checker的Check方法實現從bookstore系統中查詢圖書的價格

9. 定義資料庫表結構，並生成CRUD+cache程式碼

bookstore下建立rpc/model目錄：mkdir -p rpc/model

在rpc/model目錄下編寫建立book表的sql檔案book.sql，如下：

CREATE TABLE `book`
(
  `book` varchar(255) NOT NULL COMMENT 'book name',
  `price` int NOT NULL COMMENT 'book price',
  PRIMARY KEY(`book`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

建立DB和table

create database gozero;

source book.sql;

在rpc/model目錄下執行如下命令生成CRUD+cache程式碼，-c表示使用redis cache
```
goctl model mysql ddl -c -src book.sql -dir .
```
也可以用datasource命令代替ddl來指定資料庫連結直接從schema生成

生成後的檔案結構如下：
```
rpc/model
├── bookstore.sql
├── bookstoremodel.go     // CRUD+cache程式碼
└── vars.go               // 定義常量和變數
```

10. 修改add/check rpc程式碼呼叫crud+cache程式碼

修改rpc/add/etc/add.yaml和rpc/check/etc/check.yaml，增加如下內容：
```
DataSource: root:@tcp(localhost:3306)/gozero
Table: book
Cache:
  - Host: localhost:6379
```
可以使用多個redis作為cache，支援redis單點或者redis叢集

修改rpc/add/internal/config.go和rpc/check/internal/config.go，如下：

type Config struct {
    rpcx.RpcServerConf
    DataSource string             // 手動程式碼
    Table      string             // 手動程式碼
    Cache      cache.CacheConf    // 手動程式碼
}

增加了mysql和redis cache配置

修改rpc/add/internal/svc/servicecontext.go和rpc/check/internal/svc/servicecontext.go，如下：

type ServiceContext struct {
    c     config.Config
    Model *model.BookModel   // 手動程式碼
}

func NewServiceContext(c config.Config) *ServiceContext {
    return &ServiceContext{
        c:             c,
        Model: model.NewBookModel(sqlx.NewMysql(c.DataSource), c.Cache, c.Table), // 手動程式碼
    }
}

修改rpc/add/internal/logic/addlogic.go，如下：

func (l *AddLogic) Add(in *add.AddReq) (*add.AddResp, error) {
    // 手動程式碼開始
    _, err := l.svcCtx.Model.Insert(model.Book{
        Book:  in.Book,
        Price: in.Price,
    })
    if err != nil {
        return nil, err
    }

    return &add.AddResp{
        Ok: true,
    }, nil
    // 手動程式碼結束
}

修改rpc/check/internal/logic/checklogic.go，如下：

func (l *CheckLogic) Check(in *check.CheckReq) (*check.CheckResp, error) {
    // 手動程式碼開始
    resp, err := l.svcCtx.Model.FindOne(in.Book)
    if err != nil {
        return nil, err
    }

    return &check.CheckResp{
        Found: true,
        Price: resp.Price,
    }, nil
    // 手動程式碼結束
}

至此程式碼修改完成，凡事手動修改的程式碼我加了標註

11. 完整呼叫演示

add api呼叫

curl -i "http://localhost:8888/add?book=go-zero&price=10"

返回如下：

HTTP/1.1 200 OK
Content-Type: application/json
Date: Thu, 03 Sep 2020 09:42:13 GMT
Content-Length: 11

{"ok":true}

check api呼叫

curl -i "http://localhost:8888/check?book=go-zero"

返回如下：

HTTP/1.1 200 OK
Content-Type: application/json
Date: Thu, 03 Sep 2020 09:47:34 GMT
Content-Length: 25

{"found":true,"price":10}

12. Benchmark

因為寫入依賴於mysql的寫入速度，就相當於壓mysql了，所以壓測只測試了check介面，相當於從mysql裡讀取並利用快取，為了方便，直接壓這一本書，因為有快取，多本書也是一樣的，對壓測結果沒有影響。

壓測之前，讓我們先把開啟檔案控制程式碼數調大：

ulimit -n 20000

並日志的等級改為error，防止過多的info影響壓測結果，在每個yaml配置檔案里加上如下：

Log:
	Level: error

benchmark

可以看出在我的MacBook Pro上能達到3萬+的qps。

13. 完整程式碼

https://github.com/tal-tech/go-zero/tree/master/example/bookstore

14. 總結

我們一直強調工具大於約定和文件。

go-zero不只是一個框架，更是一個建立在框架+工具基礎上的，簡化和規範了整個微服務構建的技術體系。

我們在保持簡單的同時也儘可能把微服務治理的複雜度封裝到了框架內部，極大的降低了開發人員的心智負擔，使得業務開發得以快速推進。

通過go-zero+goctl生成的程式碼，包含了微服務治理的各種元件，包括：併發控制、自適應熔斷、自適應降載、自動快取控制等，可以輕鬆部署以承載巨大訪問量。

有任何好的提升工程效率的想法，隨時歡迎交流！?

15. 專案地址

https://github.com/tal-tech/go-zero

16. 微信交流群

新增我的微信：kevwan，請註明go-zero，我拉進go-zero社群群?

好未來技術

刀耕火種微服務？何不用 go-zero 自動生成！
2020-09-06
微服務Go
go-zero：微服務框架
2021-08-19
Go微服務框架
springcloud 微服務面試
2024-07-09
SpringGCCloud微服務面試
微服務測試之效能測試
2019-04-22
微服務
雲原生 go-zero 微服務框架
2020-10-13
Go微服務框架
go-zero：開箱即用的微服務框架
2021-06-16
Go微服務框架
go-zero微服務框架的靜態檔案服務
2024-08-04
Go微服務框架
雲原生微服務框架之go-zero
2020-12-04
微服務框架Go
快取原理與微服務快取自動管理
2021-02-01
快取微服務
go-zero 微服務實戰系列（二、服務拆分）
2022-06-10
Go微服務
微服務基準測試：Chronicle Queue比Kafka快750倍？
2022-01-27
微服務Kafka
最受歡迎的微服務語錄：不要試圖跨微服務構建分散式事務
2020-12-06
微服務分散式
Java微服務應用測試，走起
2018-04-24
Java微服務
JMicro微服務之超時&重試
2021-06-01
微服務
曉黑板 go-zero 微服務框架介紹
2020-08-19
Go微服務框架
面試都在問的微服務、服務治理、RPC、下一代微服務... 一文帶你徹底搞懂！
2020-04-05
面試微服務RPC
Lumen 微服務生成 Swagger 文件
2019-01-02
微服務Swagger
隨行付微服務測試之效能測試
2018-12-19
微服務
go-zero微服務實戰系列（五、快取程式碼怎麼寫）
2022-06-30
Go微服務快取
測試微服務的4個最佳實踐
2018-12-12
微服務
微服務的重試與彈性設計
2018-03-26
微服務
微服務測試之介面測試和契約測試
2019-04-08
微服務
挑戰 - 微服務架構下的服務端測試
2020-06-14
微服務架構服務端
go-zero 微服務實戰系列（一、開篇）
2022-06-05
Go微服務
.NET Core 微服務之Polly重試策略
2019-06-25
微服務
十大微服務面試問題
2021-05-20
微服務面試
微服務是什麼？帶你簡單瞭解微服務
2018-11-22
微服務
微服務無感發布(二)：微服務優雅的啟動
2024-10-11
微服務
ABP微服務系列學習-使用Tye啟動微服務
2023-03-02
微服務
微服務03 微服務sentinel, springcloudgateway
2024-10-14
微服務SpringGCCloudGateway
開箱即用的微服務框架 Go-zero（進階篇）
2021-06-23
微服務框架Go
最簡單的微服務部署測試實踐
2020-10-01
微服務
你不需要微服務
2022-11-22
微服務
go-zero微服務實戰系列（四、CRUD熱身）
2022-06-24
Go微服務
go-zero微服務實戰系列（十一、大結局）
2022-07-11
Go微服務
go-zero微服務實戰系列（六、快取一致性保證）
2022-06-29
Go微服務快取
微服務思考(01)：什麼是微服務？微服務的優勢和劣勢
2020-07-10
微服務
微服務2：微服務全景架構
2021-12-28
微服務架構

你還在手撕微服務？快試試 go-zero 的微服務自動生成

0. 為什麼說做好微服務很難？

1. 書店服務示例簡介

2. 書店微服務架構圖

3. goctl各層程式碼生成一覽

4. 準備工作

5. 編寫API Gateway程式碼

6. 編寫add rpc服務

7. 編寫check rpc服務

8. 修改API Gateway程式碼呼叫add/check rpc服務

9. 定義資料庫表結構，並生成CRUD+cache程式碼

10. 修改add/check rpc程式碼呼叫crud+cache程式碼

11. 完整呼叫演示

12. Benchmark

13. 完整程式碼

14. 總結

15. 專案地址

16. 微信交流群

相關文章