牌類遊戲使用微服務重構筆記（六）: protobuf爬坑

段鵬舉發表於2019-04-15

前言

Protocol Buffer是Google的語言中立的，平臺中立的，可擴充套件機制的，用於序列化結構化資料 - 對比XML，但更小，更快，更簡單。您可以定義資料的結構化，然後可以使用特殊生成的原始碼輕鬆地在各種資料流中使用各種語言編寫和讀取結構化資料。

主要有點有：

1.protoBuf在Google內部長期使用，產品穩定成熟，很多商業的專案都選擇使用
2.跨語言，它支援Java、C++、Python、ObJect-c、C#、Go等語言
3.protoBuf編碼後訊息更小、有利於儲存傳輸
4.編碼和解碼的效率非常之高
5.支援不同版本的協議向前相容

我使用的proto版本是protobuf3，關於proto的學習網路上已有許多優秀的文章，在這不再贅述。本文只介紹我在使用protobuf過程中收穫的經驗和遇到的坑以及如何解決的。

protobuf 語法指南

單獨一個專案？

如果要在多個專案中共用proto檔案，最好的解決辦法是單獨拉出來一個git專案來管理proto檔案。在筆者的專案中，有服務端、遊戲客戶端、web客戶端共用proto專案

檔案結構劃分

多個專案共用proto，每個專案對proto檔案的需求可能不一致，服務端可能需要全部的proto定義；遊戲客戶端和web客戶端根據業務不同，可能只需要其中的一部分，或者對於關於service與grpc的定義，客戶端一般都是不需要的（起碼我們的專案中不需要）。

將proto檔案進行合理的拆分，將會大大減小客戶端編譯後的proto檔案體積。在我們的專案中，在沒有劃分之前，客戶端檔案有1M多，劃分之後只有300K左右

筆者的思路是：把一個模組裡的proto劃分為xx.basic.proto、xx.service.proto、xx.api.proto, 其中basic.proto 定義一些基本資料結構，service.proto 定義服務端服務，api.proto 定義http api服務, service和api都引用basic , 例如：

test.basic.proto

syntax = "proto3";

package test.basic;
option go_package = "xxxxxx/.go/test";

message Message {
    int32 i = 1;
}
複製程式碼

test.service.proto

syntax = "proto3";

package test.service;
option go_package = "xxxxxx/.go/test";

import "test/test.basic.proto";


service Test {
    rpc Hello(HelloRequest) returns(HelloResponse) {}
}

message HelloRequest {

}

message HelloResponse {

}


service TestGrpc {
    rpc Stream(stream test.basic.Message) returns(stream test.basic.Message) {}
}
複製程式碼

test.api.proto

syntax = "proto3";

package test.api;
option go_package = "xxxxxx/.go/test";

service TestApi {
    rpc SayHello(SayHelloRequest) returns(SayHelloResponse) {}
}

message SayHelloRequest {

}

message SayHelloResponse {

}
複製程式碼

這樣的話，各個專案只需要用指令碼選擇自己的模組，模組中需要的proto檔案，按需索取即可

編譯golang

proto編譯golang使用protoc外掛(專案地址)

如果按照上文進行proto檔案拆分，又需要把生成的檔案匯出到一個golang包裡，如果單獨編譯是不能跑起來的，因為有檔案引用的存在。所以需要一次性匯入該包下所有的proto檔案*.proto，筆者寫了個入門級的python指令碼輔助這一過程

build.py

import os

def genProto():
    print('作業系統:', os.name)

    fileList = os.listdir()
    folderList = []
    
    # 過濾掉隱藏資料夾 例如.git .vscode
    for i in range(0, len(fileList)):
        fileName = fileList[i]
        dotIndex = fileName.find('.')
        if (dotIndex < 0):
            folderList.append(fileName)
            
    print("folderList:", folderList)

    # 每個模組逐個編譯
    for folderName in folderList:
        os.system('bash buildProto.sh ' + "../../../ " + folderName)
genProto()
複製程式碼

buildProto.sh

echo "編譯$2.proto"
protoc -I . --go_out=plugins=grpc:$1 --micro_out=plugins=grpc:$1  $2/*.proto
複製程式碼

執行build.py，可在當前專案中把proto編譯到.go資料夾裡,每個模組一個golang包,達到了預期

關於 ../../../

os.system('bash buildProto.sh ' + "../../../ " + folderName)

執行buildProto.sh指令碼傳入了第一個引數"../../../",這個與使用時golang的匯入路徑和option go_package = "xxxxxx/.go/test";有關係。在服務端專案中使用編譯後的golang檔案import "gitlab.com/xxx/xxx/.go/item",如果這個proto專案你是 go get拉取下來的，檔案結構會是$GOPATH/src/xxxx/xxxx/xxxx/.go,編譯生成的檔案也需要按照這個結構展開，所以需要告訴protoc --go_out=../../../, 這一點可以根據自己情況定製

編譯js/ts

npm install protobufjs 安裝pbjs 專案地址

gulp指令碼

var gulp = require('gulp');
var rename = require('gulp-rename');
var shell = require('gulp-shell');
var gulpSequence = require('gulp-sequence');

// 拷貝需要的proto
gulp.task('copy', ['clear'], () => {
    return gulp
        .src([
            `../path to your proto/*/*.basic.proto`,
        ])
        .pipe(rename({
            dirname: ''
        }))
        .pipe(gulp.dest(`protos/`));
});

gulp.task('clear', shell.task(['rm -rf protos']));

gulp.task('genProto', shell.task(['sh buildProto.sh']));
複製程式碼

buildProto.sh

# 生成js 為了節省空間 去掉了許多東西
pbjs -t static-module -w commonjs -o ./buildOut/proto.js ./protos/*.proto --no-create --no-verify --no-convert --no-delimited --no-beautify --no-comments

# 生成 .d.ts
pbts -o ./buildOut/proto.d.ts ./buildOut/proto.js
複製程式碼

不友好的oneof

在定義雙向流stream時 rpc Stream(stream test.basic.Message) returns(stream test.basic.Message) {}

如果Message內容比較簡單就能滿足需求了，但是假如像我們的遊戲需要對Message的內容進行分類：

1. req: 客戶端請求，要求服務端響應
2. notify: 客戶端通知，不要求服務端響應
3. rsp: 服務端響應（被動）
4. event：服務端推送事件（主動）
複製程式碼

那麼就需要一個解析Message的機制。同事提出了使用key當message 名字，寫一個for迴圈遍歷的方案，這樣甚至能同事發出去多條請求、多條事件，但最終覺得這樣會涉及到對key的排序問題最終沒有采用，而是使用了proto的oneof 語法

message Message {
    Req req = 1;
    Rsp rsp = 2;
    Notify notify = 3;
    Event event = 4;
}

message Req {
    oneof req {
        AuthReq authReq = 1;
    }
}

message AuthReq {

}

message Notify {
    oneof notify {
        HiNotify hiNotify = 1;
    }
}

message HiNotify {

}

message Rsp {
    oneof rsp {
        AuthRsp authRsp = 1;
    }
}

message AuthRsp {

}

message Event {
    oneof Event {
        FooEvent fooEvent = 1;
    }
}

message FooEvent {

}
複製程式碼

oneof欄位之間是共享記憶體的，同一時間只能設定其中一個，其他的會被清除，因此特別節約記憶體。業務程式碼在使用起來比如key當meesage名字也更加清晰明瞭(新增一個欄位程式碼只需要在switch中新增一個case即可)，只不過有兩個小坑:

對golang不太友好: 如果要建立一個message,需要這樣寫 pb.Message{Req: &pb.Req{Req: &pb.Req_AuthReq{AuthReq: &pb.AuthReq{}}}}一大長串。。。檢視生成的原始碼可得知，之所以這樣是因為golang是通過介面實現 oneof的，因此只能一層一層包下去
json無法解析: 上面的請求轉成json為{"req":{"authReq":{}}},但這個字串無法直接轉成proto，需要先把{"authReq":{}轉成authReq，再包裝成pb.Message。如果前後端使用arrayBuffer則沒有這個問題。

對於第一個問題，寫好幾個輔助函式即可彌補；對於第二個問題，在我們的專案中只有很少數的http介面使用json並且碰到了oneof，因此一直在使用中

json

預設情況下，當需要將proto轉成json返回給http介面時（假如http返回的資料格式為json）,那麼對於欄位的零值，將會被忽略。檢視生成的pb原始碼，會發現

type Message struct {
	Req                  *Req     `protobuf:"bytes,1,opt,name=req,proto3" json:"req,omitempty"`
	Rsp                  *Rsp     `protobuf:"bytes,2,opt,name=rsp,proto3" json:"rsp,omitempty"`
	Notify               *Notify  `protobuf:"bytes,3,opt,name=notify,proto3" json:"notify,omitempty"`
	Event                *Event   `protobuf:"bytes,4,opt,name=event,proto3" json:"event,omitempty"`
	XXX_NoUnkeyedLiteral struct{} `json:"-"`
	XXX_unrecognized     []byte   `json:"-"`
	XXX_sizecache        int32    `json:"-"`
}
複製程式碼

這些欄位被加上了json:"omitempty"的tag,最可氣的是這個tag是protoc 寫死的... 解決辦法有

修改protoc原始碼自定義這個行為

自定義Marshaler

m := jsonpb.Marshaler{EmitDefaults: true}
複製程式碼

使用指令碼移除這個標記，修改上面的build.py

import os

def changeFile(fileName, old_str, new_str):
    file_data = ""
    with open(fileName, "r", encoding="utf-8") as f:
        for line in f:
            if old_str in line:
                line = line.replace(old_str, new_str)
            file_data += line
    with open(fileName, "w", encoding="utf-8") as f:
        f.write(file_data)

def genProto():
    print('作業系統:', os.name)

    fileList = os.listdir()
    folderList = []
    
    # 過濾掉隱藏資料夾 例如.git .vscode
    for i in range(0, len(fileList)):
        fileName = fileList[i]
        dotIndex = fileName.find('.')
        if (dotIndex < 0):
            folderList.append(fileName)
            
    print("folderList:", folderList)

    # 每個模組逐個編譯
    for folderName in folderList:
        os.system('bash buildProto.sh ' + "../../../ " + folderName)
        
        # 換掉go裡的標記
        goFiles = os.listdir('.go/' + folderName)
        for i in range(0, len(goFiles)):
            fileName = goFiles[i]
            dotIndex = fileName.find('.pb.go')
            if (dotIndex >= 0):
                # print("替換檔案：", fileName)
                changeFile('.go/' + folderName + '/' +
                       fileName, ',omitempty', '')
genProto()
複製程式碼

本人學習golang、micro、k8s、grpc、protobuf等知識的時間較短，如果有理解錯誤的地方，歡迎批評指正,可以加我微信一起探討學習

牌類遊戲使用微服務重構筆記（四）: micro框架使用經驗
2019-02-28
遊戲微服務筆記框架
牌類遊戲使用微服務重構筆記（一）: 先定個小目標
2019-02-21
遊戲微服務筆記
牌類遊戲使用微服務重構筆記（二）: micro框架簡介:micro toolkit
2019-02-21
遊戲微服務筆記框架
牌類遊戲使用微服務重構筆記（三）: micro框架簡介 go-micro
2019-02-25
遊戲微服務筆記框架Go
vue中使用protobuf踩坑記
2018-06-27
Vue
WebDriverAgent重簽名爬坑記
2021-09-13
Web
微服務session落坑記
2018-06-17
微服務Session
Protobuf筆記
2012-04-15
筆記
springcloud微服務實戰學習筆記六服務閘道器
2017-12-14
SpringGCCloud微服務筆記
Node系列-爬蟲踩坑筆記
2018-10-21
爬蟲筆記
學習筆記 - 微服務
2018-10-27
筆記微服務
阿里首發內部微服務架構筆記，您第一份超全的微服務筆記
2020-09-26
阿里微服務架構筆記
《微服務架構設計模式》讀書筆記 | 第4章使用Saga管理事務
2021-08-17
微服務架構設計模式筆記
《重構》讀書筆記
2021-03-06
筆記
重構讀書筆記
2010-01-27
筆記
《微服務架構設計模式》讀書筆記 | 第7章在微服務架構中實現查詢
2021-09-07
微服務架構設計模式筆記
《微服務架構設計模式》讀書筆記 | 第9章微服務架構中的測試策略（上）
2021-09-21
微服務架構設計模式筆記
《微服務架構設計模式》讀書筆記 | 第3章微服務架構中的程式間通訊
2021-08-13
微服務架構設計模式筆記
【微服務】docker使用記錄
2018-11-15
微服務Docker
go微服務系列(四) - http api中引入protobuf
2020-08-27
Go微服務HTTPAPI
《微服務架構設計模式》讀書筆記 | 第5章微服務架構中的業務邏輯設計
2021-08-31
微服務架構設計模式筆記
業務爬坑與總結–專案首頁重構的思考
2019-02-17
業務爬坑與總結--專案首頁重構的思考
2017-12-21
老司機避坑指南：如何快速搞定微服務架構?
2018-11-15
微服務架構
微服務筆記29：實現DevOps
2018-10-28
微服務筆記dev
爬蟲學習日記（六）完成第一個爬蟲任務
2019-01-10
爬蟲
Java微服務開發指南 -- 使用Spring Boot構建微服務
2017-11-03
Java微服務Spring Boot
微服務2：微服務全景架構
2021-12-28
微服務架構
使用Golang和MongoDB構建微服務
2018-07-12
GolangMongoDB微服務
使用Materialise解耦微服務架構
2022-02-22
解耦微服務架構
微服務架構：構建PHP微服務生態
2019-08-28
微服務架構PHP
《微服務架構設計模式》讀書筆記 | 第2章服務的拆分策略
2021-08-10
微服務架構設計模式筆記
【學習筆記】Kruskal 重構樹
2023-01-26
筆記
kruskal重構樹學習筆記
2021-01-20
筆記
【C#學習筆記】類建構函式使用
2017-08-27
C#筆記函式
React SSR重構踩坑記錄(持續更新)
2019-03-01
React
Next.js踩坑入門系列（六） —— 再次重構目錄
2018-10-10
JS
微服務架構
2017-10-28
微服務架構