如何在C#中使用Google.Protobuf工具

chenzk發表於2021-11-24

　　protobuf是一個語言無關、平臺無關的序列化協議，由谷歌開源提供。再加上其高效能、儲存佔用更小等特點，在雲原生的應用中越來越廣泛。

在C#中主要有兩種方法來使用protobuf協議，nuget包分別為Google.Protobuf和protobuf-net，其中Google.Protobuf由谷歌官方提供。本文簡要記錄和展示Google.Protobuf的使用方法和特點。

專案資料及文件

專案官網：https://developers.google.cn/protocol-buffers?hl=zh-cn
github主頁：https://github.com/protocolbuffers/protobuf/
官方文件：https://developers.google.cn/protocol-buffers/docs/overview?hl=zh-cn
該nuget包支援.NETFramework 4.5、.NETStandard1.1、.net5等

準備工作

　　需要用到的nuget有如下兩個：Google.Protobuf、Google.Protobuf.Tools，其中Google.Protobuf是主類庫，執行時要用到。Google.Protobuf.Tools提供了命令列工具，用於根據.proto檔案轉為目標語言的型別，僅開發時使用，執行時不需要。

　　本次Demo使用的.proto檔案內容如下：

syntax = "proto3";
option cc_enable_arenas = true;

package Tccc.Demo.Protobuf;

message ErrorLog {
    string LogID = 1;
    string Context = 2;
    string Stack = 3;
}

　　首先需要根據.proto檔案生成目標型別，操作如下：

./google.protobuf.tools\3.19.1\tools\windows_x64\protoc.exe --csharp_out=./generatedCode ./proto/ErrorLog.proto

　　其中--csharp_out選項是生成C#語言的目標型別，執行protoc.exe -h 檢視幫助資訊，可以看到還支援一下幾種選項：

--proto_path=PATH
--cpp_out=OUT_DIR Generate C++ header and source.
--csharp_out=OUT_DIR Generate C# source file.
--java_out=OUT_DIR Generate Java source file.
--js_out=OUT_DIR Generate JavaScript source.
--kotlin_out=OUT_DIR Generate Kotlin file.
--objc_out=OUT_DIR Generate Objective-C header and source.
--php_out=OUT_DIR Generate PHP source file.
--python_out=OUT_DIR Generate Python source file.
--ruby_out=OUT_DIR Generate Ruby source file.

　　執行上述命令，會根據指定的ErrorLog.proto檔案生成ErrorLog.cs檔案，檔案中就是C#型別ErrorLog。生成的程式碼中會給此型別增加方法void WriteTo(CodedOutputStream output)和只讀屬性Parser，接下來進行序列化和反序列化的關鍵。

生成的ErrorLog類的完整程式碼：

// <auto-generated>
//     Generated by the protocol buffer compiler.  DO NOT EDIT!
//     source: ProtoFiles/ErrorLog.proto
// </auto-generated>
#pragma warning disable 1591, 0612, 3021
#region Designer generated code

using pb = global::Google.Protobuf;
using pbc = global::Google.Protobuf.Collections;
using pbr = global::Google.Protobuf.Reflection;
using scg = global::System.Collections.Generic;
namespace Tccc.Demo.Protobuf {

  /// <summary>Holder for reflection information generated from ProtoFiles/ErrorLog.proto</summary>
  public static partial class ErrorLogReflection {

    #region Descriptor
    /// <summary>File descriptor for ProtoFiles/ErrorLog.proto</summary>
    public static pbr::FileDescriptor Descriptor {
      get { return descriptor; }
    }
    private static pbr::FileDescriptor descriptor;

    static ErrorLogReflection() {
      byte[] descriptorData = global::System.Convert.FromBase64String(
          string.Concat(
            "ChlQcm90b0ZpbGVzL0Vycm9yTG9nLnByb3RvEhJUY2NjLkRlbW8uUHJvdG9i",
            "dWYiOQoIRXJyb3JMb2cSDQoFTG9nSUQYASABKAkSDwoHQ29udGV4dBgCIAEo",
            "CRINCgVTdGFjaxgDIAEoCUID+AEBYgZwcm90bzM="));
      descriptor = pbr::FileDescriptor.FromGeneratedCode(descriptorData,
          new pbr::FileDescriptor[] { },
          new pbr::GeneratedClrTypeInfo(null, null, new pbr::GeneratedClrTypeInfo[] {
            new pbr::GeneratedClrTypeInfo(typeof(global::Tccc.Demo.Protobuf.ErrorLog), global::Tccc.Demo.Protobuf.ErrorLog.Parser, new[]{ "LogID", "Context", "Stack" }, null, null, null, null)
          }));
    }
    #endregion

  }
  #region Messages
  public sealed partial class ErrorLog : pb::IMessage<ErrorLog>
  #if !GOOGLE_PROTOBUF_REFSTRUCT_COMPATIBILITY_MODE
      , pb::IBufferMessage
  #endif
  {
    private static readonly pb::MessageParser<ErrorLog> _parser = new pb::MessageParser<ErrorLog>(() => new ErrorLog());
    private pb::UnknownFieldSet _unknownFields;
    [global::System.Diagnostics.DebuggerNonUserCodeAttribute]
    [global::System.CodeDom.Compiler.GeneratedCode("protoc", null)]
    public static pb::MessageParser<ErrorLog> Parser { get { return _parser; } }

    [global::System.Diagnostics.DebuggerNonUserCodeAttribute]
    [global::System.CodeDom.Compiler.GeneratedCode("protoc", null)]
    public static pbr::MessageDescriptor Descriptor {
      get { return global::Tccc.Demo.Protobuf.ErrorLogReflection.Descriptor.MessageTypes[0]; }
    }

    [global::System.Diagnostics.DebuggerNonUserCodeAttribute]
    [global::System.CodeDom.Compiler.GeneratedCode("protoc", null)]
    pbr::MessageDescriptor pb::IMessage.Descriptor {
      get { return Descriptor; }
    }

    [global::System.Diagnostics.DebuggerNonUserCodeAttribute]
    [global::System.CodeDom.Compiler.GeneratedCode("protoc", null)]
    public ErrorLog() {
      OnConstruction();
    }

    partial void OnConstruction();

    [global::System.Diagnostics.DebuggerNonUserCodeAttribute]
    [global::System.CodeDom.Compiler.GeneratedCode("protoc", null)]
    public ErrorLog(ErrorLog other) : this() {
      logID_ = other.logID_;
      context_ = other.context_;
      stack_ = other.stack_;
      _unknownFields = pb::UnknownFieldSet.Clone(other._unknownFields);
    }

    [global::System.Diagnostics.DebuggerNonUserCodeAttribute]
    [global::System.CodeDom.Compiler.GeneratedCode("protoc", null)]
    public ErrorLog Clone() {
      return new ErrorLog(this);
    }

    /// <summary>Field number for the "LogID" field.</summary>
    public const int LogIDFieldNumber = 1;
    private string logID_ = "";
    [global::System.Diagnostics.DebuggerNonUserCodeAttribute]
    [global::System.CodeDom.Compiler.GeneratedCode("protoc", null)]
    public string LogID {
      get { return logID_; }
      set {
        logID_ = pb::ProtoPreconditions.CheckNotNull(value, "value");
      }
    }

    /// <summary>Field number for the "Context" field.</summary>
    public const int ContextFieldNumber = 2;
    private string context_ = "";
    [global::System.Diagnostics.DebuggerNonUserCodeAttribute]
    [global::System.CodeDom.Compiler.GeneratedCode("protoc", null)]
    public string Context {
      get { return context_; }
      set {
        context_ = pb::ProtoPreconditions.CheckNotNull(value, "value");
      }
    }

    /// <summary>Field number for the "Stack" field.</summary>
    public const int StackFieldNumber = 3;
    private string stack_ = "";
    [global::System.Diagnostics.DebuggerNonUserCodeAttribute]
    [global::System.CodeDom.Compiler.GeneratedCode("protoc", null)]
    public string Stack {
      get { return stack_; }
      set {
        stack_ = pb::ProtoPreconditions.CheckNotNull(value, "value");
      }
    }

    [global::System.Diagnostics.DebuggerNonUserCodeAttribute]
    [global::System.CodeDom.Compiler.GeneratedCode("protoc", null)]
    public override bool Equals(object other) {
      return Equals(other as ErrorLog);
    }

    [global::System.Diagnostics.DebuggerNonUserCodeAttribute]
    [global::System.CodeDom.Compiler.GeneratedCode("protoc", null)]
    public bool Equals(ErrorLog other) {
      if (ReferenceEquals(other, null)) {
        return false;
      }
      if (ReferenceEquals(other, this)) {
        return true;
      }
      if (LogID != other.LogID) return false;
      if (Context != other.Context) return false;
      if (Stack != other.Stack) return false;
      return Equals(_unknownFields, other._unknownFields);
    }

    [global::System.Diagnostics.DebuggerNonUserCodeAttribute]
    [global::System.CodeDom.Compiler.GeneratedCode("protoc", null)]
    public override int GetHashCode() {
      int hash = 1;
      if (LogID.Length != 0) hash ^= LogID.GetHashCode();
      if (Context.Length != 0) hash ^= Context.GetHashCode();
      if (Stack.Length != 0) hash ^= Stack.GetHashCode();
      if (_unknownFields != null) {
        hash ^= _unknownFields.GetHashCode();
      }
      return hash;
    }

    [global::System.Diagnostics.DebuggerNonUserCodeAttribute]
    [global::System.CodeDom.Compiler.GeneratedCode("protoc", null)]
    public override string ToString() {
      return pb::JsonFormatter.ToDiagnosticString(this);
    }

    [global::System.Diagnostics.DebuggerNonUserCodeAttribute]
    [global::System.CodeDom.Compiler.GeneratedCode("protoc", null)]
    public void WriteTo(pb::CodedOutputStream output) {
    #if !GOOGLE_PROTOBUF_REFSTRUCT_COMPATIBILITY_MODE
      output.WriteRawMessage(this);
    #else
      if (LogID.Length != 0) {
        output.WriteRawTag(10);
        output.WriteString(LogID);
      }
      if (Context.Length != 0) {
        output.WriteRawTag(18);
        output.WriteString(Context);
      }
      if (Stack.Length != 0) {
        output.WriteRawTag(26);
        output.WriteString(Stack);
      }
      if (_unknownFields != null) {
        _unknownFields.WriteTo(output);
      }
    #endif
    }

    #if !GOOGLE_PROTOBUF_REFSTRUCT_COMPATIBILITY_MODE
    [global::System.Diagnostics.DebuggerNonUserCodeAttribute]
    [global::System.CodeDom.Compiler.GeneratedCode("protoc", null)]
    void pb::IBufferMessage.InternalWriteTo(ref pb::WriteContext output) {
      if (LogID.Length != 0) {
        output.WriteRawTag(10);
        output.WriteString(LogID);
      }
      if (Context.Length != 0) {
        output.WriteRawTag(18);
        output.WriteString(Context);
      }
      if (Stack.Length != 0) {
        output.WriteRawTag(26);
        output.WriteString(Stack);
      }
      if (_unknownFields != null) {
        _unknownFields.WriteTo(ref output);
      }
    }
    #endif

    [global::System.Diagnostics.DebuggerNonUserCodeAttribute]
    [global::System.CodeDom.Compiler.GeneratedCode("protoc", null)]
    public int CalculateSize() {
      int size = 0;
      if (LogID.Length != 0) {
        size += 1 + pb::CodedOutputStream.ComputeStringSize(LogID);
      }
      if (Context.Length != 0) {
        size += 1 + pb::CodedOutputStream.ComputeStringSize(Context);
      }
      if (Stack.Length != 0) {
        size += 1 + pb::CodedOutputStream.ComputeStringSize(Stack);
      }
      if (_unknownFields != null) {
        size += _unknownFields.CalculateSize();
      }
      return size;
    }

    [global::System.Diagnostics.DebuggerNonUserCodeAttribute]
    [global::System.CodeDom.Compiler.GeneratedCode("protoc", null)]
    public void MergeFrom(ErrorLog other) {
      if (other == null) {
        return;
      }
      if (other.LogID.Length != 0) {
        LogID = other.LogID;
      }
      if (other.Context.Length != 0) {
        Context = other.Context;
      }
      if (other.Stack.Length != 0) {
        Stack = other.Stack;
      }
      _unknownFields = pb::UnknownFieldSet.MergeFrom(_unknownFields, other._unknownFields);
    }

    [global::System.Diagnostics.DebuggerNonUserCodeAttribute]
    [global::System.CodeDom.Compiler.GeneratedCode("protoc", null)]
    public void MergeFrom(pb::CodedInputStream input) {
    #if !GOOGLE_PROTOBUF_REFSTRUCT_COMPATIBILITY_MODE
      input.ReadRawMessage(this);
    #else
      uint tag;
      while ((tag = input.ReadTag()) != 0) {
        switch(tag) {
          default:
            _unknownFields = pb::UnknownFieldSet.MergeFieldFrom(_unknownFields, input);
            break;
          case 10: {
            LogID = input.ReadString();
            break;
          }
          case 18: {
            Context = input.ReadString();
            break;
          }
          case 26: {
            Stack = input.ReadString();
            break;
          }
        }
      }
    #endif
    }

    #if !GOOGLE_PROTOBUF_REFSTRUCT_COMPATIBILITY_MODE
    [global::System.Diagnostics.DebuggerNonUserCodeAttribute]
    [global::System.CodeDom.Compiler.GeneratedCode("protoc", null)]
    void pb::IBufferMessage.InternalMergeFrom(ref pb::ParseContext input) {
      uint tag;
      while ((tag = input.ReadTag()) != 0) {
        switch(tag) {
          default:
            _unknownFields = pb::UnknownFieldSet.MergeFieldFrom(_unknownFields, ref input);
            break;
          case 10: {
            LogID = input.ReadString();
            break;
          }
          case 18: {
            Context = input.ReadString();
            break;
          }
          case 26: {
            Stack = input.ReadString();
            break;
          }
        }
      }
    }
    #endif

  }

  #endregion

}

#endregion Designer generated code

View Code

序列化操作

        public static byte[] Serialize(ErrorLog log)
        {
            using (MemoryStream output = new MemoryStream())
            {
                log.WriteTo(output);
                return output.ToArray();
            }
        }

反序列化操作

            ErrorLog desErrorLog= ErrorLog.Parser.ParseFrom(data);

使用特點和理解

protoc.exe是支援生成多語言型別，這對於跨語言的混合程式設計比較方便。
根據上述使用步驟可以看到，必須先使用工具protoc生成目標型別，才能呼叫序列化和反序列化方法，這有些不符合.net平臺的編碼習慣。
一堆自動生成的C#類在可維護性方面欠佳，當需要調整屬性欄位時，還要通過工具重新生成，較為麻煩。

如何在 C# 中使用 Channels
2021-03-08
C#
如何在C#中使用MSMQ
2021-01-25
C#MQ
如何在CentOS 7中使用nmcli工具管理網路
2020-02-16
CentOS
來看看如何在 C# 中使用反射
2021-02-15
C#反射
在Linux中，如何理解加密工具？如GnuPG和OpenSSL。
2024-04-10
Linux加密
如何在C#專案中使用NHibernate
2018-03-28
C#
如何在C#中除錯LINQ查詢
2019-06-25
C#除錯
C# - 如何在 MVVM 中處理 XAML 鍵盤？
2024-03-18
C#MVVM
如何在 pyqt 中自定義工具提示 ToolTip
2022-05-23
QT
在Linux中，如何理解安全審計工具？如Lynis和OSSEC。
2024-04-10
Linux
C# 中的“智慧列舉”：如何在列舉中增加行為
2023-05-17
C#
在Linux中，什麼是埠掃描？如何使用工具如nmap進行埠掃描？
2024-04-09
Linux
如何在C#/.NET Core中使用責任鏈模式
2020-05-07
C#模式
C#中WebBrowser的使用
2009-04-21
C#Web
如何在macOS中使用預覽放大鏡工具
2020-10-17
Mac
在Linux中，如何理解系統管理工具，如Webmin和Ajenti。
2024-04-10
LinuxWeb
為何在查詢中索引未被使用
2014-08-20
索引
如何在macOS中啟用標記註釋工具
2020-09-16
Mac
如何使用 C# 中的 Lazy
2021-09-09
C#
如何使用 C# 中的 ValueTask
2020-11-06
C#
C#中using的使用
2012-12-24
C#
如何在C#中模擬C++的聯合（Union）？[C#, C++] How To Simulate C++ Union In C#?
2012-11-03
C#C++
如何在 JavaScript 中更好地使用陣列
2018-09-19
JavaScript陣列
如何在 Blazor WebAssembly中使用功能開關
2021-01-23
BlazorWeb
如何在 Rails 中搭配 Turbolinks 使用 Vue
2017-08-09
AIVue
如何在 Ubuntu 19.04 中安裝 Shutter 截圖工具
2019-09-12
Ubuntu
如何在 Centos8 中安裝 Lynis審計工具
2021-11-28
CentOS
C#中普通快取的使用
2021-05-05
C#快取
C#中類的使用舉例
2015-03-09
C#
C#反編譯工具：.NET Reflector基礎使用
2020-12-06
C#編譯
[C#] 在控制檯繪圖, 如:放置影像, 繪製線條
2020-11-15
C#繪圖
如何在 Laravel 中靈活的使用 Trait
2019-02-26
LaravelAI
如何在 Vue 中優雅地使用 CSS Modules？
2019-03-03
VueCSS
如何在 React 中優雅的使用 addEventListener
2023-01-30
Reactdev
本週11個大語言模型工具如MindGraph
2024-03-24
模型
C#中列舉型別的使用
2015-04-21
C#型別
QT中 uic 工具的使用
2015-03-30
QTUI
WDK中的Prefast工具使用
2013-07-30
AST