文章已獲得作者授權，原文地址：xxgblog.com/2014/08/27/mina-netty-twisted-5

protobuf 是谷歌的 Protocol Buffers 的簡稱，用於結構化資料和位元組碼之間互相轉換（序列化、反序列化），一般應用於網路傳輸，可支援多種程式語言。

protobuf 如何使用這裡不再介紹，本文主要介紹在 MINA、Netty、Twisted 中如何使用 protobuf。

在前一篇文章（Netty、MINA、Twisted一起學系列04：定製自己的協議）中，有介紹到一種用一個固定為4位元組的字首Header來指定Body的位元組數的一種訊息分割方式，在這裡同樣要使用到。只是其中 Body 的內容不再是字串，而是 protobuf 位元組碼。

Netty、MINA、Twisted一起學系列05：整合protobuf

在處理業務邏輯時，肯定不希望還要對資料進行序列化和反序列化，而是希望直接操作一個物件，那麼就需要有相應的編碼器和解碼器，將序列化和反序列化的邏輯寫在編碼器和解碼器中。有關編碼器和解碼器的實現，上一篇文章中有介紹。

Netty 包中已經自帶針對 protobuf 的編碼器和解碼器，那麼就不用再自己去實現了。而 MINA、Twisted 還需要自己去實現 protobuf 的編碼器和解碼器。

這裡定義一個protobuf資料結構，用於描述一個學生的資訊，儲存為StudentMsg.proto檔案：

message Student {
    // ID
    required int32 id = 1;  

    // 姓名
    required string name = 2;

    // email
    optional string email = 3;

    // 朋友
    repeated string friends = 4;
}

用 StudentMsg.proto 分別生成 Java 和 Python 程式碼，將程式碼加入到相應的專案中。生成的程式碼就不再貼上來了。下面分別介紹在 Netty、MINA、Twisted 如何使用 protobuf 來傳輸 Student 資訊。

1 Netty

Netty 自帶 protobuf 的編碼器和解碼器，分別是 ProtobufEncoder 和 ProtobufDecoder。需要注意的是，ProtobufEncoder 和 ProtobufDecoder 只負責 protobuf 的序列化和反序列化，而處理訊息 Header 字首和訊息分割的還需要 LengthFieldBasedFrameDecoder 和 LengthFieldPrepender。LengthFieldBasedFrameDecoder 即用於解析訊息 Header 字首，根據 Header 中指定的 Body 位元組數擷取 Body，LengthFieldPrepender 用於在wirte訊息時在訊息前面新增一個 Header 字首來指定 Body 位元組數。

public class TcpServer {

    public static void main(String[] args) throws InterruptedException {
        EventLoopGroup bossGroup = new NioEventLoopGroup();
        EventLoopGroup workerGroup = new NioEventLoopGroup();
        try {
            ServerBootstrap b = new ServerBootstrap();
            b.group(bossGroup, workerGroup)
                    .channel(NioServerSocketChannel.class)
                    .childHandler(new ChannelInitializer<SocketChannel>() {
                        @Override
                        public void initChannel(SocketChannel ch)
                                throws Exception {
                            ChannelPipeline pipeline = ch.pipeline();

              // 負責透過4位元組Header指定的Body長度將訊息切割
              pipeline.addLast("frameDecoder",
                  new LengthFieldBasedFrameDecoder(1048576, 0, 4, 0, 4));

              // 負責將frameDecoder處理後的完整的一條訊息的protobuf位元組碼轉成Student物件
              pipeline.addLast("protobufDecoder",
                  new ProtobufDecoder(StudentMsg.Student.getDefaultInstance()));

              // 負責將寫入的位元組碼加上4位元組Header字首來指定Body長度
              pipeline.addLast("frameEncoder", new LengthFieldPrepender(4));

              // 負責將Student物件轉成protobuf位元組碼
              pipeline.addLast("protobufEncoder", new ProtobufEncoder());

                            pipeline.addLast(new TcpServerHandler());
                        }
                    });
            ChannelFuture f = b.bind(8080).sync();
            f.channel().closeFuture().sync();
        } finally {
            workerGroup.shutdownGracefully();
            bossGroup.shutdownGracefully();
        }
    }
}

處理事件時，接收和傳送的引數直接就是Student物件。

public class TcpServerHandler extends ChannelInboundHandlerAdapter {

    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) {

        // 讀取客戶端傳過來的Student物件
      StudentMsg.Student student = (StudentMsg.Student) msg;
        System.out.println("ID:" + student.getId());
        System.out.println("Name:" + student.getName());
        System.out.println("Email:" + student.getEmail());
        System.out.println("Friends:");
        List<String> friends = student.getFriendsList();
        for(String friend : friends) {
          System.out.println(friend);
        }

        // 新建一個Student物件傳到客戶端
        StudentMsg.Student.Builder builder = StudentMsg.Student.newBuilder();
        builder.setId(9);
        builder.setName("伺服器");
        builder.setEmail("123@abc.com");
        builder.addFriends("X");
        builder.addFriends("Y");
        StudentMsg.Student student2 = builder.build();
        ctx.writeAndFlush(student2);
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) {
        cause.printStackTrace();
        ctx.close();
    }
}

2. MINA

在 MINA 中沒有針對 protobuf 的編碼器和解碼器，但是可以自己實現一個功能和 Netty 一樣的編碼器和解碼器。

編碼器：

public class MinaProtobufEncoder extends ProtocolEncoderAdapter {

    @Override
    public void encode(IoSession session, Object message,
            ProtocolEncoderOutput out) throws Exception {

      StudentMsg.Student student = (StudentMsg.Student) message;
        byte[] bytes = student.toByteArray(); // Student物件轉為protobuf位元組碼
        int length = bytes.length;

        IoBuffer buffer = IoBuffer.allocate(length + 4);
        buffer.putInt(length); // write header
        buffer.put(bytes); // write body
        buffer.flip();
        out.write(buffer);
    }
}

解碼器：

public class MinaProtobufDecoder extends CumulativeProtocolDecoder {

  @Override
  protected boolean doDecode(IoSession session, IoBuffer in,
      ProtocolDecoderOutput out) throws Exception {

    // 如果沒有接收完Header部分（4位元組），直接返回false
    if (in.remaining() < 4) {
      return false;
    } else {

      // 標記開始位置，如果一條訊息沒傳輸完成則返回到這個位置
      in.mark();

      // 讀取header部分，獲取body長度
      int bodyLength = in.getInt();

      // 如果body沒有接收完整，直接返回false
      if (in.remaining() < bodyLength) {
        in.reset(); // IoBuffer position回到原來標記的地方
        return false;
      } else {
        byte[] bodyBytes = new byte[bodyLength];
        in.get(bodyBytes); // 讀取body部分
        StudentMsg.Student student = StudentMsg.Student.parseFrom(bodyBytes); // 將body中protobuf位元組碼轉成Student物件
        out.write(student); // 解析出一條訊息
        return true;
      }
    }
  }
}

MINA 伺服器加入 protobuf 的編碼器和解碼器：

public class TcpServer {

    public static void main(String[] args) throws IOException {
        IoAcceptor acceptor = new NioSocketAcceptor();

        // 指定protobuf的編碼器和解碼器
        acceptor.getFilterChain().addLast("codec",
                new ProtocolCodecFilter(new MinaProtobufEncoder(), new MinaProtobufDecoder()));

        acceptor.setHandler(new TcpServerHandle());
        acceptor.bind(new InetSocketAddress(8080));
    }
}

這樣，在處理業務邏輯時，就和Netty一樣了：

public class TcpServerHandle extends IoHandlerAdapter {

    @Override
    public void exceptionCaught(IoSession session, Throwable cause)
            throws Exception {
        cause.printStackTrace();
    }

    @Override
    public void messageReceived(IoSession session, Object message)
            throws Exception {

      // 讀取客戶端傳過來的Student物件
      StudentMsg.Student student = (StudentMsg.Student) message;
        System.out.println("ID:" + student.getId());
        System.out.println("Name:" + student.getName());
        System.out.println("Email:" + student.getEmail());
        System.out.println("Friends:");
        List<String> friends = student.getFriendsList();
        for(String friend : friends) {
          System.out.println(friend);
        }

        // 新建一個Student物件傳到客戶端
        StudentMsg.Student.Builder builder = StudentMsg.Student.newBuilder();
        builder.setId(9);
        builder.setName("伺服器");
        builder.setEmail("123@abc.com");
        builder.addFriends("X");
        builder.addFriends("Y");
        StudentMsg.Student student2 = builder.build();
        session.write(student2);
    }
}

3. Twisted

在 Twisted 中，首先定義一個 ProtobufProtocol 類，繼承 Protocol 類，充當編碼器和解碼器。處理業務邏輯的 TcpServerHandle 類再繼承 ProtobufProtocol 類，呼叫或重寫 ProtobufProtocol 提供的方法。

# -*- coding:utf-8 –*-

from struct import pack, unpack
from twisted.internet.protocol import Factory
from twisted.internet.protocol import Protocol
from twisted.internet import reactor
import StudentMsg_pb2

# protobuf編碼、解碼器
class ProtobufProtocol(Protocol):

    # 用於暫時存放接收到的資料
    _buffer = b""

    def dataReceived(self, data):
        # 上次未處理的資料加上本次接收到的資料
        self._buffer = self._buffer + data
        # 一直迴圈直到新的訊息沒有接收完整
        while True:
            # 如果header接收完整
            if len(self._buffer) >= 4:
                # header部分，按大位元組序轉int，獲取body長度
                length, = unpack(">I", self._buffer[0:4])
                # 如果body接收完整
                if len(self._buffer) >= 4 + length:
                    # body部分，protobuf位元組碼
                    packet = self._buffer[4:4 + length]

                    # protobuf位元組碼轉成Student物件
                    student = StudentMsg_pb2.Student()
                    student.ParseFromString(packet)

                    # 呼叫protobufReceived傳入Student物件
                    self.protobufReceived(student)

                    # 去掉_buffer中已經處理的訊息部分
                    self._buffer = self._buffer[4 + length:]
                else:
                    break;
            else:
                break;

    def protobufReceived(self, student):
        raise NotImplementedError

    def sendProtobuf(self, student):
        # Student物件轉為protobuf位元組碼
        data = student.SerializeToString()
        # 新增Header字首指定protobuf位元組碼長度
        self.transport.write(pack(">I", len(data)) + data)

# 邏輯程式碼
class TcpServerHandle(ProtobufProtocol):

    # 實現ProtobufProtocol提供的protobufReceived
    def protobufReceived(self, student):

        # 將接收到的Student輸出
        print 'ID:' + str(student.id)
        print 'Name:' + student.name
        print 'Email:' + student.email
        print 'Friends:'
        for friend in student.friends:
            print friend

        # 建立一個Student併傳送給客戶端
        student2 = StudentMsg_pb2.Student()
        student2.id = 9
        student2.name = '伺服器'.decode('UTF-8') # 中文需要轉成UTF-8字串
        student2.email = '123@abc.com'
        student2.friends.append('X')
        student2.friends.append('Y')
        self.sendProtobuf(student2)

factory = Factory()
factory.protocol = TcpServerHandle
reactor.listenTCP(8080, factory)
reactor.run()

下面是Java編寫的一個客戶端測試程式：

public class TcpClient {

    public static void main(String[] args) throws IOException {

        Socket socket = null;
        DataOutputStream out = null;
        DataInputStream in = null;

        try {

            socket = new Socket("localhost", 8080);
            out = new DataOutputStream(socket.getOutputStream());
            in = new DataInputStream(socket.getInputStream());

            // 建立一個Student傳給伺服器
            StudentMsg.Student.Builder builder = StudentMsg.Student.newBuilder();
            builder.setId(1);
            builder.setName("客戶端");
            builder.setEmail("xxg@163.com");
            builder.addFriends("A");
            builder.addFriends("B");
            StudentMsg.Student student = builder.build();
            byte[] outputBytes = student.toByteArray(); // Student轉成位元組碼
            out.writeInt(outputBytes.length); // write header
            out.write(outputBytes); // write body
            out.flush();

            // 獲取伺服器傳過來的Student
            int bodyLength = in.readInt();  // read header
            byte[] bodyBytes = new byte[bodyLength];
            in.readFully(bodyBytes);  // read body
            StudentMsg.Student student2 = StudentMsg.Student.parseFrom(bodyBytes); // body位元組碼解析成Student
            System.out.println("Header:" + bodyLength);
            System.out.println("Body:");
            System.out.println("ID:" + student2.getId());
            System.out.println("Name:" + student2.getName());
            System.out.println("Email:" + student2.getEmail());
            System.out.println("Friends:");
            List<String> friends = student2.getFriendsList();
            for(String friend : friends) {
              System.out.println(friend);
            }

        } finally {
            // 關閉連線
            in.close();
            out.close();
            socket.close();
        }
    }
}

用客戶端分別測試上面三個TCP伺服器：

伺服器輸出：

ID:1
Name:客戶端
Email:xxg@163.com
Friends:
A
B

客戶端輸出：

Header:32
Body:
ID:9
Name:伺服器
Email:123@abc.com
Friends:
X
Y

Netty、MINA、Twisted一起學系列05：整合protobuf

相關文章