java 從零開始手寫 RPC (04) -序列化

老馬嘯西風發表於2021-10-17

序列化

java 從零開始手寫 RPC (01) 基於 socket 實現

java 從零開始手寫 RPC (02)-netty4 實現客戶端和服務端

java 從零開始手寫 RPC (03) 如何實現客戶端呼叫服務端?

前面幾節我們實現了最基礎的客戶端呼叫服務端,這一節來學習一下通訊中的物件序列化。

fastjson

為什麼需要序列化

netty 底層都是基於 ByteBuf 進行通訊的。

前面我們通過編碼器/解碼器專門為計算的入參/出參進行處理,這樣方便我們直接使用 pojo。

但是有一個問題,如果想把我們的專案抽象為框架,那就需要為所有的物件編寫編碼器/解碼器。

顯然,直接通過每一個物件寫一對的方式是不現實的,而且使用者如何使用,也是未知的。

序列化的方式

基於位元組的實現,效能好,可讀性不高。

基於字串的實現,比如 json 序列化,可讀性好,效能相對較差。

ps: 可以根據個人還好選擇,相關序列化可參考下文,此處不做展開。

json 序列化框架簡介

實現思路

可以將我們的 Pojo 全部轉化為 byte,然後 Byte 轉換為 ByteBuf 即可。

反之亦然。

程式碼實現

maven

引入序列化包:

<dependency>
    <groupId>com.github.houbb</groupId>
    <artifactId>json</artifactId>
    <version>0.1.1</version>
</dependency>

服務端

核心

服務端的程式碼可以大大簡化:

serverBootstrap.group(workerGroup, bossGroup)
    .channel(NioServerSocketChannel.class)
    // 列印日誌
    .handler(new LoggingHandler(LogLevel.INFO))
    .childHandler(new ChannelInitializer<Channel>() {
        @Override
        protected void initChannel(Channel ch) throws Exception {
            ch.pipeline()
                    .addLast(new RpcServerHandler());
        }
    })
    // 這個引數影響的是還沒有被accept 取出的連線
    .option(ChannelOption.SO_BACKLOG, 128)
    // 這個引數只是過一段時間內客戶端沒有響應,服務端會傳送一個 ack 包,以判斷客戶端是否還活著。
    .childOption(ChannelOption.SO_KEEPALIVE, true);

這裡只需要一個實現類即可。

RpcServerHandler

服務端的序列化/反序列化調整為直接使用 JsonBs 實現。

package com.github.houbb.rpc.server.handler;

import com.github.houbb.json.bs.JsonBs;
import com.github.houbb.log.integration.core.Log;
import com.github.houbb.log.integration.core.LogFactory;
import com.github.houbb.rpc.common.model.CalculateRequest;
import com.github.houbb.rpc.common.model.CalculateResponse;
import com.github.houbb.rpc.common.service.Calculator;
import com.github.houbb.rpc.server.service.CalculatorService;

import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.SimpleChannelInboundHandler;

/**
 * @author binbin.hou
 * @since 0.0.1
 */
public class RpcServerHandler extends SimpleChannelInboundHandler {

    private static final Log log = LogFactory.getLog(RpcServerHandler.class);

    @Override
    public void channelActive(ChannelHandlerContext ctx) throws Exception {
        final String id = ctx.channel().id().asLongText();
        log.info("[Server] channel {} connected " + id);
    }

    @Override
    protected void channelRead0(ChannelHandlerContext ctx, Object msg) throws Exception {
        final String id = ctx.channel().id().asLongText();

        ByteBuf byteBuf = (ByteBuf)msg;
        byte[] bytes = new byte[byteBuf.readableBytes()];
        byteBuf.readBytes(bytes);
        CalculateRequest request = JsonBs.deserializeBytes(bytes, CalculateRequest.class);
        log.info("[Server] receive channel {} request: {} from ", id, request);

        Calculator calculator = new CalculatorService();
        CalculateResponse response = calculator.sum(request);

        // 回寫到 client 端
        byte[] responseBytes = JsonBs.serializeBytes(response);
        ByteBuf responseBuffer = Unpooled.copiedBuffer(responseBytes);
        ctx.writeAndFlush(responseBuffer);
        log.info("[Server] channel {} response {}", id, response);
    }

}

客戶端

核心

客戶端可以簡化如下:

channelFuture = bootstrap.group(workerGroup)
    .channel(NioSocketChannel.class)
    .option(ChannelOption.SO_KEEPALIVE, true)
    .handler(new ChannelInitializer<Channel>(){
        @Override
        protected void initChannel(Channel ch) throws Exception {
            channelHandler = new RpcClientHandler();
            ch.pipeline()
                    .addLast(new LoggingHandler(LogLevel.INFO))
                    .addLast(channelHandler);
        }
    })
    .connect(RpcConstant.ADDRESS, port)
    .syncUninterruptibly();

RpcClientHandler

客戶端的序列化/反序列化調整為直接使用 JsonBs 實現。

package com.github.houbb.rpc.client.handler;

import com.github.houbb.json.bs.JsonBs;
import com.github.houbb.log.integration.core.Log;
import com.github.houbb.log.integration.core.LogFactory;
import com.github.houbb.rpc.client.core.RpcClient;
import com.github.houbb.rpc.common.model.CalculateResponse;

import io.netty.buffer.ByteBuf;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.SimpleChannelInboundHandler;

/**
 * <p> 客戶端處理類 </p>
 *
 * <pre> Created: 2019/10/16 11:30 下午  </pre>
 * <pre> Project: rpc  </pre>
 *
 * @author houbinbin
 * @since 0.0.2
 */
public class RpcClientHandler extends SimpleChannelInboundHandler {

    private static final Log log = LogFactory.getLog(RpcClient.class);

    /**
     * 響應資訊
     * @since 0.0.4
     */
    private CalculateResponse response;

    @Override
    protected void channelRead0(ChannelHandlerContext ctx, Object msg) throws Exception {
        ByteBuf byteBuf = (ByteBuf)msg;
        byte[] bytes = new byte[byteBuf.readableBytes()];
        byteBuf.readBytes(bytes);

        this.response = JsonBs.deserializeBytes(bytes, CalculateResponse.class);
        log.info("[Client] response is :{}", response);
    }

    @Override
    public void channelReadComplete(ChannelHandlerContext ctx) throws Exception {
        // 每次用完要關閉,不然拿不到response,我也不知道為啥(目測得了解netty才行)
        // 個人理解:如果不關閉,則永遠會被阻塞。
        ctx.flush();
        ctx.close();
    }

    public CalculateResponse getResponse() {
        return response;
    }

}

小結

為了便於大家學習,以上原始碼已經開源:

https://github.com/houbb/rpc

希望本文對你有所幫助,如果喜歡,歡迎點贊收藏轉發一波。

我是老馬,期待與你的下次相遇。

在這裡插入圖片描述

相關文章