netty系列之:自定義編碼解碼器

flydean發表於2021-08-16

簡介

在之前的netty系列文章中,我們講到了如何將物件或者String轉換成為ByteBuf,通過使用netty自帶的encoder和decoder可以實現非常方便的物件和ByteBuf之間的轉換,然後就可以向channel中隨意寫入物件和字串了。

使用netty自帶的編碼器當然很好,但是如果你有些特殊的需求,比如希望在編碼的過程中對資料進行變換,或者對物件的欄位進行選擇,那麼可能就需要自定義編碼解碼器了。

自定義編碼器

自定義編碼器需要繼承MessageToByteEncoder 類,並實現encode方法,在該方法中寫入具體的編碼邏輯。

本例我們希望計算2的N次方,據說將一張紙摺疊100次可以達到地球到月亮的高度,這麼大的資料普通的number肯定是裝不下的,我們將會使用BigInteger來對這個巨大的數字進行儲存。

那麼對於被編碼器來說,則需要將這個BigInteger轉換成為byte陣列。同時在byte陣列讀取的過程中,我們需要界定到底哪些byte資料是屬於同一個BigInteger的,這就需要對寫入的資料格式做一個約定。

這裡我們使用三部分的資料結構來表示一個BigInteger。第一部分是一個magic word也就是魔法詞,這裡我們使用魔法詞“N”,當讀取到這個魔法詞就表示接下來的數字是BigInteger。第二部分是表示bigInteger數字的byte陣列的長度,獲取到這個長度值,就可以讀取到所有的byte陣列值,最後將其轉換成為BigInteger。

因為BigInteger是Number的子類,為了更加泛化編碼器,我們使用Number作為MessageToByteEncoder的泛型,核心編碼程式碼如下:

 protected void encode(ChannelHandlerContext ctx, Number msg, ByteBuf out) {
        // 將number編碼成為ByteBuf
        BigInteger v;
        if (msg instanceof BigInteger) {
            v = (BigInteger) msg;
        } else {
            v = new BigInteger(String.valueOf(msg));
        }

        // 將BigInteger轉換成為byte[]陣列
        byte[] data = v.toByteArray();
        int dataLength = data.length;

        // 將Number進行編碼
        out.writeByte((byte) 'N'); // 魔法詞
        out.writeInt(dataLength);  // 陣列長度
        out.writeBytes(data);      // 最終的資料
    }

自定義解碼器

有了編碼之後的byte陣列,就可以在解碼器中對其解碼了。

上一節介紹了,編碼過後的資料格式是魔法詞N+陣列長度+真正的資料。

其中魔法詞長度是一個位元組,陣列長度是四個位元組,前面部分總共是5個位元組。所以在解碼的時候,首先判斷ByteBuf中可讀位元組的長度是否小於5,如果小於5說明資料是無效的,可以直接return。

如果可讀位元組的長度大於5,則表示資料是有效的,可以進行資料的解碼了。

解碼過程中需要注意的是,並不是所有的資料都是我們所希望的格式,如果在讀取的過程中讀到了我們不認識的格式,那麼說明這個資料並不是我們想要的,則可以交由其他的handler進行處理。

但是對於ByteBuf來說,一旦呼叫read方法,就會導致reader index移動位置,所以在真正的讀取資料之前需要呼叫ByteBuf的markReaderIndex方法,對readerIndex進行記錄。然後分別讀取魔法詞、陣列長度和剩餘的資料,最後將資料轉換成為BigInteger,如下所示:

 protected void decode(ChannelHandlerContext ctx, ByteBuf in, List<Object> out) {
        // 保證魔法詞和陣列長度有效
        if (in.readableBytes() < 5) {
            return;
        }
        in.markReaderIndex();
        // 檢查魔法詞
        int magicNumber = in.readUnsignedByte();
        if (magicNumber != 'N') {
            in.resetReaderIndex();
            throw new CorruptedFrameException("無效的魔法詞: " + magicNumber);
        }
        // 讀取所有的資料
        int dataLength = in.readInt();
        if (in.readableBytes() < dataLength) {
            in.resetReaderIndex();
            return;
        }
        // 將剩下的資料轉換成為BigInteger
        byte[] decoded = new byte[dataLength];
        in.readBytes(decoded);
        out.add(new BigInteger(decoded));
    }

新增編碼解碼器到pipeline

有了兩個編碼解碼器,還需要將其新增到pipeline中進行呼叫。

在實現ChannelInitializer中的initChannel中,可以對ChannelPipeline進行初始化,本例中的初始化程式碼如下:

// 對流進行壓縮
        pipeline.addLast(ZlibCodecFactory.newZlibEncoder(ZlibWrapper.GZIP));
        pipeline.addLast(ZlibCodecFactory.newZlibDecoder(ZlibWrapper.GZIP));

        // 新增number編碼解碼器
        pipeline.addLast(new NumberDecoder());
        pipeline.addLast(new NumberEncoder());

        // 新增業務處理邏輯
        pipeline.addLast(new CustomProtocolServerHandler());

其中最後一行是真正的業務處理邏輯,NumberDecoder和NumberEncoder是編碼和解碼器。這裡我們還使用了一個ZlibEncoder用於對流資料進行壓縮,這裡使用的壓縮方式是GZIP。

壓縮的好處就是可以減少資料傳輸的數量,提升傳輸效率。其本質也是一個編碼解碼器。

計算2的N次方

計算2的N次方的邏輯是這樣的,首先客戶端傳送2給伺服器端,伺服器端接收到該訊息和結果1相乘,並將結果寫回給客戶端,客戶端收到訊息之後再傳送2給伺服器端,伺服器端將上次的計算結果乘以2,再傳送給客戶端,以此類推直到執行N次。

首先看下客戶端的傳送邏輯:

// 最大計算2的1000次方
        ChannelFuture future = null;
        for (int i = 0; i < 1000 && next <= CustomProtocolClient.COUNT; i++) {
            future = ctx.write(2);
            next++;
        }

當next小於等於要計算的COUNT時,就將2寫入到channel中。

對於伺服器來說,在channelRead0方法中,讀取訊息,並將其和結果相乘,再把結果寫回給客戶端。

    public void channelRead0(ChannelHandlerContext ctx, BigInteger msg) throws Exception {
        // 將接收到的msg乘以2,然後返回給客戶端
        count++;
        result = result.multiply(msg);
        ctx.writeAndFlush(result);
    }

客戶端統計讀取到的訊息個數,如果訊息個數=COUNT,說明計算完畢,就可以將結果儲存起來供後續使用,其核心程式碼如下:

    public void channelRead0(ChannelHandlerContext ctx, final BigInteger msg) {
        receivedMessages ++;
        if (receivedMessages == CustomProtocolClient.COUNT) {
            // 計算完畢,將結果放入answer中
            ctx.channel().close().addListener(future -> {
                boolean offered = answer.offer(msg);
                assert offered;
            });
        }
    }

總結

本文實現了一個Number的編碼解碼器,事實上你可以自定義實現任何物件的編碼解碼器。

本文的例子可以參考:learn-netty4

本文已收錄於 http://www.flydean.com/13-netty-customprotocol/

最通俗的解讀,最深刻的乾貨,最簡潔的教程,眾多你不知道的小技巧等你來發現!

歡迎關注我的公眾號:「程式那些事」,懂技術,更懂你!

相關文章