netty系列之:在netty中使用native傳輸協議

flydean發表於2022-06-29
Netty協議

簡介

對於IO來說，除了傳統的block IO,使用最多的就是NIO了，通常我們在netty程式中最常用到的就是NIO,比如NioEventLoopGroup,NioServerSocketChannel等。

我們也知道在IO中有比NIO更快的IO方式，比如kqueue和epoll，但是這兩種方式需要native方法的支援，也就是說需要在作業系統層面提供服務。

如果我們在支援Kqueue或者epoll的伺服器上，netty是否可以提供對這些優秀IO的支援呢？

答案是肯定的。但是首先kqueue和epoll需要JNI支援，也就是說JAVA程式需要呼叫本地的native方法。

native傳輸協議的依賴

要想使用kequeue和epoll這種native的傳輸方式，我們需要額外新增專案的依賴,如果是linux環境，則可以新增如下的maven依賴環境：

  <dependencies>
    <dependency>
      <groupId>io.netty</groupId>
      <artifactId>netty-transport-native-epoll</artifactId>
      <version>${project.version}</version>
      <classifier>linux-x86_64</classifier>
    </dependency>
    ...
  </dependencies>

其中version需要匹配你所使用的netty版本號，否則可能出現呼叫異常的情況。

classifier表示的是系統架構，它的值可以是linux-x86_64，也可以是linux-aarch_64.

如果你使用的mac系統，那麼可以這樣引入：

  <dependencies>
    <dependency>
      <groupId>io.netty</groupId>
      <artifactId>netty-transport-native-kqueue</artifactId>
      <version>${project.version}</version>
      <classifier>osx-x86_64</classifier>
    </dependency>
    ...
  </dependencies>

netty除了單獨的個體包之外，還有一個all in one的netty-all包，如果你使用了這個all in one的包，那麼不需要額外新增native的依賴。

如果netty提供的系統架構並沒有你正在使用的，那麼你需要手動進行編譯，以下是編譯所依賴的程式包, 如果是在RHEL/CentOS/Fedora系統中，則使用：

sudo yum install autoconf automake libtool make tar \
                 glibc-devel \
                 libgcc.i686 glibc-devel.i686

如果是在Debian/Ubuntu系統中，則使用：

sudo apt-get install autoconf automake libtool make tar \
                     gcc

如果是在MacOS/BSD系統中，則使用：

brew install autoconf automake libtool

netty本地傳輸協議的使用

安裝好依賴包之後，我們就可以在netty中使用這些native傳輸協議了。

native傳輸協議的使用和NIO的使用基本一致，我們只需要進行下面的替換即可。

如果是在liunx系統中，則進行下面的替換：


    NioEventLoopGroup → EpollEventLoopGroup
    NioEventLoop → EpollEventLoop
    NioServerSocketChannel → EpollServerSocketChannel
    NioSocketChannel → EpollSocketChannel

如果是在mac系統中，則進行下面的替換：


    NioEventLoopGroup → KQueueEventLoopGroup
    NioEventLoop → KQueueEventLoop
    NioServerSocketChannel → KQueueServerSocketChannel
    NioSocketChannel → KQueueSocketChannel

這裡還是使用我們熟悉的聊天服務為例，首先看下基於Kqueue的netty伺服器端應該怎麼寫：

EventLoopGroup bossGroup = new KQueueEventLoopGroup(1);
        EventLoopGroup workerGroup = new KQueueEventLoopGroup();
        try {
            ServerBootstrap b = new ServerBootstrap();
            b.group(bossGroup, workerGroup)
             .channel(KQueueServerSocketChannel.class)
             .handler(new LoggingHandler(LogLevel.INFO))
             .childHandler(new NativeChatServerInitializer());

            Channel channel = b.bind(PORT).sync().channel();
            log.info("server channel:{}", channel);
            channel.closeFuture().sync();

和NIO一樣，在伺服器端我們需要使用KQueueEventLoopGroup建立兩個EventLoopGroup，一個是bossGroup, 一個是workerGroup。

然後將這兩個group傳入到ServerBootstrap中，並且新增KQueueServerSocketChannel作為channel。

其他的內容和NIO server的內容是一樣的。

接下來我們看下基於Kqueue的netty客戶端改如何跟server端建立連線：

EventLoopGroup group = new KQueueEventLoopGroup();
        try {
            Bootstrap b = new Bootstrap();
            b.group(group)
             .channel(KQueueSocketChannel.class)
             .handler(new NativeChatClientInitializer());

            // 建立連線
            Channel ch = b.connect(HOST, PORT).sync().channel();
            log.info("client channel: {}", ch);

這裡使用的是KQueueEventLoopGroup，並將KQueueEventLoopGroup放到Bootstrap中，並且為Bootstrap提供了和server端一致的KQueueSocketChannel。

然後就是客戶端向channel中寫訊息，這裡我們直接從命令列輸入：

// 從命令列輸入
            ChannelFuture lastWriteFuture = null;
            BufferedReader in = new BufferedReader(new InputStreamReader(System.in));
            for (;;) {
                String line = in.readLine();
                if (line == null) {
                    break;
                }
                // 將從命令列輸入的一行字元寫到channel中
                lastWriteFuture = ch.writeAndFlush(line + "\r\n");
                // 如果輸入'再見'，則等待server端關閉channel
                if ("再見".equalsIgnoreCase(line)) {
                    ch.closeFuture().sync();
                    break;
                }
            }

上面程式碼的意思是將命令列收到的訊息寫入到channel中，如果輸入的是'再見'，則關閉channel。

為了能夠處理字串，這裡用到了三個編碼解碼器：

        // 新增行分割器
        pipeline.addLast(new DelimiterBasedFrameDecoder(8192, Delimiters.lineDelimiter()));
        // 新增String Decoder和String Encoder,用來進行字串的轉換
        pipeline.addLast(new StringEncoder());
        pipeline.addLast(new StringDecoder());

分別是行分割器，字元編碼器和字元解碼器。

執行一下看，程式執行沒問題，客戶端和伺服器端可以進行通訊。

總結

這裡我們只以Kqueue為例介紹了netty中native傳輸協議的使用，具體的程式碼，大家可以參考：

learn-netty4

更多內容請參考 http://www.flydean.com/52-netty-native-transport-md/

最通俗的解讀，最深刻的乾貨，最簡潔的教程，眾多你不知道的小技巧等你來發現！

歡迎關注我的公眾號:「程式那些事」,懂技術，更懂你！

相關文章