Netty教程

江成軍發表於2020-07-02
Netty

首先宣告，本文是為Netty新手準備的，所以事無鉅細的會把步驟列出來，老手們就不用在我這篇文章上浪費時間了，要不然你會嫌我墨跡的。

一、前言

Netty是一個開源的非同步事件驅動的網路應用程式框架，用於快速開發可維護的高效能協議伺服器和客戶端。

Netty的創始人是韓國人trustin lee，他現在韓國line公司工作，早前應用較多的Mina也是這牛人的作品。

Netty目前的專案leader是德國人Norman maurer（之前在Redhat，全職開發Netty）,也是《Netty in action》的作者，目前是蘋果公司高階工程師，同時也經常參加netty相關的技術會議，這兩大牛長下面這樣：

Netty的優點，簡單一句話：使用簡單、功能強大、效能強悍。

Netty的特點：

  • 高併發：Netty 是一款基於 NIO（Nonblocking IO，非阻塞IO）開發的網路通訊框架，對比於 BIO（Blocking I/O，阻塞IO），他的併發效能得到了很大提高。

  • 傳輸快：Netty 的傳輸依賴於零拷貝特性，儘量減少不必要的記憶體拷貝，實現了更高效率的傳輸。

  • 封裝好：Netty 封裝了 NIO 操作的很多細節，提供了易於使用呼叫介面。

Netty的優勢：

  • 使用簡單：封裝了 NIO 的很多細節，使用更簡單。

  • 功能強大：預置了多種編解碼功能，支援多種主流協議。

  • 定製能力強：可以通過 ChannelHandler 對通訊框架進行靈活地擴充套件。

  • 效能高：通過與其他業界主流的 NIO 框架對比，Netty 的綜合效能最優。

  • 穩定：Netty 修復了已經發現的所有 NIO 的 bug，讓開發人員可以專注於業務本身。

  • 社群活躍：Netty 是活躍的開源專案，版本迭代週期短，bug 修復速度快。

Netty高效能表現在哪些方面？

  • IO 執行緒模型：同步非阻塞，用最少的資源做更多的事。

  • 記憶體零拷貝：儘量減少不必要的記憶體拷貝，實現了更高效率的傳輸。

  • 記憶體池設計：申請的記憶體可以重用，主要指直接記憶體。內部實現是用一顆二叉查詢樹管理記憶體分配情況。

  • 串形化處理讀寫：避免使用鎖帶來的效能開銷。

  • 高效能序列化協議：支援 protobuf 等高效能序列化協議。

BIO、NIO和AIO的區別是什麼？
這三個概念分別對應三種通訊模型：阻塞、非阻塞、非阻塞非同步，概念這裡就不寫了，大家可以度娘搜一下，網上好多部落格說Netty對應NIO，準確來說，應該是既可以是NIO，也可以是AIO，就看你怎麼實現，這三個的區別如下：

  • BIO：一個連線一個執行緒，客戶端有連線請求時伺服器端就需要啟動一個執行緒進行處理,執行緒開銷大。偽非同步IO：將請求連線放入執行緒池，一對多，但執行緒還是很寶貴的資源。

  • NIO：一個請求一個執行緒，但客戶端傳送的連線請求都會註冊到多路複用器上，多路複用器輪詢到連線有I/O請求時才啟動一個執行緒進行處理。

  • AIO：一個有效請求一個執行緒，客戶端的I/O請求都是由OS先完成了再通知伺服器應用去啟動執行緒進行處理。

BIO是面向流的，NIO是面向緩衝區的；BIO的各種流是阻塞的。而NIO是非阻塞的；BIO的Stream是單向的，而NIO的channel是雙向的。

NIO的特點：事件驅動模型、單執行緒處理多工、非阻塞I/O，I/O讀寫不再阻塞，而是返回0、基於block的傳輸比基於流的傳輸更高效、更高階的IO函式zero-copy、IO多路複用大大提高了Java網路應用的可伸縮性和實用性。基於Reactor執行緒模型。

二、Netty能做什麼？

學技能都是為了能夠應用到實際工作中去，誰也不是為了學而學、弄著玩不是，那麼Netty能做什麼呢？主要是在兩個方面：

  • 現在物聯網的應用無處不在，大量的專案都牽涉到應用感測器和伺服器端的資料通訊，Netty作為基礎通訊元件、能夠輕鬆解決之前有較高門檻的通訊系統開發，你不用再為如何解析各類簡單、或複雜的通訊協議而薅頭發了，有過這方面開發經驗的程式設計師會有更深刻、或者說刻骨銘心的體會。

  • 現在網際網路系統講究的都是高併發、分散式、微服務，各類訊息滿天飛，Netty在這類架構裡面的應用可謂是如魚得水，如果你對當前的各種應用伺服器不爽，那麼完全可以基於Netty來實現自己的HTTP伺服器，FTP伺服器，UDP伺服器，RPC伺服器，WebSocket伺服器，Redis的Proxy伺服器，MySQL的Proxy伺服器等等。

三、掌握Netty有什麼好處呢？

直接的好處是：能夠有進大廠、拿高薪的機會，業內好多著名的公司在招聘**高階/資深Java工程師時基本上都要求熟練掌握、或熟悉Netty。

這個名單還可以很長很長。。。

作為一個學Java的，如果沒有研究過Netty，那麼你對Java語言的使用和理解僅僅停留在表面水平，會點SSH，寫幾個MVC，訪問資料庫和快取，這些只是初、中等Java程式設計師乾的事。如果你要進階，想了解Java伺服器的深層高階知識，Netty絕對是一個必須要過的門檻。

間接地好處是：多款開源框架中應用了Netty，掌握了Netty，就具有分析這些開源框架的基礎了，也就是有了成為技術大牛的基礎。

這些開源框架有哪些呢？簡單羅列一些典型的，如下：

  • 阿里分散式服務框架 Dubbo 的 RPC 框架；

  • 淘寶的訊息中介軟體 RocketMQ；

  • Hadoop 的高效能通訊和序列化元件 Avro 的 RPC 框架；

  • 開源叢集運算框架 Spark；

  • 分散式計算框架 Storm；

  • 併發應用和分散式應用 Akka；

  • 名單依然很長很長。。。。

四、動手開幹、實現一個傳輸字串的簡單例項

在開始動手之前，必要的基礎概念還是要知道的，要不然程式碼敲下來，功能倒是實現了，但對Netty還是一頭霧水，這就不是本文要達到的目的了。

本示例需要用到的基礎知識主要有以下幾方面的東東，這些知識點最好有一個大概的瞭解，要不然，看例項會有一定的困難。

  • 掌握Java基礎
  • 掌握Maven基礎
  • 熟悉IntelliJ IDEA整合開發工具的使用，這個工具簡稱IDEA
  • 知道TCP、Socket的基本概念

1、Netty的元件

I/O：各種各樣的流（檔案、陣列、緩衝、管道。。。）的處理（輸入輸出）。

Channel：通道，代表一個連線，每個Client請對會對應到具體的一個Channel。

ChannelPipeline：責任鏈，每個Channel都有且僅有一個ChannelPipeline與之對應，裡面是各種各樣的Handler。

handler：用於處理出入站訊息及相應的事件，實現我們自己要的業務邏輯。

EventLoopGroup：I/O執行緒池，負責處理Channel對應的I/O事件。

ServerBootstrap：伺服器端啟動輔助物件。

Bootstrap：客戶端啟動輔助物件。

ChannelInitializer：Channel初始化器。

ChannelFuture：代表I/O操作的執行結果，通過事件機制，獲取執行結果，通過新增監聽器，執行我們想要的操作。

ByteBuf：位元組序列，通過ByteBuf操作基礎的位元組陣列和緩衝區。

2、基礎環境準備

基礎環境準備主要有三個方面：JDK安裝及環境變數設定、Maven安裝及環境變數設定、IDEA安裝及基本設定。

2.1、JDK安裝及環境變數設定

JDK下載，可以從官方現在，也可以度娘上隨便搜下載連結，最新版是JDK14，我這裡下載的是JDK8，用8還是14哪個版本無所謂，都可以，但要注意一點的是，現在從JDK的官網Oracle下載需要賬號了，沒賬號的可下不了啦，不知道在搞什麼東東。
官網下載地址：https://www.oracle.com ，截圖如下：

下載完，一路Next安裝完，在建立Java環境變數設定，[此電腦]右鍵-->[屬性]-->[高階系統設定]-->[環境變數]-->[系統變數]，截圖如下：

Java環境變數建立完畢後，在DOS視窗執行命令：java -version，測試一下是否正常

2.2、Maven安裝及環境變數設定

Maven功能很強大，但大家不用擔心、本例項中僅僅是利用其便利的jar包依賴、jar包依賴傳遞，基本上沒有任何學習成本。

jar包依賴、jar包依賴傳遞的概念如下圖，清楚明瞭，都不用多做解釋：

Maven是下載，解壓縮後，配置環境變數後就能用，不用安裝的。

下載地址https://downloads.apache.org/maven/maven-3/3.6.3/binaries/

安裝：下載壓縮包，解壓，資料夾拷貝到所想儲存的位置（如C盤根目錄）

配置環境變數，和Java的環境變數配置一樣的，建立MAVEN_HOME,指向Maven資料夾，再在path中新增進去就行，如下圖：

由於直接衝Maven的中央倉庫中自動下載jar包較慢，一般在Maven的配置檔案中，增加阿里雲的公共倉庫配置，這樣會顯著加快jar包的下載速度，如下：

上面的環境變數設定完後，通過DOS視窗中輸入命令：mvn -version 進行驗證是否成功，如下：

2.3、IDEA安裝及基本設定

IDEA的下載和安裝就不多說了，其版本分旗艦版和社群版，旗艦版收費，社群版免費，社群版不支援html、js、css等，但對於本例項，社群版就夠用了，但如果你不在乎那點銀子，可以考慮旗艦版，一步到位，萬一後面我們還要做WEB系統開發可以免得折騰。

其安裝不用多說，一路Next就行，安裝完後，在其配置裡面指定一下JDK、Maven的位置就行了，如下圖：
Maven指定：[File]-->[setting]-->[Build,Excution,Deployment]-->[Build Tools]-->[Maven]

JDK指定：[File]-->[Project Structure]-->[Project Setting]-->[Project]

3、在IDEA中建立Maven工程

新建工程

填寫包名及工程名稱

Maven配置

生成工程，自動建立Maven的依賴檔案

在pom.xml中配置Netty依賴

經過上面的步驟，我們的Maven工程就已經建立完畢，現在可以編寫Netty的第一個程式，這個程式很簡單，傳輸一個字串，雖然程式很簡單，但是已經能夠大體上反映Netty開發通訊程式的一個整體流程了。

4、Netty開發的基本流程

Netty開發的基本流程很簡潔，伺服器端和客戶端都是這個套路，如下：

Netty開發的實際過程，這是一個簡化的過程，但已經把大概流程表達出來了，綠色的代表客戶端流程、藍色的代表伺服器端流程，注意標紅的部分，見下圖：

4.1 建立客戶端類

建立Handler

首先建立Handler類，該類用於接收伺服器端傳送的資料，這是一個簡化的類，只重寫了訊息讀取方法channelRead0、捕捉異常方法exceptionCaught。

客戶端的Handler一般繼承的是SimpleChannelInboundHandler，該類有豐富的方法，心跳、超時檢測、連線狀態等等。

程式碼如下：

package com.jcj.helloworld;

import io.netty.buffer.ByteBuf;
import io.netty.channel.ChannelHandler;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.SimpleChannelInboundHandler;
import io.netty.util.CharsetUtil;

/**
 * @Auther: 江成軍
 * @Date: 2020/6/1 11:12
 * @Description: 通用handler，處理I/O事件
 */
@ChannelHandler.Sharable
public class HandlerClientHello extends SimpleChannelInboundHandler<ByteBuf>
{
    @Override
    protected void channelRead0(ChannelHandlerContext channelHandlerContext, ByteBuf byteBuf) throws Exception
    {
        /**
        * @Author 江成軍
        * @Date 2020/6/1 11:17
        * @Description  處理接收到的訊息
        **/
        System.out.println("接收到的訊息："+byteBuf.toString(CharsetUtil.UTF_8));
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception
    {
        /**
        * @Author 江成軍
        * @Date 2020/6/1 11:20
        * @Description  處理I/O事件的異常
        **/
        cause.printStackTrace();
        ctx.close();
    }
}

程式碼說明：

@ChannelHandler.Sharable,這個註解是為了執行緒安全，如果你不在乎是否執行緒安全，不加也可以。

SimpleChannelInboundHandler，這裡的型別可以是ByteBuf，也可以是String，還可以是物件，根據實際情況來。

channelRead0，訊息讀取方法，注意名稱中有個0。

ChannelHandlerContext，通道上下文，代指Channel。

ByteBuf,位元組序列，通過ByteBuf操作基礎的位元組陣列和緩衝區，因為JDK原生操作位元組麻煩、效率低，所以Netty對位元組的操作進行了封裝，實現了指數級的效能提升，同時使用更加便利。

CharsetUtil.UTF_8，這個是JDK原生的方法，用於指定位元組陣列轉換為字串時的編碼格式。

建立客戶端啟動類

客戶端啟動類根據伺服器端的IP和埠，建立連線，連線建立後，實現訊息的雙向傳輸。

程式碼較簡潔，如下：

package com.jcj.helloworld;

import com.sun.org.apache.bcel.internal.generic.ATHROW;
import io.netty.bootstrap.Bootstrap;
import io.netty.buffer.Unpooled;
import io.netty.channel.ChannelFuture;
import io.netty.channel.ChannelInitializer;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.SocketChannel;
import io.netty.channel.socket.nio.NioSocketChannel;
import io.netty.util.CharsetUtil;

import java.net.InetSocketAddress;

/**
 * @Auther: 江成軍
 * @Date: 2020/6/1 11:24
 * @Description: 客戶端啟動類
 */
public class AppClientHello
{
    private final String host;
    private final int port;

    public AppClientHello(String host, int port)
    {
        this.host = host;
        this.port = port;
    }

    public void run() throws Exception
    {
        /**
        * @Author 江成軍
        * @Date 2020/6/1 11:28
        * @Description  配置相應的引數，提供連線到遠端的方法
        **/
        EventLoopGroup group = new NioEventLoopGroup();//I/O執行緒池
        try {
            Bootstrap bs = new Bootstrap();//客戶端輔助啟動類
            bs.group(group)
                    .channel(NioSocketChannel.class)//例項化一個Channel
                    .remoteAddress(new InetSocketAddress(host,port))
                    .handler(new ChannelInitializer<SocketChannel>()//進行通道初始化配置
                    {
                        @Override
                        protected void initChannel(SocketChannel socketChannel) throws Exception
                        {
                            socketChannel.pipeline().addLast(new HandlerClientHello());//新增我們自定義的Handler
                        }
                    });

            //連線到遠端節點；等待連線完成
            ChannelFuture future=bs.connect().sync();

            //傳送訊息到伺服器端，編碼格式是utf-8
            future.channel().writeAndFlush(Unpooled.copiedBuffer("Hello World", CharsetUtil.UTF_8));

            //阻塞操作，closeFuture()開啟了一個channel的監聽器（這期間channel在進行各項工作），直到鏈路斷開
            future.channel().closeFuture().sync();

        } finally {
            group.shutdownGracefully().sync();
        }
    }

    public static void main(String[] args) throws Exception
    {
        new AppClientHello("127.0.0.1",18080).run();
    }

}

由於程式碼中已經新增了詳盡的註釋，這裡只對極個別的進行說明：

ChannelInitializer，通道Channel的初始化工作，如加入多個handler，都在這裡進行。

bs.connect().sync()，這裡的sync()表示採用的同步方法，這樣連線建立成功後，才繼續往下執行。

pipeline()，連線建立後，都會自動建立一個管道pipeline，這個管道也被稱為責任鏈，保證順序執行，同時又可以靈活的配置各類Handler，這是一個很精妙的設計，既減少了執行緒切換帶來的資源開銷、避免好多麻煩事，同時效能又得到了極大增強。

4.2 建立伺服器端類

建立Handler

和客戶端，只重寫了訊息讀取方法channelRead(注意這裡不是channelRead0)、捕捉異常方法exceptionCaught。

另外伺服器端Handler繼承的是ChannelInboundHandlerAdapter，而不是SimpleChannelInboundHandler，至於這兩者的區別，這裡贅述，大家自行百度吧。

程式碼如下：

package com.jcj.helloworld;

import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;
import io.netty.channel.ChannelHandler;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.ChannelInboundHandlerAdapter;
import io.netty.util.CharsetUtil;

/**
 * @Auther: 江成軍
 * @Date: 2020/6/1 11:47
 * @Description: 伺服器端I/O處理類
 */
@ChannelHandler.Sharable
public class HandlerServerHello extends ChannelInboundHandlerAdapter
{

    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg)  throws Exception
    {
        //處理收到的資料，並反饋訊息到到客戶端
        ByteBuf in = (ByteBuf) msg;
        System.out.println("收到客戶端發過來的訊息: " + in.toString(CharsetUtil.UTF_8));

        //寫入併傳送資訊到遠端（客戶端）
        ctx.writeAndFlush(Unpooled.copiedBuffer("你好，我是服務端，我已經收到你傳送的訊息", CharsetUtil.UTF_8));
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception
    {
        //出現異常的時候執行的動作（列印並關閉通道）
        cause.printStackTrace();
        ctx.close();
    }

}

以上程式碼很簡潔，大家注意和客戶端Handler類進行比較。

建立伺服器端啟動類

伺服器端啟動類比客戶端啟動類稍顯複雜一點，先貼出程式碼如下：

package com.jcj.helloworld;

import io.netty.bootstrap.ServerBootstrap;
import io.netty.channel.ChannelFuture;
import io.netty.channel.ChannelInitializer;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.SocketChannel;
import io.netty.channel.socket.nio.NioServerSocketChannel;

import java.net.InetSocketAddress;

/**
 * @Auther: 江成軍
 * @Date: 2020/6/1 11:51
 * @Description: 伺服器端啟動類
 */
public class AppServerHello
{
    private int port;

    public AppServerHello(int port)
    {
        this.port = port;
    }

    public void run() throws Exception
    {
        EventLoopGroup group = new NioEventLoopGroup();//Netty的Reactor執行緒池，初始化了一個NioEventLoop陣列，用來處理I/O操作,如接受新的連線和讀/寫資料
        try {
            ServerBootstrap b = new ServerBootstrap();//用於啟動NIO服務
            b.group(group)
                    .channel(NioServerSocketChannel.class) //通過工廠方法設計模式例項化一個channel
                    .localAddress(new InetSocketAddress(port))//設定監聽埠
                    .childHandler(new ChannelInitializer<SocketChannel>() {
                        //ChannelInitializer是一個特殊的處理類，他的目的是幫助使用者配置一個新的Channel,用於把許多自定義的處理類增加到pipline上來
                        @Override
                        public void initChannel(SocketChannel ch) throws Exception {//ChannelInitializer 是一個特殊的處理類，他的目的是幫助使用者配置一個新的 Channel。
                            ch.pipeline().addLast(new HandlerServerHello());//配置childHandler來通知一個關於訊息處理的InfoServerHandler例項
                        }
                    });

            //繫結伺服器，該例項將提供有關IO操作的結果或狀態的資訊
            ChannelFuture channelFuture= b.bind().sync();
            System.out.println("在" + channelFuture.channel().localAddress()+"上開啟監聽");

            //阻塞操作，closeFuture()開啟了一個channel的監聽器（這期間channel在進行各項工作），直到鏈路斷開
            channelFuture.channel().closeFuture().sync();
        } finally {
            group.shutdownGracefully().sync();//關閉EventLoopGroup並釋放所有資源，包括所有建立的執行緒
        }
    }

    public static void main(String[] args)  throws Exception
    {
        new AppServerHello(18080).run();
    }

}

程式碼說明：

EventLoopGroup，實際專案中，這裡建立兩個EventLoopGroup的例項，一個負責接收客戶端的連線，另一個負責處理訊息I/O，這裡為了簡單展示流程，讓一個例項把這兩方面的活都幹了。

NioServerSocketChannel，通過工廠通過工廠方法設計模式例項化一個channel，這個在大家還沒有能夠熟練使用Netty進行專案開發的情況下，不用去深究。

到這裡，我們就把伺服器端和客戶端都寫完了 ，如何執行呢，先在伺服器端啟動類上右鍵，點Run 'AppServerHello.main()'選單執行，見下圖：

然後，再同樣的操作，執行客戶端啟動類，就能看見效果了。

5、尾聲

本文的內容就到這裡結束了，希望本文能夠讓大家對Netty有一個整體的認識，並大概瞭解其開發流程。

Netty的功能很多，本文只是一個入門的介紹，如果大家對於Netty開發有興趣，可以關注我並給我留言，我會根據關注和留言情況，陸續再撰寫Netty實戰開發的文章。

得到肯定和正向反饋，才有繼續寫下去的願望和動力，畢竟寫這種事無鉅細的文章，還是挺費精力的。

相關文章