Java网络编程Netty
- Netty高性能架构设计
- Netty概述
- 原生NIO存在的问题
- Netty官网说明
- Netty的优点
- Netty版本说明
- Netty结构设计
- 线程模型基本介绍
- 传统阻塞IO服务模型
- Reactor模式
- Reactor 模式中核心组成
- 单Reactor单线程
- 工作原理
- 方案说明
- 方案优缺点
- 单Reactor多线程
- 工作原理
- 方案说明
- 方案优缺点
- 主从Reactor多线程
- 工作原理
- 方案说明
- Scalable IO in Java 对 Multiple Reactors 的原理图解
- 方案优缺点
- Reactor模式小结
- Netty模型
- 工作原理-简单版
- 工作原理-进阶版
- 工作原理-详细版
- 快速入门案例-TCP服务
- 任务队列中的 Task 有 3 种典型使用场景
- 方案再说明
- 异步模型
- 基本介绍
- Future说明
- 工作原理示意图
- Future-Listener 机制
- 快速入门案例
- 需求
- 代码实现
- Netty核心模块组件
- Bootstrap、ServerBootstrap
- Future、ChannelFuture
- Channel
- Selector
- ChannelHandler及其实现类
- Pipeline、ChannelPipeline
- ChannelHandlerContext
- ChannelOption
- EventLoopGroup和其实现类
- Unpooled
- 应用实例-群聊系统
- 需求
- 代码实现
- Netty心跳检测机制案例
- 需求
- 代码实现
- Netty 通过 WebSocket 编程实现服务器和客户端长连接
- 需求
- 代码实现
- Google Protobuf
- 编码和解码基本介绍
- Netty的编解码机制
- Protobuf
- Protobuf基本介绍
- 快速入门实例1
- 需求
- 代码实现
- 快速入门实例2
- 需求
- 代码实现
- Netty编解码器和handler的调用机制
- 基本说明
- 编码解码器
- 解码器-ByteToMessageDecoder
- Netty的handler链的调用机制
- 需求
- 代码实现
- 编解码器
- 服务端
- 客户端
- 结论
- 解码器-ReplayingDecoder
- 其它编解码器
- Log4j整合到Netty
- TCP粘包和拆包
- 粘包和拆包基本介绍
- 粘包和拆包现象实例
- 粘包和拆包解决方案
- 具体实例
- 需求
- 代码实现
Netty高性能架构设计
Netty概述
原生NIO存在的问题
- NIO 的类库和 API 繁杂，使用麻烦：需要熟练掌握 Selector、ServerSocketChannel、SocketChannel、ByteBuffer 等。
- 需要具备其他的额外技能：要熟悉 Java 多线程编程，因为 NIO 编程涉及到 Reactor 模式，你必须对多线程和网络编程非常熟悉，才能编写出高质量的 NIO 程序。
- 开发工作量和难度都非常大：例如客户端面临断连重连、网络闪断、半包读写、失败缓存、网络拥塞和异常流的处理等等。
- JDK NIO 的 Bug：例如臭名昭著的 Epoll Bug，它会导致 Selector 空轮询，最终导致 CPU 100%。直到 JDK 1.7 版本该问题仍旧存在，没有被根本解决。
Netty官网说明
- 官网：https://netty.io/ 。
- Netty is an asynchronous event-driven network application framework for rapid development of maintainable high performance protocol servers & clients.
- Netty 是由 JBOSS 提供的一个 Java 开源框架。Netty 提供异步的、基于事件驱动的网络应用程序框架，用以快速开发高性能、高可靠性的网络 IO 程序。
- Netty 可以帮助你快速、简单的开发出一个网络应用，相当于简化和流程化了 NIO 的开发过程。
- Netty 是目前最流行的 NIO 框架，Netty 在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用，知名的 Elasticsearch 、Dubbo 框架内部都采用了 Netty。
Netty的优点
Netty 对 JDK 自带的 NIO 的 API 进行了封装，解决了上述问题：
- 设计优雅：适用于各种传输类型的统一 API 阻塞和非阻塞 Socket；基于灵活且可扩展的事件模型，可以清晰地分离关注点；高度可定制的线程模型 - 单线程，一个或多个线程池。
- 使用方便：详细记录的 Javadoc，用户指南和示例；没有其他依赖项，JDK 5（Netty 3.x）或 6（Netty 4.x）就足够了。
- 高性能、吞吐量更高：延迟更低；减少资源消耗；最小化不必要的内存复制。
- 安全：完整的 SSL/TLS 和 StartTLS 支持。
- 社区活跃、不断更新：社区活跃，版本迭代周期短，发现的 Bug 可以被及时修复，同时，更多的新功能会被加入。
Netty版本说明
- netty 版本分为 netty3.x 和 netty4.x、netty5.x。
- 因为Netty5出现重大bug，已经被官网废弃了，目前推荐使用的是Netty4.x的稳定版本。
- 目前在官网可下载的版本 netty3.x netty4.0.x 和 netty4.1.x。
- netty 下载地址： https://bintray.com/netty/downloads/netty/
Netty结构设计
线程模型基本介绍
- 不同的线程模式，对程序的性能有很大影响，目前存在的线程模型有：传统阻塞 I/O 服务模型、Reactor 模式。
- 根据 Reactor 的数量和处理资源池线程的数量不同，有 3 种典型的实现：单 Reactor 单线程、单 Reactor 多线程、主从 Reactor 多线程。
- Netty 线程模式(Netty 主要基于主从 Reactor 多线程模型做了一定的改进，其中主从 Reactor 多线程模型有多个 Reactor)。
传统阻塞IO服务模型
- 工作原理：黄色的框表示对象、蓝色的框表示线程、白色的框表示方法(API)。
- 模型特点：采用阻塞IO模式获取输入的数据；每个连接都需要独立的线程完成数据的输入，业务处理和数据返回。
- 问题分析：当并发数很大，就会创建大量的线程，占用很大系统资源；连接创建后，如果当前线程暂时没有数据可读，该线程会阻塞在read 操作，造成线程资源浪费。
Reactor模式
针对传统阻塞 I/O 服务模型的 2 个缺点，解决方案：
- 基于 I/O 复用模型：多个连接共用一个阻塞对象，应用程序只需要在一个阻塞对象等待，无需阻塞等待所有连接。当某个连接有新的数据可以处理时，操作系统通知应用程序，线程从阻塞状态返回，开始进行业务处理。
- Reactor 对应的叫法：反应器模式、分发者模式(Dispatcher)、通知者模式(notifier)。
- 基于线程池复用线程资源：不必再为每个连接创建线程，将连接完成后的业务处理任务分配给线程进行处理，一个线程可以处理多个连接的业务。
- Reactor模式的基本设计思想就是I/O 复用结合线程池，如下图：
- Reactor 模式，通过一个或多个输入同时传递给服务处理器的模式(基于事件驱动)。
- 服务器端程序处理传入的多个请求，并将它们同步分派到相应的处理线程， 因此Reactor模式也叫 Dispatcher模式。
- Reactor 模式使用IO复用监听事件，收到事件后，分发给某个线程(进程)，这点就是网络服务器高并发处理关键。
Reactor 模式中核心组成
- Reactor：Reactor 在一个单独的线程中运行，负责监听和分发事件，分发给适当的处理程序来对 IO 事件做出反应。 它就像公司的电话接线员，它接听来自客户的电话并将线路转移到适当的联系人。
- Handlers：处理程序执行 I/O 事件要完成的实际事件，类似于客户想要与之交谈的公司中的实际官员。Reactor 通过调度适当的处理程序来响应 I/O 事件，处理程序执行非阻塞操作。
单Reactor单线程
工作原理
方案说明
- Select 是前面 I/O 复用模型介绍的标准网络编程 API，可以实现应用程序通过一个阻塞对象监听多路连接请求。
- Reactor 对象通过 Select 监控客户端请求事件，收到事件后通过 Dispatch 进行分发。
- 如果是建立连接请求事件，则由 Acceptor 通过 Accept 处理连接请求，然后创建一个 Handler 对象处理连接完成后的后续业务处理。
- 如果不是建立连接事件，则 Reactor 会分发调用连接对应的 Handler 来响应。
- Handler 会完成 Read→业务处理→Send 的完整业务流程。
- 结合实例：服务器端用一个线程通过多路复用搞定所有的 IO 操作（包括连接，读、写等），编码简单，清晰明了，但是如果客户端连接数量较多，将无法支撑，前面的 NIO 群聊案例就属于这种模型。
方案优缺点
- 优点：模型简单，没有多线程、进程通信、竞争的问题，全部都在一个线程中完成。
- 缺点：性能问题，只有一个线程，无法完全发挥多核 CPU 的性能。Handler 在处理某个连接上的业务时，整个进程无法处理其他连接事件，很容易导致性能瓶颈。
- 缺点：可靠性问题，线程意外终止，或者进入死循环，会导致整个系统通信模块不可用，不能接收和处理外部消息，造成节点故障。
- 使用场景：客户端的数量有限，业务处理非常快速，比如 Redis在业务处理的时间复杂度 O(1) 的情况。
单Reactor多线程
工作原理
方案说明
- Reactor 对象通过select 监控客户端请求事件，收到事件后，通过dispatch进行分发。
- 如果建立连接请求，则由 Acceptor 通过accept 处理连接请求，然后创建一个Handler对象处理完成连接后的各种事件。
- 如果不是连接请求，则由reactor分发调用连接对应的handler 来处理。
- handler 只负责响应事件，不做具体的业务处理，通过read 读取数据后，会分发给后面的worker线程池的某个线程处理业务。
- worker 线程池会分配独立线程完成真正的业务，并将结果返回给handler。
- handler收到响应后，通过 send 将结果返回给client。
方案优缺点
- 优点：可以充分的利用多核cpu 的处理能力。
- 缺点：多线程数据共享和访问比较复杂， Reactor 处理所有的事件的监听和响应，在单线程运行，在高并发场景容易出现性能瓶颈。
主从Reactor多线程
工作原理
- 针对单 Reactor 多线程模型中，Reactor 在单线程中运行，高并发场景下容易成为性能瓶颈，可以让 Reactor 在多线程中运行。
方案说明
- Reactor主线程 MainReactor 对象通过select 监听连接事件, 收到事件后，通过Acceptor 处理连接事件。
- 当 Acceptor 处理连接事件后，MainReactor 将连接分配给SubReactor。
- SubReactor 将连接加入到连接队列进行监听,并创建 Handler 进行各种事件处理。
- 当有新事件发生时， SubReactor 就会调用对应的 Handler 处理。
- Handler 通过 read 读取数据，分发给后面的 Worker 线程处理。
- Worker 线程池分配独立的 Worker 线程进行业务处理，并返回结果。
- Handler 收到响应的结果后，再通过 send 将结果返回给 Client。
- Reactor 主线程可以对应多个Reactor 子线程, 即 MainRecator 可以关联多个SubReactor。
Scalable IO in Java 对 Multiple Reactors 的原理图解
方案优缺点
- 优点：父线程与子线程的数据交互简单职责明确，父线程只需要接收新连接，子线程完成后续的业务处理。
- 优点：父线程与子线程的数据交互简单，Reactor 主线程只需要把新连接传给子线程，子线程无需返回数据。
- 缺点：编程复杂度较高。
- 结合实例：这种模型在许多项目中广泛使用，包括 Nginx 主从 Reactor 多进程模型，Memcached 主从多线程，Netty 主从多线程模型的支持。
Reactor模式小结
- 单 Reactor 单线程：前台接待员和服务员是同一个人，全程为顾客服务。
- 单 Reactor 多线程：1 个前台接待员，多个服务员，接待员只负责接待。
- 主从 Reactor 多线程：多个前台接待员，多个服务生。
- Reactor 模式具有如下的优点：
* 响应快，不必为单个同步时间所阻塞，虽然 Reactor 本身依然是同步的。
* 可以最大程度的避免复杂的多线程及同步问题，并且避免了多线程/进程的切换开销。
* 扩展性好，可以方便的通过增加 Reactor 实例个数来充分利用 CPU 资源。
* 复用性好，Reactor 模型本身与具体事件处理逻辑无关，具有很高的复用性。Netty模型
- Netty 主要基于主从 Reactors 多线程模型（如图）做了一定的改进，其中主从 Reactor 多线程模型有多个 Reactor。
工作原理-简单版
- BossGroup 线程维护Selector , 只关注 Accecpt，当接收到 Accept 事件，获取到对应的 SocketChannel，封装成 NIOScoketChannel 并注册到 Worker 线程(事件循环)，并进行维护。
- 当 Worker 线程监听到 selector 中通道发生自己感兴趣的事件后，就进行处理(就由handler)， 注意 handler 已经加入到通道。
工作原理-进阶版
工作原理-详细版
- Netty抽象出两组线程池 BossGroup 专门负责接收客户端的连接，WorkerGroup 专门负责网络的读写。
- BossGroup 和 WorkerGroup 类型都是 NioEventLoopGroup。
- NioEventLoopGroup 相当于一个事件循环组，这个组中含有多个事件循环 ，每一个事件循环是 NioEventLoop。
- NioEventLoop 表示一个不断循环的执行处理任务的线程，每个 NioEventLoop 都有一个 Selector，用于监听绑定在其上的Socket的网络通讯。
- NioEventLoopGroup 可以有多个线程，即可以含有多个 NioEventLoop。
- 每个Boss NioEventLoop 循环执行的步骤有3步：
* 轮询 accept 事件
* 处理 accept 事件, 与client建立连接, 生成 NioScocketChannel, 并将其注册到某个 worker NIOEventLoop 上的 selector
* 处理任务队列的任务， 即 runAllTasks- 每个 Worker NIOEventLoop 循环执行的步骤：
* 轮询 read、write 事件
* 处理i/o事件，即 read、write 事件，在对应 NioScocketChannel 处理
* 处理任务队列的任务，即 runAllTasks- 每个 Worker NIOEventLoop 处理业务时，会使用 pipeline(管道)，pipeline 中包含了 channel，即通过 pipeline 可以获取到对应通道，管道中维护了很多的处理器。
快速入门案例-TCP服务
- 服务器启动类：
public class NettyServer {
public static void main(String[] args) throws Exception {
// 创建 BossGroup 和 WorkGroup
// BossGroup只处理连接请求，真正的和客户端业务处理的会交给 WorkGroup
// 两个都是无限循环
// bossGroup 和 workerGroup 含有的子线程(NioEventLoop)的个数默认实际cpu核数*2
NioEventLoopGroup bossGroup = new NioEventLoopGroup();
NioEventLoopGroup workerGroup = new NioEventLoopGroup();
try {
// 创建服务器端的启动对象，配置参数
ServerBootstrap bootstrap = new ServerBootstrap();
// 使用链式编程来进行设置
bootstrap.group(bossGroup, workerGroup)
// 使用 NioSocketChannel 作为服务器的通道实现
.channel(NioServerSocketChannel.class)
// 设置线程队列得到连接的个数
.option(ChannelOption.SO_BACKLOG, 128)
// 设置保持活动连接状态
.childOption(ChannelOption.SO_KEEPALIVE, true)
// 创建一个通道处理对象
.childHandler(new ChannelInitializer<SocketChannel>() {
// 给pipeline设置处理器
@Override
protected void initChannel(SocketChannel ch) throws Exception {
ch.pipeline().addLast(new NettyServerHandler());
}
});
System.out.println("...服务器准备好了~");
// 绑定一个端口并且同步，生成一个 ChannelFuture 对象
ChannelFuture channelFuture = bootstrap.bind(6668).sync();
// 对关闭通道进行监听
channelFuture.channel().closeFuture().sync();
} finally {
bossGroup.shutdownGracefully();
workerGroup.shutdownGracefully();
}
}
}- 服务器处理器类：
/**
* 我们自定义一个 Handler 需要继续 netty 规定好的某个 HandlerAdapter(规范)
* 这时我们自定义一个 Handler , 才能称为一个 handler
*/
public class NettyServerHandler extends ChannelInboundHandlerAdapter {
/**
* 读取数据 实际(这里我们可以读取客户端发送的消息)
* ChannelHandlerContext ctx:上下文对象, 含有 管道 pipeline , 通道 channel, 地址
* Object msg: 就是客户端发送的数据 默认 Object
*/
@Override
public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
System.out.println("server ctx = " + ctx);
// 将msg转成一个ByteBuf
ByteBuf byteBuf = (ByteBuf) msg;
System.out.println("客户端发送消息是：" + byteBuf.toString(CharsetUtil.UTF_8));
System.out.println("客户端地址：" + ctx.channel().remoteAddress());
}
@Override
public void channelReadComplete(ChannelHandlerContext ctx) throws Exception {
// writeAndFlush 是 write + flush
// 将数据写入到缓存，并刷新；一般讲，我们对这个发送的数据进行编码
ctx.writeAndFlush(Unpooled.copiedBuffer("hello, 客户端~(>^ω^<)喵", CharsetUtil.UTF_8));
}
@Override
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
ctx.close();
}
}- 客户端启动类：
public class NettyClient {
public static void main(String[] args) throws Exception {
// 客户端需要一个时间循环组
NioEventLoopGroup eventLoopGroup = new NioEventLoopGroup();
try {
// 创建客户端启动对象
Bootstrap bootstrap = new Bootstrap();
// 设置相关参数
bootstrap.group(eventLoopGroup)
.channel(NioSocketChannel.class)
.handler(new ChannelInitializer<SocketChannel>() {
@Override
protected void initChannel(SocketChannel ch) throws Exception {
ch.pipeline().addLast(new NettyClientHandler());
}
});
System.out.println("客户端 is ok ...");
// 启动客户端去连接服务器端
ChannelFuture channelFuture = bootstrap.connect("127.0.0.1", 6668).sync();
channelFuture.channel().closeFuture().sync();
} finally {
eventLoopGroup.shutdownGracefully();
}
}
}- 客户端处理器类：
public class NettyClientHandler extends ChannelInboundHandlerAdapter {
/**
* 当通道就绪就会触发该方法
*/
@Override
public void channelActive(ChannelHandlerContext ctx) throws Exception {
System.out.println("Client: " + ctx);
ctx.writeAndFlush(Unpooled.copiedBuffer("hello, 服务器: (>^ω^<)喵", CharsetUtil.UTF_8));
}
/**
* 当通道有读取事件时，会触发
*/
@Override
public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
ByteBuf byteBuf = (ByteBuf) msg;
System.out.println("服务器回复的消息:" + byteBuf.toString(CharsetUtil.UTF_8));
System.out.println("服务器的地址: " + ctx.channel().remoteAddress());
}
@Override
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
cause.printStackTrace();
ctx.close();
}
}任务队列中的 Task 有 3 种典型使用场景
- 用户程序自定义的普通任务。
ctx.channel().eventLoop().execute(() -> {
try {
TimeUnit.SECONDS.sleep(10);
ctx.writeAndFlush(Unpooled.copiedBuffer("hello, 客户端~(>^ω^<)喵 2", CharsetUtil.UTF_8));
System.out.println("channel code=" + ctx.channel().hashCode());
} catch (Exception e) {
System.out.println("发生异常" + e.getMessage());
}
});
- 用户自定义定时任务。
// 解决方案 2 : 用户自定义定时任务 -> 该任务是提交到 scheduledTaskQueue 中
ctx.channel().eventLoop().schedule(() -> {
try {
TimeUnit.SECONDS.sleep(10);
ctx.writeAndFlush(Unpooled.copiedBuffer("hello, 客户端~(>^ω^<)喵 3", CharsetUtil.UTF_8));
System.out.println("channel code=" + ctx.channel().hashCode());
} catch (Exception e) {
System.out.println("发生异常" + e.getMessage());
}
}, 1, TimeUnit.SECONDS);- 非当前 Reactor 线程调用 Channel 的各种方法。
- 例如在推送系统的业务线程里面，根据用户的标识，找到对应的 Channel 引用，然后调用 Write 类方法向该用户推送消息，就会进入到这种场景。最终的 Write 会提交到任务队列中后被异步消费。
方案再说明
- Netty 抽象出两组线程池，BossGroup 专门负责接收客户端连接，WorkerGroup 专门负责网络读写操作。
- NioEventLoop 表示一个不断循环执行处理任务的线程，每个 NioEventLoop 都有一个 selector，用于监听绑定在其上的 socket 网络通道。
- NioEventLoop 内部采用串行化设计，从消息的读取->解码->处理->编码->发送，始终由 IO 线程 NioEventLoop 负责。
* NioEventLoopGroup 下包含多个 NioEventLoop
* 每个 NioEventLoop 中包含有一个 Selector，一个 taskQueue
* 每个 NioEventLoop 的 Selector 上可以注册监听多个 NioChannel
* 每个 NioChannel 只会绑定在唯一的 NioEventLoop 上
* 每个 NioChannel 都绑定有一个自己的 ChannelPipeline异步模型
基本介绍
- 异步的概念和同步相对。当一个异步过程调用发出后，调用者不能立刻得到结果。实际处理这个调用的组件在完成后，通过状态、通知和回调来通知调用者。
- Netty 中的 I/O 操作是异步的，包括 Bind、Write、Connect 等操作会简单的返回一个 ChannelFuture。
- 调用者并不能立刻获得结果，而是通过 Future-Listener 机制，用户可以方便的主动获取或者通过通知机制获得 IO 操作结果
- Netty 的异步模型是建立在 future 和 callback 的之上的。callback 就是回调。重点说 Future，它的核心思想是：假设一个方法 fun，计算过程可能非常耗时，等待 fun返回显然不合适。那么可以在调用 fun 的时候，立马返回一个 Future，后续可以通过 Future去监控方法 fun 的处理过程(即 ： Future-Listener 机制)
Future说明
- 表示异步的执行结果, 可以通过它提供的方法来检测执行是否完成，比如检索计算等等。
- ChannelFuture 是一个接口 ： public interface ChannelFuture extends Future<Void>我们可以添加监听器，当监听的事件发生时，就会通知到监听器。
工作原理示意图
- 在使用 Netty 进行编程时，拦截操作和转换出入站数据只需要您提供 callback 或利用future 即可。这使得链式操作简单、高效, 并有利于编写可重用的、通用的代码。
- Netty 框架的目标就是让你的业务逻辑从网络基础应用编码中分离出来、解脱出来。
Future-Listener 机制
- 当 Future 对象刚刚创建时，处于非完成状态，调用者可以通过返回的 ChannelFuture 来获取操作执行的状态，注册监听函数来执行完成后的操作。
- 常见有如下操作：
* 通过 isDone 方法来判断当前操作是否完成；
* 通过 isSuccess 方法来判断已完成的当前操作是否成功；
* 通过 getCause 方法来获取已完成的当前操作失败的原因；
* 通过 isCancelled 方法来判断已完成的当前操作是否被取消；
* 通过 addListener 方法来注册监听器，当操作已完成(isDone 方法返回完成)，将会通知指定的监听器；如果 Future 对象已完成，则通知指定的监听器- 举例说明演示：绑定端口是异步操作，当绑定操作处理完，将会调用相应的监听器处理逻辑。
serverBootstrap.bind(port).addListener((ChannelFutureListener) future -> {
if(future.isSuccess()) {
System.out.println(newDate() + ": 端口["+ port + "]绑定成功!");
} else{
System.err.println("端口["+ port + "]绑定失败!");
}
});- 小结：相比传统阻塞 I/O，执行 I/O 操作后线程会被阻塞住，直到操作完成；异步处理的好处是不会造成线程阻塞，线程在 I/O 操作期间可以执行别的程序，在高并发情形下会更稳定和更高的吞吐量。
快速入门案例
需求
- Netty 服务器在 6668 端口监听，浏览器发出请求 “http://localhost:6668/”。
- 服务器可以回复消息给客户端 "Hello! 我是服务器 5 " , 并对特定请求资源进行过滤。
- 目的：Netty 可以做Http服务开发，并且理解Handler实例和客户端及其请求的关系。
代码实现
- 服务器启动类：
public class NettyHttpServer {
public static void main(String[] args) throws Exception {
NioEventLoopGroup bossGroup = new NioEventLoopGroup();
NioEventLoopGroup workerGroup = new NioEventLoopGroup();
try {
ServerBootstrap serverBootstrap = new ServerBootstrap();
serverBootstrap.group(bossGroup, workerGroup)
.channel(NioServerSocketChannel.class)
.childHandler(new ChannelInitializer<SocketChannel>() {
@Override
protected void initChannel(SocketChannel ch) throws Exception {
ch.pipeline().addLast("HttpServerCodec", new HttpServerCodec())
.addLast("NettyHttpServerHandler", new NettyHttpServerHandler());
}
});
ChannelFuture channelFuture = serverBootstrap.bind(8080).sync();
channelFuture.channel().closeFuture().sync();
} finally {
bossGroup.shutdownGracefully();
workerGroup.shutdownGracefully();
}
}
}- 服务器处理器类：
/**
* SimpleChannelInboundHandler 是 ChannelInboundHandlerAdapter 的子类
* HttpObject 客户端和服务器端相互通讯的数据被封装成HttpObject
*/
public class NettyHttpServerHandler extends SimpleChannelInboundHandler<HttpObject> {
/**
* channelRead0 读取客户端数据
*/
@Override
protected void channelRead0(ChannelHandlerContext ctx, HttpObject msg) throws Exception {
// 判断 msg 是否为 httpRequest请求
if (msg instanceof HttpRequest) {
System.out.println("msg 类型 = " + msg.getClass());
System.out.println("客户端地址：" + ctx.channel().remoteAddress());
HttpRequest httpRequest = (HttpRequest) msg;
// 获取uri
URI uri = new URI(httpRequest.uri());
if ("/favicon.ico".equals(uri.getPath())) {
System.out.println("请求了/favicon.ico不做响应");
return;
}
// 回复信息给浏览器【http协议】
ByteBuf content = Unpooled.copiedBuffer("Hello, I'm Server", CharsetUtil.UTF_8);
// 构造http响应
FullHttpResponse response = new DefaultFullHttpResponse(HttpVersion.HTTP_1_1, HttpResponseStatus.OK, content);
response.headers().set(HttpHeaderNames.CONTENT_TYPE, "text/plain");
response.headers().set(HttpHeaderNames.CONTENT_LENGTH, content.readableBytes());
// 将构建好的response返回
ctx.writeAndFlush(response);
}
}
}Netty核心模块组件
Bootstrap、ServerBootstrap
- Bootstrap 意思是引导，一个 Netty 应用通常由一个 Bootstrap 开始，主要作用是配置整个 Netty 程序，串联各个组件，Netty 中 Bootstrap 类是客户端程序的启动引导类，ServerBootstrap 是服务端启动引导类。
- 常见的方法有：
Future、ChannelFuture
- Netty 中所有的 IO 操作都是异步的，不能立刻得知消息是否被正确处理。但是可以过一会等它执行完成或者直接注册一个监听，具体的实现就是通过 Future 和 ChannelFuture，他们可以注册一个监听，当操作执行成功或失败时监听会自动触发注册的监听事件。
- 常见的方法有：
Channel
- Netty 网络通信的组件，能够用于执行网络 I/O 操作。
- 通过 Channel 可获得当前网络连接的通道的状态。
- 通过Channel 可获得 网络连接的配置参数 （例如接收缓冲区大小）。
- Channel 提供异步的网络 I/O 操作(如建立连接，读写，绑定端口)，异步调用意味着任何 I/O 调用都将立即返回，并且不保证在调用结束时所请求的 I/O 操作已完成。
- 调用立即返回一个 ChannelFuture 实例，通过注册监听器到 ChannelFuture 上，可以 I/O 操作成功、失败或取消时回调通知调用方。
- 支持关联 I/O 操作与对应的处理程序。
- 不同协议、不同的阻塞类型的连接都有不同的 Channel 类型与之对应，常用的 Channel 类型：
Selector
- Netty 基于 Selector 对象实现 I/O 多路复用，通过 Selector 一个线程可以监听多个连接的 Channel 事件。
- 当向一个 Selector 中注册 Channel 后，Selector 内部的机制就可以自动不断地查询(Select) 这些注册的 Channel 是否有已就绪的 I/O 事件（例如可读，可写，网络连接完成等），这样程序就可以很简单地使用一个线程高效地管理多个 Channel。
ChannelHandler及其实现类
- ChannelHandler 是一个接口，处理 I/O 事件或拦截 I/O 操作，并将其转发到其 ChannelPipeline(业务处理链)中的下一个处理程序。
- ChannelHandler 本身并没有提供很多方法，因为这个接口有许多的方法需要实现，方便使用期间，可以继承它的子类。
- ChannelInboundHandler 用于处理入站 I/O 事件；ChannelOutboundHandler 用于处理出站 I/O 操作。
- ChannelInboundHandlerAdapter 用于处理入站 I/O 事件；ChannelOutboundHandlerAdapter 用于处理出站 I/O 操作；ChannelDuplexHandler 用于处理入站和出站事件。
- 我们经常需要自定义一个 Handler 类去继承 ChannelInboundHandlerAdapter，然后通过重写相应方法实现业务逻辑，我们接下来看看一般都需要重写哪些方法。
Pipeline、ChannelPipeline
- ChannelPipeline 是一个 Handler 的集合，它负责处理和拦截 inbound 或者 outbound 的事件和操作，相当于一个贯穿 Netty 的链。(也可以这样理解：ChannelPipeline 是 保存 ChannelHandler 的 List，用于处理或拦截 Channel 的入站事件和出站操作)。
- ChannelPipeline 实现了一种高级形式的拦截过滤器模式，使用户可以完全控制事件的处理方式，以及 Channel 中各个的 ChannelHandler 如何相互交互。
- 在 Netty 中每个 Channel 都有且仅有一个 ChannelPipeline 与之对应，它们的组成关系如下：
- ① 一个 Channel 包含了一个 ChannelPipeline，而 ChannelPipeline 中又维护了一个由 ChannelHandlerContext 组成的双向链表，并且每个 ChannelHandlerContext 中又关联着一个 ChannelHandler。
- ② 入站事件和出站事件在一个双向链表中，入站事件会从链表 head 往后传递到最后一个入站的 handler，出站事件会从链表 tail 往前传递到最前一个出站的 handler，两种类型的 handler 互不干扰。
- 常用方法：
ChannelHandlerContext
- 保存 Channel 相关的所有上下文信息，同时关联一个 ChannelHandler 对象，即ChannelHandlerContext 中 包 含 一 个 具 体 的 事 件 处 理 器 ChannelHandler ， 同 时ChannelHandlerContext 中也绑定了对应的 pipeline 和 Channel 的信息，方便对 ChannelHandler进行调用。
- 常用方法：
ChannelOption
- Netty 在创建 Channel 实例后，一般都需要设置 ChannelOption 参数。
- ChannelOption 参数如下：
EventLoopGroup和其实现类
- EventLoopGroup 是一组 EventLoop 的抽象，Netty 为了更好的利用多核 CPU 资源，一般会有多个 EventLoop 同时工作，每个 EventLoop 维护着一个 Selector 实例。
- EventLoopGroup 提供 next 接口，可以从组里面按照一定规则获取其中一个 EventLoop来处理任务。在 Netty 服务器端编程中，我们一般都需要提供两个 EventLoopGroup，例如：BossEventLoopGroup 和 WorkerEventLoopGroup。
- 通常一个服务端口即一个 ServerSocketChannel对应一个Selector 和一个EventLoop线程。BossEventLoop 负责接收客户端的连接并将 SocketChannel 交给 WorkerEventLoopGroup 来进行 IO 处理，如下图所示：
- 常用方法：
Unpooled
- Netty 提供一个专门用来操作缓冲区(即Netty的数据容器)的工具类。
- 常用方法如下所示：
- 举例说明Unpooled 获取 Netty的数据容器ByteBuf 的基本使用：
- 案例一：
public class ByteBufCase01 {
public static void main(String[] args) {
// 创建一个ByteBuf
// 该对象包含一个数组，是一个byte[10]
// 在netty的buffer中，不需要使用flip进行反转，底层维护了 readerIndex 和 writeIndex
// 通过 readerIndex 和 writerIndex 和 capacity， 将 buffer 分成三个区域
// 0---readerIndex 已经读取的区域
// readerIndex---writerIndex 可读的区域
// writerIndex -- capacity 可写的区域
ByteBuf buffer = Unpooled.buffer(10);
for (int i = 0; i < 10; i++) {
buffer.writeByte(i);
}
System.out.println("capacity = " + buffer.capacity());
// 输出
for (int i = 0; i < buffer.capacity(); i++) {
System.out.printf("%d\t", buffer.getByte(i));
}
System.out.println();
// 输出
for (int i = 0; i < buffer.capacity(); i++) {
System.out.printf("%d\t", buffer.readByte());
}
System.out.println();
System.out.println("执行完毕");
}
}- 案例二：
public class ByteBufCase02 {
public static void main(String[] args) {
ByteBuf buffer = Unpooled.copiedBuffer("Hello,World!", Charset.forName("utf-8"));
// 使用相关方法
if (buffer.hasArray()) {
byte[] content = buffer.array();
// 将content转为字符串
System.out.println(new String(content, Charset.forName("utf-8")).trim());
System.out.println("buteBuf = " + buffer);
System.out.println("buffer.arrayOffset() = " + buffer.arrayOffset());
System.out.println("buffer.readerIndex() = " + buffer.readerIndex());
System.out.println("buffer.writerIndex() = " + buffer.writerIndex());
System.out.println("buffer.capacity() = " + buffer.capacity());
System.out.println(buffer.readBytes(0));
// System.out.println(buffer.readByte());
int len = buffer.readableBytes();
System.out.println("buffer.readableBytes() = " + len);
// 使用for循环读取各个字符
for (int i = 0; i < len; i++) {
System.out.printf("%s\t", (char) buffer.getByte(i));
}
System.out.println();
// 读取某一段buffer
System.out.println(buffer.getCharSequence(0, 4, Charset.forName("utf-8")));
System.out.println(buffer.getCharSequence(4, 6, Charset.forName("utf-8")));
}
}
}
//Hello,World!
//buteBuf = UnpooledByteBufAllocator$InstrumentedUnpooledUnsafeHeapByteBuf(ridx: 0, widx: 12, cap: 36)
//buffer.arrayOffset() = 0
//buffer.readerIndex() = 0
//buffer.writerIndex() = 12
//buffer.capacity() = 36
//EmptyByteBufBE
//buffer.readableBytes() = 12
//H e l l o , W o r l d !
//Hell
//o,Worl应用实例-群聊系统
需求
- 编写一个 Netty 群聊系统，实现服务器端和客户端之间的数据简单通讯（非阻塞），实现多人群聊。
- 服务器端：可以监测用户上线，离线，并实现消息转发功能。
- 客户端：通过channel 可以无阻塞发送消息给其它所有用户，同时可以接受其它用户发送的消息(有服务器转发得到)。
- 目的：进一步理解Netty非阻塞网络编程机制。
代码实现
- 服务端启动类：
public class GroupChatServer {
private void run() throws Exception {
NioEventLoopGroup bossGroup = new NioEventLoopGroup(1);
NioEventLoopGroup workerGroup = new NioEventLoopGroup();
ServerBootstrap serverBootstrap = new ServerBootstrap();
try {
serverBootstrap.group(bossGroup, workerGroup)
.channel(NioServerSocketChannel.class)
.option(ChannelOption.SO_BACKLOG, 128)
.childOption(ChannelOption.SO_KEEPALIVE, true)
.childHandler(new ChannelInitializer<SocketChannel>() {
@Override
protected void initChannel(SocketChannel ch) throws Exception {
ChannelPipeline pipeline = ch.pipeline();
pipeline.addLast(new StringDecoder())
.addLast(new StringEncoder())
.addLast(new GroupChatServerHandler());
}
});
System.out.println("Netty 服务器启动成功...");
ChannelFuture channelFuture = serverBootstrap.bind(PORT).sync();
channelFuture.channel().closeFuture().sync();
} finally {
bossGroup.shutdownGracefully();
workerGroup.shutdownGracefully();
}
}
public static void main(String[] args) throws Exception {
GroupChatServer chatServer = new GroupChatServer();
chatServer.run();
}
}- 服务端处理器类：
public class GroupChatServerHandler extends SimpleChannelInboundHandler<String> {
/**
* 定义一个channel组，管理所有的channel
* GlobalEventExecutor.INSTANCE 是全局的事件执行器，是一个单例
*/
private static ChannelGroup channelGroup = new DefaultChannelGroup(GlobalEventExecutor.INSTANCE);
private SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
/**
* 一旦连接，第一个被执行
* 将当前的channel加入到channelGroup
*/
@Override
public void handlerAdded(ChannelHandlerContext ctx) throws Exception {
Channel channel = ctx.channel();
// 将该客户加入聊天的信息推送给其他在线的客户端
channelGroup.writeAndFlush(getCurDate() + "【客户端】" + channel.remoteAddress() + "加入聊天\n");
channelGroup.add(channel);
}
/**
* channel处于活动状态，上线
*/
@Override
public void channelActive(ChannelHandlerContext ctx) throws Exception {
System.out.println(getCurDate() + ctx.channel().remoteAddress() + " 上线了~");
}
/**
* channel处于不活动状态，离线
*/
@Override
public void channelInactive(ChannelHandlerContext ctx) throws Exception {
System.out.println(getCurDate() + ctx.channel().remoteAddress() + " 离线了~");
}
/**
* 断开连接，将xx客户离开的信息推送给当前在线的客户端
*/
@Override
public void handlerRemoved(ChannelHandlerContext ctx) throws Exception {
Channel channel = ctx.channel();
channelGroup.writeAndFlush(getCurDate() + "【客户端】" + channel.remoteAddress() + " 离开了\n");
System.out.println("当前channelGroup的大小" + channelGroup.size());
}
@Override
protected void channelRead0(ChannelHandlerContext ctx, String msg) throws Exception {
// 获取当前的channel
Channel channel = ctx.channel();
// 遍历channelGroup，根据不同的情况，回送不同的消息
channelGroup.forEach(ch -> {
if (ch != channel) {
ch.writeAndFlush(getCurDate() + "【客户】" + channel.remoteAddress() + "发送消息：" + msg + "\n");
} else {
ch.writeAndFlush(getCurDate() + "【自己】发送了消息" + msg + "\n");
}
});
}
@Override
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
// 发送异常，关闭通道
ctx.close();
}
private String getCurDate() {
return sdf.format(new Date());
}
}- 客户端启动类：
public class GroupChatClient {
private void run() throws Exception {
NioEventLoopGroup workerGroup = new NioEventLoopGroup();
try {
Bootstrap bootstrap = new Bootstrap();
bootstrap.group(workerGroup)
.channel(NioSocketChannel.class)
.handler(new ChannelInitializer<SocketChannel>() {
@Override
protected void initChannel(SocketChannel ch) throws Exception {
ChannelPipeline pipeline = ch.pipeline();
pipeline.addLast(new StringDecoder())
.addLast(new StringEncoder())
.addLast(new GroupChatClientHandler());
}
});
ChannelFuture channelFuture = bootstrap.connect(IP, PORT).sync();
Channel channel = channelFuture.channel();
System.out.println("===========" + channel.localAddress() + "==========");
Scanner scanner = new Scanner(System.in);
while (scanner.hasNextLine()) {
String content = scanner.nextLine();
channel.writeAndFlush(content + "\r\n");
}
channelFuture.channel().closeFuture().sync();
} finally {
workerGroup.shutdownGracefully();
}
}
public static void main(String[] args) throws Exception {
GroupChatClient chatClient = new GroupChatClient();
chatClient.run();
}
}- 客户端处理器类：
public class GroupChatClientHandler extends SimpleChannelInboundHandler<String> {
@Override
protected void channelRead0(ChannelHandlerContext ctx, String msg) throws Exception {
System.out.println(msg.trim());
}
}- 测试：
Netty心跳检测机制案例
需求
- 编写一个 Netty心跳检测机制案例, 当服务器超过3秒没有读时，就提示读空闲。
- 当服务器超过5秒没有写操作时，就提示写空闲。
- 实现当服务器超过7秒没有读或者写操作时，就提示读写空闲。
代码实现
- 服务端启动类：
public class MyServer {
public static void main(String[] args) throws Exception {
NioEventLoopGroup bossGroup = new NioEventLoopGroup(1);
NioEventLoopGroup workerGroup = new NioEventLoopGroup();
try {
ServerBootstrap serverBootstrap = new ServerBootstrap();
serverBootstrap.group(bossGroup, workerGroup)
.channel(NioServerSocketChannel.class)
// 在 bossGroup 增加一个日志处理器
.handler(new LoggingHandler(LogLevel.INFO))
.childHandler(new ChannelInitializer<SocketChannel>() {
@Override
protected void initChannel(SocketChannel ch) throws Exception {
ChannelPipeline pipeline = ch.pipeline();
// 加入一个Netty提供的IdleStateHandler
// IdleStateHandler 是 Netty 提供的处理空闲状态的处理器
// long readerIdleTime：表示多长时间没有读，就会发送一个心跳检测包检测是否连接
// long writerIdleTime：表示多长时间没有写，就会发送一个心跳检测包检测是否连接
// long allIdleTime：表示多长时间没有读写，就会发送一个心跳检测包检测是否连接
// 当 IdleStateEvent 触发后，就会传递给管道的下一个handler，通过调用(触发)下一个 handler 的 userEventTiggered，
// 在该方法中去处理 IdleStateEvent（读空闲、写空间、读写空闲）
pipeline.addLast(new IdleStateHandler(13, 5, 7, TimeUnit.SECONDS))
// 加入一个对空闲检测进一步处理的handler(指定会议)
.addLast(new MyServerHandler());
}
});
ChannelFuture channelFuture = serverBootstrap.bind(6667).sync();
channelFuture.channel().closeFuture().sync();
} finally {
bossGroup.shutdownGracefully();
workerGroup.shutdownGracefully();
}
}
}- 服务端处理器类：
public class MyServerHandler extends ChannelInboundHandlerAdapter {
@Override
public void userEventTriggered(ChannelHandlerContext ctx, Object evt) throws Exception {
if (evt instanceof IdleStateEvent) {
IdleStateEvent event = (IdleStateEvent) evt;
String eventType = "";
switch (event.state()) {
case READER_IDLE:
eventType = "读空闲";
break;
case WRITER_IDLE:
eventType = "写空闲";
break;
case ALL_IDLE:
eventType = "读写空闲";
break;
default:
break;
}
System.out.println(ctx.channel().remoteAddress() + "--超时事件--" + eventType);
// 如果发生空闲，我们关闭通道
ctx.channel().close();
}
}
}Netty 通过 WebSocket 编程实现服务器和客户端长连接
需求
- Http协议是无状态的，浏览器和服务器间的请求响应一次，下一次会重新创建连接。
- 要求：实现基于webSocket的长连接的全双工的交互。
- 改变Http协议多次请求的约束，实现长连接， 服务器可以发送消息给浏览器。
- 客户端浏览器和服务器端会相互感知，比如服务器关闭了，浏览器会感知；同样浏览器关闭了，服务器会感知。
代码实现
- 服务端启动类：
public class WebsocketServer {
public static void main(String[] args) throws Exception {
WebsocketServer websocketServer = new WebsocketServer();
websocketServer.run();
}
private void run() throws Exception {
NioEventLoopGroup bossGroup = new NioEventLoopGroup();
NioEventLoopGroup workerGroup = new NioEventLoopGroup();
try {
ServerBootstrap serverBootstrap = new ServerBootstrap();
serverBootstrap.group(bossGroup, workerGroup)
.channel(NioServerSocketChannel.class)
.handler(new LoggingHandler(LogLevel.INFO))
.childHandler(new ChannelInitializer<SocketChannel>() {
@Override
protected void initChannel(SocketChannel ch) throws Exception {
ChannelPipeline pipeline = ch.pipeline();
// 因为基于http协议，所以要使用http的编解码器
pipeline.addLast(new HttpServerCodec())
// 以块方式写，添加 ChunkedWriteHandler 处理器
.addLast(new ChunkedWriteHandler())
// http数据在传输过程中是分段的，HttpObjectAggregator 就是可以将多个段聚合
// 这就是为什么当浏览器发生大量数据时，就会发送多次http请求
.addLast(new HttpObjectAggregator(8192))
// 对于 WebSocket 的数据是以帧形式传递，可以看到 WebSocketFrame 下面有六个子类
// 浏览器请求时 ws://localhost:6667/hello
// WebSocketServerProtocolHandler 核心功能是将 http 协议升级为 ws 协议，保持长连接
// 其是通过一个状态码 101
.addLast(new WebSocketServerProtocolHandler("/hello"))
// 自定义 Handler，处理业务逻辑
.addLast(new TextWebSocketFrameHandler());
}
});
ChannelFuture channelFuture = serverBootstrap.bind(8080).sync();
channelFuture.channel().closeFuture().sync();
} finally {
bossGroup.shutdownGracefully();
workerGroup.shutdownGracefully();
}
}
}- 服务端处理器类：
/**
* TextWebSocketFrame：表示一个文本帧(frame)
*/
public class TextWebSocketFrameHandler extends SimpleChannelInboundHandler<TextWebSocketFrame> {
@Override
protected void channelRead0(ChannelHandlerContext ctx, TextWebSocketFrame msg) throws Exception {
System.out.println("服务器端收到消息：" + msg.text());
// 回复浏览器消息
ctx.channel().writeAndFlush(new TextWebSocketFrame("服务器时间：" + LocalDateTime.now() + "\n" + msg.text()));
}
/**
* 当web客户端连接后，触发方法
*/
@Override
public void handlerAdded(ChannelHandlerContext ctx) throws Exception {
// id 表示唯一的值，LongText是唯一的，ShortText不是唯一的
System.out.println("handlerAdded 被调用" + ctx.channel().id().asLongText());
System.out.println("handlerAdded 被调用" + ctx.channel().id().asShortText());
}
@Override
public void handlerRemoved(ChannelHandlerContext ctx) throws Exception {
System.out.println("handlerRemoved 被调用" + ctx.channel().id().asLongText());
System.out.println("handlerRemoved 被调用" + ctx.channel().id().asShortText());
}
@Override
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
System.out.println("异常发生 " + cause.getMessage());
ctx.close();
}
}- 客户端html：
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
</head>
<body>
<form onsubmit="return false">
<textarea name="message" style="height: 300px; width: 300px;"> </textarea>
<input type="button" value="发生消息" onclick="send(this.form.message.value)" />
<textarea id="resText" style="height: 300px; width: 300px;"> </textarea>
<input type="button" value="清空内容" onclick="document.getElementById('resText').value = ''" />
</form>
<script type="text/javascript">
var socket;
if (window.WebSocket) {
socket = new WebSocket("ws://localhost:8080/hello");
var res = document.getElementById('resText');
// 相当于 channelRead0，ev 收到服务端回送的消息
socket.onmessage = function (ev) {
res.value = res.value + "\n" + ev.data;
};
// 相当于连接开启
socket.onopen = function (ev) {
res.value = "连接开启了..."
};
// 相当于连接关闭
socket.onclose = function (ev) {
res.value = res.value + "\n连接关闭了..."
}
} else {
alert("当前浏览器不支持WebSocket")
}
// 发送消息给服务端
function send(message) {
if (!window.socket) {
return;
}
if (socket.readyState === WebSocket.OPEN) {
socket.send(message);
} else {
alert("连接未开启");
}
}
</script>
</body>
</html>Google Protobuf
编码和解码基本介绍
- 编写网络应用程序时，因为数据在网络中传输的都是二进制字节码数据，在发送数据时就需要编码，接收数据时就需要解码。
- codec(编解码器) 的组成部分有两个：decoder(解码器)和 encoder(编码器)。encoder 负责把业务数据转换成字节码数据，decoder 负责把字节码数据转换成业务数据。
Netty的编解码机制
- Netty 自身提供了一些 codec(编解码器)，例如：
* StringEncoder: 对字符串数据进行编码
* ObjectDecoder，对 Java 对象进行解码- Netty 本身自带的 ObjectDecoder 和 ObjectEncoder 可以用来实现 POJO 对象或各种业务对象的编码和解码，底层使用的仍是 Java 序列化技术 , 而Java 序列化技术本身效率就不高，存在如下问题
* 无法跨语言
* 序列化后的体积太大，是二进制编码的 5 倍多
* 序列化性能太低- 引出 新的解决方案 [Google 的 Protobuf]
Protobuf
Protobuf基本介绍
- Protobuf 是 Google 发布的开源项目，全称 Google Protocol Buffers，是一种轻便高效的结构化数据存储格式，可以用于结构化数据串行化，或者说序列化。它很适合做数据存储或 RPC[远程过程调用 remote procedure call ] 数据交换格式 。
- 目前很多公司 http+json tcp+protobuf。
- 参考文档 : 语言指南。
- Protobuf 是以 message 的方式来管理数据的。
- 支持跨平台、跨语言，即[客户端和服务器端可以是不同的语言编写的] （支持目前绝大多数语言，例如 C++、C#、Java、python 等）。
- 高性能，高可靠性
- 使用 protobuf 编译器能自动生成代码，Protobuf 是将类的定义使用.proto 文件进行描述。说明，在idea 中编写 .proto 文件时，会自动提示是否下载 .ptotot 编写插件. 可以让语法高亮。
- 然后通过 protoc.exe 编译器根据.proto 自动生成.java 文件。
- protobuf 使用示意图：
快速入门实例1
需求
- 客户端可以发送一个Student PoJo 对象到服务器 (通过 Protobuf 编码) 。
- 服务端能接收Student PoJo 对象，并显示信息(通过 Protobuf 解码)。
代码实现
- 编写Student.proto
syntax = "proto3"; // 版本
option java_outer_classname = "StudentPOJO"; // 生成的外部类名，同时也是文件名
// protobuf 使用 message 管理数据
message Student { // 会在 StudentPOJO 外部类生成一个内部类 Student， 他是真正发送的 POJO 对象
// Student 类中有 一个属性 名字为 id 类型为 int32(protobuf 类型) 1 表示属性序号，不是值
int32 id = 1;
string name = 2;
}- proto文件与其它语言对应的数据类型：
- 使用protoc工具生成 StudentPOJO.java 文件
- 客户端发送消息：
- 服务端接收消息：
快速入门实例2
需求
- 客户端可以随机发送Student PoJo/ Worker PoJo 对象到服务器 (通过 Protobuf 编码) 。
- 服务端能接收Student PoJo/ Worker PoJo 对象(需要判断是哪种类型)，并显示信息(通过 Protobuf 解码)。
代码实现
- 编写MyMessage.proto：
syntax = "proto3"; // 版本
option optimize_for = SPEED; // 加快解析
option java_package = "com.netty.codec"; // 指定生成到哪个包下
option java_outer_classname = "MyDataInfo"; // 生成的外部类名，同时也是文件名
// protobuf 使用 message 管理数据
message MyMessage {
// 定义一个枚举类型
enum DataType {
StudentType = 0;
WorkerType = 1;
}
// 用 DataType 来标识传的是哪一个枚举类型
DataType data_type = 1;
// 表示每次枚举类型最多只能出现其中的一个，节省空间
oneof dataBody {
Student student = 2;
Worker worker = 3;
}
}
message Student { // 会在 StudentPOJO 外部类生成一个内部类 Student， 他是真正发送的 POJO 对象
int32 id = 1; // Student 类的属性
string name = 2;
}
message Worker {
string name = 1;
int32 age = 2;
}- 使用protoc工具生成 MyDataInfo.java 文件
- 客户端发送消息：
- 服务端接收消息：
Netty编解码器和handler的调用机制
基本说明
- Netty的组件设计：Netty的主要组件有Channel、EventLoop、ChannelFuture、ChannelHandler、ChannelPipe等。
- ChannelHandler充当了处理入站和出站数据的应用程序逻辑的容器。例如，实现ChannelInboundHandler接口（或ChannelInboundHandlerAdapter），你就可以接收入站事件和数据，这些数据会被业务逻辑处理。当要给客户端发送响应时，也可以从ChannelInboundHandler冲刷数据。业务逻辑通常写在一个或者多个ChannelInboundHandler中。ChannelOutboundHandler原理一样，只不过它是用来处理出站数据的。
- ChannelPipeline提供了ChannelHandler链的容器。以客户端应用程序为例，如果事件的运动方向是从客户端到服务端的，那么我们称这些事件为出站的，即客户端发送给服务端的数据会通过pipeline中的一系列ChannelOutboundHandler，并被这些Handler处理，反之则称为入站的。
编码解码器
- 当Netty发送或者接受一个消息的时候，就将会发生一次数据转换。入站消息会被解码：从字节转换为另一种格式（比如java对象）；如果是出站消息，它会被编码成字节。
- Netty提供一系列实用的编解码器，他们都实现了ChannelInboundHadnler或者ChannelOutboundHandler接口。在这些类中，channelRead方法已经被重写了。以入站为例，对于每个从入站Channel读取的消息，这个方法会被调用。随后，它将调用由解码器所提供的decode()方法进行解码，并将已经解码的字节转发给ChannelPipeline中的下一个ChannelInboundHandler。
解码器-ByteToMessageDecoder
- 关系继承图：
- 由于不可能知道远程节点是否会一次性发送一个完整的信息，tcp有可能出现粘包拆包的问题，这个类会对入站数据进行缓冲，直到它准备好被处理。
- 一个关于ByteToMessageDecoder实例分析
public class ToIntegerDecoder extends ByteToMessageDecoder {
@Override
protected void decode(ChannelHandlerContext ctx, ByteBuf in, List<Object> out) throws Exception {
if (in.readableBytes() >= 4) {
out.add(in.readInt());
}
}
}- 这个例子，每次入站从ByteBuf中读取4字节，将其解码为一个int，然后将它添加到下一个List中。没有更多元素可以被添加到该 List 中时，它的内容将会被发送给下一个 ChannelInboundHandler。int 在被添加到List中时，会被自动装箱为 Integer。在调用 readInt() 方法前必须验证所输入的 ByteBuf 是否具有足够的数据。
- decode 执行分析图：
Netty的handler链的调用机制
需求
- 使用自定义的编码器和解码器来说明Netty的handler 调用机制，客户端发送 Long 到服务器，服务端发送 Long 到客户端。
代码实现
编解码器
- 编码器：
public class MyLongToByteEncoder extends MessageToByteEncoder<Long> {
@Override
protected void encode(ChannelHandlerContext ctx, Long msg, ByteBuf out) throws Exception {
System.out.println("==>> MyLongToByteEncoder.encode() 被调用");
System.out.println("msg = " + msg);
out.writeLong(msg);
}
}- 解码器：
public class MyByteToLongDecoder extends ByteToMessageDecoder {
/**
* decode会根据接收到的数据，被多次调用，直到确定没有新的元素被添加到list，或者是ByteBuf没有更多的可读字节为止
* 如果list out不为空，就会将list的内容传递给下一个 ChannelInboundHandler 处理，该处理器的方法也会被调用多次
* @param ctx 上下文对象
* @param in 入站的ByteBuf
* @param out list集合，将解码后的数据传给下一个Handler
* @throws Exception
*/
@Override
protected void decode(ChannelHandlerContext ctx, ByteBuf in, List<Object> out) throws Exception {
System.out.println("==>> MyByteToLongDecoder.decode() 被调用");
if (in.readableBytes() >= 8) {
out.add(in.readLong());
}
}
}服务端
public class MyServer {
public static void main(String[] args) throws Exception {
NioEventLoopGroup bossGroup = new NioEventLoopGroup();
NioEventLoopGroup workerGroup = new NioEventLoopGroup();
try {
ServerBootstrap serverBootstrap = new ServerBootstrap();
serverBootstrap.group(bossGroup, workerGroup)
.channel(NioServerSocketChannel.class)
.childHandler(new MyServerInitializer());
ChannelFuture channelFuture = serverBootstrap.bind(6667).sync();
channelFuture.channel().closeFuture().sync();
} finally {
bossGroup.shutdownGracefully();
workerGroup.shutdownGracefully();
}
}
}
public class MyServerInitializer extends ChannelInitializer<SocketChannel> {
@Override
protected void initChannel(SocketChannel ch) throws Exception {
ChannelPipeline pipeline = ch.pipeline()
// 入站的 handler 进行解码 MyByteToLongDecoder
.addLast(new MyByteToLongDecoder())
// 出站的 handler 进行编码
.addLast(new MyLongToByteEncoder())
.addLast(new MyServerHandler());
}
}
public class MyServerHandler extends SimpleChannelInboundHandler<Long> {
@Override
protected void channelRead0(ChannelHandlerContext ctx, Long msg) throws Exception {
System.out.println("从客户端" + ctx.channel().remoteAddress() + "读取到Long" + msg);
// 给客户端回送消息
ctx.writeAndFlush(98765L);
}
@Override
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
cause.printStackTrace();
ctx.close();
}
}客户端
public class MyClient {
public static void main(String[] args) throws Exception {
NioEventLoopGroup group = new NioEventLoopGroup();
try {
Bootstrap bootstrap = new Bootstrap();
bootstrap.group(group)
.channel(NioSocketChannel.class)
.handler(new MyClientInitializer());
ChannelFuture channelFuture = bootstrap.connect("localhost", 6667);
channelFuture.channel().closeFuture().sync();
} finally {
group.shutdownGracefully();
}
}
}
public class MyClientInitializer extends ChannelInitializer<SocketChannel> {
@Override
protected void initChannel(SocketChannel ch) throws Exception {
ChannelPipeline pipeline = ch.pipeline()
// 加入一个出站的 handler 对数据进行一个编码
.addLast(new MyLongToByteEncoder())
// 加入一个入站的 handler 对数据进行一个解码
.addLast(new MyByteToLongDecoder())
// 加入一个自定义的 handler，处理业务
.addLast(new MyClientHandler());
}
}
public class MyClientHandler extends SimpleChannelInboundHandler<Long> {
@Override
protected void channelRead0(ChannelHandlerContext ctx, Long msg) throws Exception {
System.out.println("服务端ip = " + ctx.channel().remoteAddress());
System.out.println("收到服务端消息 = " + msg);
}
@Override
public void channelActive(ChannelHandlerContext ctx) throws Exception {
System.out.println("MyClientHandler 发送数据");
ctx.writeAndFlush(123456L);
/*
分析：abcdabcdabcdabcd 是 16 个字节，该处理器的前一个 handler 是 MyLongToByteEncoder
MyLongToByteEncoder 父类是 MessageToByteEncoder
父类 MessageToByteEncoder 中
public void write(ChannelHandlerContext ctx, Object msg, ChannelPromise promise) throws Exception {
ByteBuf buf = null;
try {
// 判断当前msg是不是应该处理的类型，如果是就处理，否则就跳过、交给下一个处理器处理
if (acceptOutboundMessage(msg)) {
@SuppressWarnings("unchecked")
I cast = (I) msg;
buf = allocateBuffer(ctx, cast, preferDirect);
try {
encode(ctx, cast, buf);
} finally {
ReferenceCountUtil.release(cast);
}
if (buf.isReadable()) {
ctx.write(buf, promise);
} else {
buf.release();
ctx.write(Unpooled.EMPTY_BUFFER, promise);
}
buf = null;
} else {
ctx.write(msg, promise);
}
} catch (EncoderException e) {
throw e;
} catch (Throwable e) {
throw new EncoderException(e);
} finally {
if (buf != null) {
buf.release();
}
}
}
*/
// // 因此我们在编写 Encoder 时，要注意传入的数据类型和处理的数据类型一致
// ctx.writeAndFlush(Unpooled.copiedBuffer("abcdabcdabcdabcd", CharsetUtil.UTF_8));
}
}- 结果输出：
* 服务端
==>> MyByteToLongDecoder.decode() 被调用
从客户端/127.0.0.1:50708读取到Long123456
==>> MyLongToByteEncoder.encode() 被调用
msg = 98765
* 客户端
MyClientHandler 发送数据
==>> MyLongToByteEncoder.encode() 被调用
msg = 123456
==>> MyByteToLongDecoder.decode() 被调用
服务端ip = localhost/127.0.0.1:6667
收到服务端消息 = 98765结论
- 不论解码器handler 还是 编码器handler，即接收的消息类型必须与待处理的消息类型一致，否则该handler不会被执行。
- 在解码器进行数据解码时，需要判断缓存区(ByteBuf)的数据是否足够 ，否则接收到的结果会期望结果可能不一致。
解码器-ReplayingDecoder
public abstract class ReplayingDecoder<S> extends ByteToMessageDecoder- ReplayingDecoder扩展了ByteToMessageDecoder类，使用这个类，我们不必调用readableBytes()方法。参数S指定了用户状态管理的类型，其中Void代表不需要状态管理。
public class MyByteToLongDecoder2 extends ReplayingDecoder<Void> {
/**
* decode会根据接收到的数据，被多次调用，直到确定没有新的元素被添加到list，或者是ByteBuf没有更多的可读字节为止
* 如果list out不为空，就会将list的内容传递给下一个 ChannelInboundHandler 处理，该处理器的方法也会被调用多次
*
* @param ctx 上下文对象
* @param in 入站的ByteBuf
* @param out list集合，将解码后的数据传给下一个Handler
* @throws Exception
*/
@Override
protected void decode(ChannelHandlerContext ctx, ByteBuf in, List<Object> out) throws Exception {
System.out.println("==>> MyByteToLongDecoder2.decode() 被调用");
// ReplayingDecoder 不需要判断数据足够读取，其内部会处理
out.add(in.readLong());
}
}- 应用实例：使用ReplayingDecoder 编写解码器，对前面的案例进行简化。
- ReplayingDecoder使用方便，但它也有一些局限性：
* 并不是所有的 ByteBuf 操作都被支持，如果调用了一个不被支持的方法，将会抛出一个 UnsupportedOperationException
* ReplayingDecoder 在某些情况下可能稍慢于 ByteToMessageDecoder，例如网络缓慢并且消息格式复杂时，消息会被拆成了多个碎片，速度变慢其它编解码器
- LineBasedFrameDecoder：这个类在Netty内部也有使用，它使用行尾控制字符（\n或者\r\n）作为分隔符来解析数据。
- DelimiterBasedFrameDecoder：使用自定义的特殊字符作为消息的分隔符。
- HttpObjectDecoder：一个HTTP数据的解码器。
- LengthFieldBasedFrameDecoder：通过指定长度来标识整包消息，这样就可以自动的处理黏包和半包消息。
Log4j整合到Netty
- 在Maven 中添加对Log4j的依赖 在 pom.xml。
<dependency>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
<version>1.2.17</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-api</artifactId>
<version>1.7.25</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>1.7.25</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-simple</artifactId>
<version>1.7.25</version>
<scope>test</scope>
</dependency>- 配置 Log4j , 在 resources/log4j.properties
log4j.rootLogger=DEBUG, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=[%p] %C{1} - %m%n
TCP粘包和拆包
粘包和拆包基本介绍
- TCP是面向连接的，面向流的，提供高可靠性服务。收发两端（客户端和服务器端）都要有一一成对的socket，因此，发送端为了将多个发给接收端的包，更有效的发给对方，使用了优化方法（Nagle算法），将多次间隔较小且数据量小的数据，合并成一个大的数据块，然后进行封包。这样做虽然提高了效率，但是接收端就难于分辨出完整的数据包了，因为面向流的通信是无消息保护边界的。
- 由于TCP无消息保护边界, 需要在接收端处理消息边界问题，也就是我们所说的粘包、拆包问题, 看一张图：
假设客户端分别发送了两个数据包D1和D2给服务端，由于服务端一次读取到字节数是不确定的，故可能存在以下四种情况： - 服务端分两次读取到了两个独立的数据包，分别是D1和D2，没有粘包和拆包；
- 服务端一次接受到了两个数据包，D1和D2粘合在一起，称之为TCP粘包；
- 服务端分两次读取到了数据包，第一次读取到了完整的D1包和D2包的部分内容，第二次读取到了D2包的剩余内容，这称之为TCP拆包；
- 服务端分两次读取到了数据包，第一次读取到了D1包的部分内容D1_1，第二次读取到了D1包的剩余部分内容D1_2和完整的D2包。
粘包和拆包现象实例
在编写Netty 程序时，如果没有做处理，就会发生粘包和拆包的问题：
- 服务端：
public class MyServer {
public static void main(String[] args) throws Exception {
NioEventLoopGroup bossGroup = new NioEventLoopGroup();
NioEventLoopGroup workerGroup = new NioEventLoopGroup();
try {
ServerBootstrap serverBootstrap = new ServerBootstrap();
serverBootstrap.group(bossGroup, workerGroup)
.channel(NioServerSocketChannel.class)
.childHandler(new ChannelInitializer<SocketChannel>() {
@Override
protected void initChannel(SocketChannel ch) throws Exception {
ch.pipeline().addLast(new MyServerHandler());
}
});
ChannelFuture channelFuture = serverBootstrap.bind(6667).sync();
channelFuture.channel().closeFuture().sync();
} finally {
bossGroup.shutdownGracefully();
workerGroup.shutdownGracefully();
}
}
}
public class MyServerHandler extends SimpleChannelInboundHandler<ByteBuf> {
private int count;
@Override
protected void channelRead0(ChannelHandlerContext ctx, ByteBuf msg) throws Exception {
byte[] bytes = new byte[msg.readableBytes()];
msg.readBytes(bytes);
String message = new String(bytes, Charset.forName("utf-8"));
System.out.println("服务端接收到的数据 = " + message);
System.out.println("服务端接收到的消息量 = " + (++this.count));
ByteBuf byteBuf = Unpooled.copiedBuffer(UUID.randomUUID().toString()+ "\n", Charset.forName("utf-8"));
ctx.writeAndFlush(byteBuf);
}
@Override
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
cause.printStackTrace();
ctx.close();
}
}- 客户端：
public class MyClient {
public static void main(String[] args) throws Exception {
NioEventLoopGroup group = new NioEventLoopGroup();
try {
Bootstrap bootstrap = new Bootstrap();
bootstrap.group(group)
.channel(NioSocketChannel.class)
.handler(new ChannelInitializer<SocketChannel>() {
@Override
protected void initChannel(SocketChannel ch) throws Exception {
ch.pipeline().addLast(new MyClientHandler());
}
});
ChannelFuture channelFuture = bootstrap.connect("localhost", 6667);
channelFuture.channel().closeFuture().sync();
} finally {
group.shutdownGracefully();
}
}
}
public class MyClientHandler extends SimpleChannelInboundHandler<ByteBuf> {
private int count;
@Override
public void channelActive(ChannelHandlerContext ctx) throws Exception {
for (int i = 0; i < 10; i++) {
ByteBuf byteBuf = Unpooled.copiedBuffer("Hello,Server" + i + "\n", Charset.forName("utf-8"));
ctx.writeAndFlush(byteBuf);
}
}
@Override
protected void channelRead0(ChannelHandlerContext ctx, ByteBuf msg) throws Exception {
byte[] bytes = new byte[msg.readableBytes()];
msg.readBytes(bytes);
String message = new String(bytes, Charset.forName("utf-8"));
System.out.println("客户端接收到的数据 = " + message);
System.out.println("服务端接收到的消息量 = " + (++this.count));
}
@Override
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
cause.printStackTrace();
ctx.close();
}
}
粘包和拆包解决方案
- 使用自定义协议 + 编解码器 来解决；
- 关键就是要解决 服务器端每次读取数据长度的问题, 这个问题解决，就不会出现服务器多读或少读数据的问题，从而避免的TCP 粘包、拆包 。
具体实例
需求
- 要求客户端发送 5 个 Message 对象, 客户端每次发送一个 Message 对象。
- 服务器端每次接收一个Message，分5次进行解码， 每读取到 一个Message , 会回复一个Message 对象 给客户端。
代码实现
- 定义消息协议
@Data
@Accessors(chain = true)
public class MessageProtocol {
private int len;
private byte[] content;
}- 定义编码器：
public class MyMessageEncoder extends MessageToByteEncoder<MessageProtocol> {
@Override
protected void encode(ChannelHandlerContext ctx, MessageProtocol msg, ByteBuf out) throws Exception {
System.out.println("MyMessageEncoder.encode() 被调用");
out.writeInt(msg.getLen());
out.writeBytes(msg.getContent());
}
}- 定义解码器：
public class MyMessageDecoder extends ReplayingDecoder<Void> {
@Override
protected void decode(ChannelHandlerContext ctx, ByteBuf in, List<Object> out) throws Exception {
System.out.println("MyMessageDecoder.decode() 被调用");
int len = in.readInt();
byte[] content = new byte[len];
in.readBytes(content);
val messageProtocol = new MessageProtocol()
.setContent(content)
.setLen(len);
out.add(messageProtocol);
}
}- 服务端：
- 客户端：
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
