在使用netty 的时候,发现让单机的支持量加大的时候,内存也随着程序的运行一直增长,原因就是因为ByteBuf对象的创建方式不够合理。现做简单的分析和整理:
ByteBuf是netty中提供的一种数据结构,经过查看源代码发现,创建ByteBuf对象主要有两种方式:
UnpooledByteBufAllocator:默认的创建方式
PooledByteBufAllocator:不是默认的,可以重复利用之前分配的内存空间。
这两个类,都是AbstractByteBufAllocator的子类,
AbstractByteBufAllocator实现了一个接口,叫做ByteBufAllocator。
在使用默认的UnpooledByteBufAllocator的方式创建ByteBuf的时候,单台24核CPU的服务器,16G内存,刚启动时候,10000个长连接,每隔几秒就发一条群组消息,内存占到10G多点,但随着系统的运行,内存不断增长,直到整个系统内存溢出挂掉。
把UnpooledByteBufAllocator换成PooledByteBufAllocator,内存使用量机器能维持在一个连接占用0.9-1M之间,经常长期的运行测试,发现都能维持在这个数量。
使用方法如下:
ServerBootstrap b = new ServerBootstrap(); b.group(bossGroup, workerGroup) .channel(NioServerSocketChannel.class) .childHandler(createInitializer()) .option(ChannelOption.SO_BACKLOG, 1024) .option(ChannelOption.SO_RCVBUF, 1024*256) .option(ChannelOption.SO_SNDBUF, 1024*256) .option(ChannelOption.ALLOCATOR, PooledByteBufAllocator.DEFAULT) .childOption(ChannelOption.ALLOCATOR, PooledByteBufAllocator.DEFAULT) .childOption(ChannelOption.SO_KEEPALIVE, true);
另外ChannelOption中的参数也有很多可以优化的。
另外发现了一片类似问题的博客。
http://blog.csdn.net/jiangguilong2000/article/details/39501541
Netty5.0的功能也是越来越强大,所以直接就把原来的3.6的版本系统直接升级到了5.0的,需要说明的是Netty5.0一定要配合JDK7 64位才能表现良好。在学习和使用Netty5.0中发现使用的Reactor线程模型,能使得对CPU的利用达到饱和状态,是并发编程的首选。
关于Netty5的一些新特性,也看到有人整理的资料,转载一下:
http://www.oschina.net/translate/netty-4-0-new-and-noteworthy
http://ju.outofmemory.cn/entry/75941