涵盖常用优化与高并发环境优化方案

超时时间:

客户端加入到服务端时可以设置连接超时时间,避免过长等待

  1. package option;
  2. import io.netty.bootstrap.Bootstrap;
  3. import io.netty.channel.ChannelFuture;
  4. import io.netty.channel.ChannelOption;
  5. import io.netty.channel.EventLoopGroup;
  6. import io.netty.channel.nio.NioEventLoopGroup;
  7. import io.netty.channel.socket.nio.NioSocketChannel;
  8. import io.netty.handler.logging.LoggingHandler;
  9. /* 优化 - 客户端超时时间设置 */
  10. public class TestConnectionTimeOut {
  11. public static void main(String[] args) {
  12. EventLoopGroup workGroup = new NioEventLoopGroup(1);
  13. try {
  14. Bootstrap bootstrap = new Bootstrap();
  15. bootstrap.group(workGroup)
  16. .option(ChannelOption.CONNECT_TIMEOUT_MILLIS,5000) //连接服务端的超时时间,单位毫秒
  17. .channel(NioSocketChannel.class)
  18. .handler(new LoggingHandler());
  19. ChannelFuture channelFuture = bootstrap.connect("127.0.0.1", 8888).sync();
  20. channelFuture.channel().closeFuture().sync();
  21. } catch (InterruptedException e) {
  22. e.printStackTrace();
  23. } finally {
  24. workGroup.shutdownGracefully();
  25. }
  26. }
  27. }

image.png
长时间连接不到报错

队列:

客户端连接到服务端时需要进行三次握手,当完成三次握手后,连接信息将会从半连接队列(syns queue)转移到全连接队列(accept queue),Netty服务端进行Accept时将会从全连接队列中获取数据,通过在客户端设置 ChannelOption.SO_BACKLOG 来设置全连接队列大小
如果 accpet queue 队列满了,server 将发送一 个拒绝连接的错误信息到 client
L@RZ@I@BUBE%J(V%X)TF@)J.png
Netty创建连接流程

Linux环境下还可以通过修改配置文件实现限制队列的大小:
●sync queue (半连接队列):大小通过/proc/sys/net/ipv4/tcp_max_syn_backlog指定,syncookies启用的情况下,逻辑上没有最大值限制,这个设置便被忽略
●accept queue (全连接队列):其大小通过/proc/sys/net/core/somaxconn指定,在使用listen函时,内核会根据传入的 backlog参数与系统参数,取二者的较小值

  1. package option;
  2. import http.ServerInitializer;
  3. import io.netty.bootstrap.ServerBootstrap;
  4. import io.netty.channel.ChannelFuture;
  5. import io.netty.channel.ChannelOption;
  6. import io.netty.channel.EventLoopGroup;
  7. import io.netty.channel.nio.NioEventLoopGroup;
  8. import io.netty.channel.socket.nio.NioServerSocketChannel;
  9. /**
  10. * 优化 - 服务端全连接队列
  11. */
  12. public class TestServerBlockLog {
  13. public static void main(String[] args) throws Exception {
  14. EventLoopGroup bossGroup = new NioEventLoopGroup(1);
  15. EventLoopGroup workerGroup = new NioEventLoopGroup(8);
  16. try{
  17. ServerBootstrap serverBootstrap = new ServerBootstrap();
  18. serverBootstrap.group(bossGroup,workerGroup)
  19. .option(ChannelOption.SO_BACKLOG,1024) //限制全连接队列最多能存放1024个需要accept的连接资源
  20. .channel(NioServerSocketChannel.class)
  21. .childHandler(new ServerInitializer());
  22. ChannelFuture sync = serverBootstrap.bind(6668).sync();
  23. sync.channel().closeFuture().sync(); //对关闭通道进行监听(当有关闭通道的消息时才进行监听)
  24. } finally {
  25. bossGroup.shutdownGracefully(); //关闭资源
  26. workerGroup.shutdownGracefully(); //关闭
  27. }
  28. }
  29. }

关闭Nagle算法:

拆包和粘包中提过Netty会使用Nagle算法将多次间隔较小且数据量小的数据合并成一个大的数据块进行封包发送,实际业务中该算法通常需要关闭使用
具体配置为 ChannelOption.TCP_NODELAY ,默认为 false(开启),属于SocketChannel参数

  1. ServerBootstrap.childOption(ChannelOption.TCP_NODELAY,true) 服务端设置
  2. Bootstrap.option(ChannelOption.TCP_NODELAY,true) 客户端设置

常用参数配置:

1、Netty 4.1 之前对象缓冲池默认没有开启池化,可以手动指定开启
2、在内存分配中分析过会创建不同级别的内存,如果手动指定可以避免进行计算(设置过大数值可能会造成资源浪费),如果无法确定可以通过自适应方式进行调整

  1. public NettyServer(){
  2. private EventLoopGroup bossGroup = new NioEventLoopGroup();
  3. private EventLoopGroup workGroup = new NioEventLoopGroup();
  4. private ServerBootstrap bootstrap = new ServerBootstrap();
  5. bootstrap.group(bossGroup,workGroup)
  6. .channel(NioServerSocketChannel.class)
  7. .option(ChannelOption.SO_BACKLOG,1024)
  8. //缓存区自适应,最好可以进行手动计算Bytebuf数据包大小来设置缓存区空间
  9. .option(ChannelOption.RCVBUF_ALLOCATOR, AdaptiveRecvByteBufAllocator.DEFAULT)
  10. //将缓冲对象池进行池化(Netty 4.1版本后默认启用池化功能)
  11. .option(ChannelOption.ALLOCATOR, PooledByteBufAllocator.DEFAULT)
  12. //开启日志记录
  13. .handler(new LoggingHandler(LogLevel.DEBUG))
  14. .childHandler(new ChannelInitializer<SocketChannel>() {
  15. @Override
  16. protected void initChannel(SocketChannel socketChannel) throws Exception {
  17. }}
  18. );
  19. }

优化WorkGroup执行效率:

业务耗时操作通常发生在查询数据局、IO操作、网络请求过程中,当高并发环境下需考虑使用线程组处理业务Handler执行逻辑(源码参考),在高并发环境下需要引入 Disruptor优化执行业务逻辑,添加线程组主要有两种方式:

线程组方案一:

业务 Handler 实际为 workerGroup 进行处理由于 NioEventLoopGroup 默认创建线程数仅为CPU核数X2,高并发环境下处理能力不足,因此需要手动指定其线程数,一般为平均QPS数即可
workerGroup 创建时或具体业务 Handler 处指定线程数即可
image.png

线程组方案二:

在业务逻辑处理事件中使用线程池进行操作
image.png

Disruptor :

高并发环境下线程组存在瓶颈,应使用底层为无锁的 Disruptor 执行业务逻辑,参考 Disruptor实战章节

Linux环境:

实际生产服务通常部署在 Linux 环境,为实现百万并发连接处理通常会部署多个Netty服务端或者使Netty服务端绑定多个端口,但此场景下Linux的文件句柄数限制会导致客户端连接数量达不到接收能力,因此需要进行调整
单机模拟百万连接代码参考:源码

局部文件句柄数限制:

Linux系统的文件描述符打开最大数量限制,Netty的Socket和普通文件都是由文件描述符表示,当业务为高并发环境时,需要在脚本中指定该参数的值,使用 ulimit -n 可以查看一个JVM进程中最多能查看的文件数
通过在配置文件中末尾添加新参数,例如将任何用户一个进程能打开的文件数设置为100w ,从而解决单一用户的连接数限制

  1. ulimit -n 查看当前数量限制
  2. vim /etc/security/limits.conf 编辑配置文件
  3. 添加新参数:
  4. * hard nofile 1000000
  5. * soft nofile 1000000

image.png
image.png

全局文件句柄数限制:

局部文件句柄数限制针对的是单个用户,全局文件句柄数限制针对的是全部用户一共能够访问的文件数,在高并发环境下也需要对该参数进行修改,不同Linux内核下该参数值不同
主要分为临时修改与永久修改,永久修改需要刷新内核配并进行重启

  1. cat /proc/sys/fs/file-max 查看全局文件句柄数限制
  2. echo 1000000 > /proc/sys/fs/file-max 临时修改全局文件句柄数限制(重启后失效)
  3. vim /etc/sysctl.conf 永久修改全局文件句柄数限制
  4. sudo sysctl -p 刷新内核文件
  5. 修改内容:
  6. fs:file-max=1000000

image.png
image.png
image.png
image.png