目的

通过测试，了解高并发需求的各处细节，寻找制约因素；为软件框架 和 硬件架构提供优化参考。

前述

  • 优化前，目标接口在测试环境的qps为160左右
  • 目标接口的内部逻辑
  • 处理前1：开始计时
  • 处理前2：较验IP白名单[rpc]
  • 处理：
  • 查询数据库并缓存
  • 处理后1：结束计时；提交性能报告[rpc]；提交输入输出日志[rpc]
  • 日志通过RPC，最终写入数据库
  • 目标接口特征：
  • 内部处理简单
  • 可监测点比较清晰

开始测试

  • 使用一个nio或aio的通道框架测试helloworld
  • 使用本机测试，qps约为：450万（我的电脑4c 16g）
  • 如果server端的服务线程，加个System.out.println；qps约为：20万（缩了20多倍）
  • 使用solon.boot.jlhttp，测试helloworld（单机，单实例）
  • 使用本机测试，qps 约为：5万（我的电脑4c 16g）
  • 使用域局网测试（192.168.8.118），qps约为：2万（2c 16g）
  • 测试目标接口 getAppByID （服务端为单机单实例；测试端为另一台机，走的是内网）
  • 服务端测试机情况
  • 上面有8个java服务；docker服务（memcached，redis，mysql）；
  • 初始测试
  • qps约为：160
  • 去掉三个触发器（即前后处理，相当于Spring的过滤器）
  • -不用缓存，qps约为：600
  • +memcached，qps约为：1万（memcached 在本机，应该有优势；否则可能差些）
  • +二级缓存，qps约为：1.5万
  • 从DB角度思考，如果涉及写。。。qps只能靠DB的硬件提升了（量大时，还要靠分库分表）
  • 加上触发器 + 二级缓存
  • +记性能，qps约为：750
  • +记性能 +记日志，qps约为；240（异步http提交日志；可能存储在本机会有较大负影响；sev->http->db->磁盘）
  • +记性能 +记日志 +白名单较验，qps约为：160
  • +白名单较验，qps约为：900

优化一

  • 将okhttp异步，改为线程池加同步(okhttp自带的异步，因为有融断机制性能差些)
  • +记性能 +记日志，qps约为；320（异步http提交日志；明明是异步了，为什么还这么低？因为还有IO频次）
  • +记性能 +记日志 +白名单较验，qps约为：200

优化二

  • 为白名单增加10s本地缓存
  • +白名单较验，qps约为：1.1万（::从900提到1.1万了；不同时间测值会有波动）
  • +记性能 +记日志 +白名单较验，qps约为：320

优化三

  • 性能记录，改为本地收集 + 5秒间隔提交（可称为缓冲模式）
  • +记性能 +白名单较验，qps约为：6000（应该还有优化空间）
  • +记性能 +记日志 +白名单较验，qps约为：800
  • 日志级别动态可控，可在非必要时控制日志提交量（对于业务系统，这个控制是非常之必要）
//日志级别动态切换控制
WaterClient.Config.subscribe("sponge", (set)->{
    int level = set.get("rock_log_level").getInt();
    WaterLogger.setLevel(Level.of(level));
});

优化四

  • 优化性能记录的缓冲器，改为1秒间隔提交
  • +记性能 +白名单较验，qps约为：15000（::对业务处理几乎无影响了）
  • 日志改为本地队列收集+批量打包提交（可称为管道模式）
  • +记性能 +记日志 +白名单较验
    * 空时1秒间隔，单包最多100个日志：qps约为：5000
    * 空时1秒间隔，单包最多200个日志：qps约为：10000

后续尝试

  • 实验一：
  • 对比测试：日志管道模式提交，与代理抓取模式的差异

分析总结

  • 减少IO次数，可大大提高 QPS。。。此为王道
  • 何为IO？一次IO输出过程：
  • 应用空间 -> 内核空间 -> 设备寄存器
  • 减少次数或避免IO可大大提高并发（像System.out.print...就是，都会影响高并发）
  • IO的总量有限...
  • 我们经常会看到，cpu、内存很底，但是并发压不上去。。。就是大量的IO在排队
  • 或者程序在一段时间失去了响应，过段时间又好了。。。也是大量的IO在排队
  • 业务的程序，基本上是IO密集型的
  • 不管是多线程，还是异步。。。但IO总量有限
  • 之前一直以为，异步写日志对并发没什么影响；对单次请求性能无影响，但会占用IO资源

附：

  • 工具安装
# centos 版
yum install -y https://github.com/scutse/wrk-rpm/releases/download/4.1.0/wrk-4.1.0-1.el7.centos.x86_64.rpm

# mac 版
brew install wrk
  • 测试代码
wrk -t10 -c200 -d10s --latency "http://10.0.0.79:1013/getAppByID?appID=10970"