使用日志可能会让你的应用性能下降20% —— 很难相信吧,但是却是真的可能。
本文讨论一些尽可能提升日志性能的方法,
关键设置
这里通过Junit,使用不同的Log4j配置来测试。下面会展示测试结果。实际上影响log4j性能的最主要因素有三:
- immediateFlush
- bufferedIO
- asycAppender
测试的结果可能和你想的不一样。比如,使用asyncAppender会降低本地日志文件的写入性能;bufferedIO不怎么样影响性能除非日志特别多;immediateFlush设为false几乎可以使写入时间减半。怎么回事呢?我们来看!
就是缓存
上面三个都是使用缓存,他们分三级。第一级, immediateFlush=false 会开启 java.io.Writer/java.io.OutputStreamWriter 的缓存,消息到达后会缓存最长1024字节。第二级 bufferedIO=true 会把 java.io.Writer 包装成 java.io.BufferedWriter ,缓存默认大小是 1024*8 字节。第三级是 asyncAppender ,会缓存Log4j事件,默认是128条。
一般地,输出流在使用的时候其他写入会被阻塞。使用缓存后可以减少这种阻塞。但是如果本来就没有阻塞(比如在写入本地日志的时候),使用缓存反而会延迟写入。这样讲的话,使用缓存反而没提升性能。所以性能调优要看情况:你使用的是本地日志还是远程日志,什么会造成资源竞争。
测试结果
这个测试很简单,使用log4j输出2560行,看看不同的配置使用的时间如何。我们考察上面的三个因素:
每个相同的测试我们跑了三次。前三行结果是log4j的默认配置:同步+无缓存+立即刷入。第一条结果是157毫秒,我们忽略它,因为它和后两条(63毫秒,62毫秒)差距太大。
接下来三行 (63, 63, 62 milliseconds) 开启了缓存但是还是立即刷入。你可能想到这没用,立即刷入让缓存无用武之地。所以结果和前面一致还是60多毫秒。
然后我们看开启缓存后不立即刷入,也就是 immediateFlush=false,结果是(31, 32, 31 milliseconds)。差不多是前面的一半,好厉害!
如果关闭缓存不立即刷入呢?这个和上面结果一样。
接下来看异步日志。我们关闭缓存并且立即刷入,结果是 (78, 78, 94 milliseconds)。异步日志没有改善性能,反而降低了我们的性能。
最后,我们使用异步日志结合缓存打开、不立即刷入,结果是 (63, 47, 47 milliseconds) ,依然没有同步的效果好。
恩?咋回事呢?
总结
Log4j性能建议
本地日志:
- 要速度快就关闭立即写入,缓存使用默认。缺点是系统崩溃的时候缓存里面没写入文件的消息都丢失了。
- 别使用asycAppender,它实际上比同步用的时间长。因为没阻塞的时候异步逻辑比同步逻辑复杂时间更长。
远程日志: - 使用asyncAppender。只有异步队列满了才会开启和关闭一次网络连接。
- 使用缓存bufferedIO ,它会把Writer 包装成BufferedWriter .
注意: - 如果日志带来的性能下降不严重,就不要调优。调优反而会带来其他问题。
- 日志配置文件修改后一般不用重启就能生效。
- 改用远程日志的时候一定要做性能测试。
调试的时候: - 使用log4j默认设置。
- 开启缓存的时候使用tail -f 这样的命令读不到缓存中没写入的消息。