通过上一篇 监控和管理生产环境spring boot actuator 我们可以知道可以通过boot集成的actuator插件来监控并管理服务的运行状况,处理由于某种不规范的操作,导致短时间内cpu内存暴增,通过log文件有时很难定位出现问题的环节。遇到这样的问题，除了通知运维同学通过jmap或jcmd指令导出jvm heap dump(堆转存文件)文件快速定位问题以外,如果我们的服务仍然可以正常工作的话,还可以通过actuator为我们提供的jvm heap dump接口来导出jvm heap dump文件。
ID | 描述 | 敏感（Sensitive） |
loggers | 显示和修改配置的loggers,比较简单,亲自调用看下接口信息即可 | false |
heapdump | dump 包含应用的 JVM 堆信息 | true |
heapdump
第一步:下载heapdum文件以及配置根路劲操作
接口样例:http://localhost:8060/heapdump
当然,也可以进行设置监控服务访问根路径(如果不设置默认直接ip+端口+/监控接口id)访问即可。
则我们访问所有的监控服务接口路劲为: http://localhost:8060/actuator/heapdump
开发环境可以直接直接在浏览器地址栏中粘贴上面url信息进行下载heapdump文件即可。
注意:开发、测试以及生产环境端口可能有所不同,优先取决于我们启动boot jar服务指令command指令后面的--server.port参数
由于测试以及生产环境无法通过外网接口通过浏览器下载heap dump文件,所以我们可以直接通过curl命令直接调用接口进行下载我们
所需的接口文件。
以下为curl指令参数详情信息。
-A/--user-agent <string> 设置用户代理发送给服务器-b/--cookie<name=string/file> cookie字符串或文件读取位置-c/--cookie-jar <file> 操作结束后把cookie写入到这个文件中-C/--continue-at 断点续转-D/--dump-header <file> 把header信息写入到该文件中-e/--referer 来源网址-f/--fail 连接失败时不显示http错误-o/--output 把输出写到该文件中-O/--remote-name 把输出写到该文件中，保留远程文件的文件名-r/--range检索来自HTTP/1.1或FTP服务器字节范围-s/--silent 静音模式。不输出任何东西-T/--upload-file <file> 上传文件-u/--user 设置服务器的用户和密码-w/--write-out [format] 什么输出完成后-x/--proxy 在给定的端口上使用HTTP代理-#/--progress-bar 进度条显示当前的传送状态
这里-o(小写)与-O(大写)是有区别的
-o(小写):我们将接口流文件的内容写入指定文件中,也就是我们需要指定文件名称。
例如:
可以使用curl的内置option:-o(小写)保存网页
$ curl -o linux.html http://
执行完成后会显示如下界面，显示100%则表示保存成功
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed100 79684 0 79684 0 0 3437k 0 --:--:-- --:--:-- --:--:-- 7781k
-O(大写):我们需要确保下载的url地址要具体到某个文件不然抓不下来。
例如:
# curl -O http://www.linux.com/hello.sh
由于我们是下载dump文件未指定到具体文件,是以文件流的形式进行下载的,所以我们需要使用-o(小写)参数进行下载接收流文件。
下载地址:
curl -o xxx.zip http://${host}:${port}/heapdump ### xxx.zip后缀可以任意指定常规的压缩包后缀即可,如:tar.gz/zip/gzip
第二步:下载heap dump文件分析工具
jhat 是JDK自带的用于分析JVM Heap Dump文件的工具，不用另外安装,使用下面的命令可以将堆文件的分析结果以HTML网页的形式进行展示。但分析起来不够友好。
jhat
1:可以参考使用IBM HeapAnalyzer工具,下载 ha457.jar 直接在本地执行 java -Xmx2g -jar ha*.jar 指令即可。通过Analysis view 可以分析看到dump文件中目前存在的大对象。
但IBM HeapAnalyzer工具在官网上描述已不在进行维护开发,建议我们结合使用Eclipse Memory Analyzer Tool (MAT) 与 IBM DTFJ Extension。参考:IBM HeapAnalyzer
2:下载eclipse mat工具结合IBM DTFJ Extension 参考: IBM Memory Analyzer Tool (MAT)
Overview
Overview视图，即概要界面，显示了概要的信息，并展示了MAT常用的一些功能。
- Details 显示了一些统计信息，包括整个堆内存的大小、类（Class）的数量、对象（Object）的数量、类加载器（Class Loader)的数量。
- Biggest Objects by Retained Size 使用饼图的方式直观地显示了在JVM堆内存中最大的几个对象，当光标移到饼图上的时候会在左边Inspector和Attributes窗口中显示详细的信息。
- Actions 这里显示了几种常用到的操作，算是功能的快捷方式，包括 Histogram、Dominator Tree、Top Consumers、Duplicate Classes，具体的含义和用法见下面；
- Reports 列出了常用的报告信息，包括 Leak Suspects和Top Components，具体的含义和内容见下；
- Step By Step 以向导的方式引导使用功能。
Histogram
直方图，可以查看每个类的实例（即对象）的数量和大小。
Dominator Tree
支配树，列出Heap Dump中处于活跃状态中的最大的几个对象，默认按 retained size进行排序，因此很容易找到占用内存最多的对象。
OQL
MAT提供了一个对象查询语言（OQL），跟SQL语言类似，将类当作表、对象当作记录行、成员变量当作表中的字段。通过OQL可以方便快捷的查询一些需要的信息，是一个非常有用的工具。
Thread Overview
此工具可以查看生成Heap Dump文件的时候线程的运行情况，用于线程的分析。
Run Expert System Test
可以查看分析完成的HTML形式的报告，也可以打开已经产生的分析报告文件，子菜单项如下图所示：
- 常用的主要有Leak Suspects和Top Components两种报告： Open Query Browser提供了在分析过程中用到的工具，通常都集成在了右键菜单中，在后面具体举例分析的时候会做详细的说明。如下图：这里仅针对在 Overview 界面中的 Acations中列出的两项进行说明： Find Object by address通过十六进制的地址查找对应的对象，见下图：一般我们排查生产环境大对象的定位是非常关键的,我们可以从下面这张图中展示出来:
- Top Consumers 按类、类加载器和包分别进行查询，并以饼图的方式列出最大的几个对象。菜单打开方式如下：
- Duplicate Classes 列出被加载多次的类，结果按类加载器进行分组，目标是加载同一个类多次被类加载器加载。使用该工具很容易找到部署应用的时候使用了同一个库的多个版本。菜单打开方式如下图：
- Leak Suspects 可以说是非常常用的报告了，该报告分析了 Heap Dump并尝试找出内存泄漏点，最后在生成的报告中对检测到的可疑点做了详细的说明；
- Top Components 列出占用总堆内存超过1%的对象。
