文章目录
概述
引言
解决方案
JMeter&InfluxDB集成
InfluxDB安装
安装要求
下载安装
InfluxDB配置
JMeter配置
Grafana&InfluxDB集成
安装启动
导入Dashboard模版
概述
本文我们将介绍如何使用JMeter+InfluxDB+Grafana打造压测可视化实时监控。
引言
我们很多时候在使用JMeter做性能测试，我们很难及时察看压测过程中应用的性能状况，总是需要等到测试完成后去看Report，如果是长时间压测，比如压测1~2天，那就更烦人了。
压测的时候，我们实时通过监听器 GenerateSummaryResults汇总输出，可以看到如下内容
GenerateSummaryResults汇总展示了压测中需要关注的大量信息，其中包括：Avg (Average), Min (Minimum) 、Max (Maximum)响应时间，TPS，错误率，活跃线程数等, jmeter.properties默认是30秒的统计频率，如果我们想使用小于30秒更细颗粒度的统计频率的时候，那么在控制台会有大量的输出，这个时候我们就不好观察结果了。
# jmeter.properties
# Define the following property to automatically start a summariser with that name
# (applies to non-GUI mode only)
# summariser.name=summary
#
# interval between summaries (in seconds) default 3 minutes
# summariser.interval=30
#
# Write messages to log file
# summariser.log=true
#
# Write messages to System.out
# summariser.out=true
1
2
3
4
5
6
7
8
9
10
11
12
13
另一方面，如果需要分享给其它人员，这种控制台输出方式并不是一个很友好的方式，我们需要一个简单漂亮的图形，比如HTML Dashboard，但需要等待整个测试完成。
因此，我们可以在测试计划中去除GenerateSummaryResults，把测试结果发送到数据库中持久化，这样我们就可以通过SQL查询数据库来创建展示图表。
从JMeter2.13开始，通过提供实现AbstractBackendListenerClient的类，可以使用（JDBC，JMS，Webservice，…）通过Backend Listener发送到数据库的存储实时结果。
BackendListenerGraphiteBackendListenerClient，允许将统计指标发送到Graphite
此功能提供：
实时数据
漂亮图表
能够对比2个以上的测试计划
只要JMeter产生相同的Backend，就可以存储监控数据
…
JMeter 3.2 Backend Listener中引入的 InfluxDBBackendListenerClient允使用UDP或HTTP协议将统计指标发送到InfluxDB
此功能提供：
实时数据
漂亮图表
能够对比2个以上的测试计划
能够向图表添加注释
只要JMeter产生相同的Backend，就可以存储监控数据
…
解决方案
JMeter引入Backend Listener，用于在压测过程中实时发送统计指标数据给时序数据库Influxdb,通过配置Grafana(开源的WEB可视化看板)数据源连接到Influxdb，我们就可以创建炫酷的可视化看板，并可以实时获取到测试指标数据。
相关介绍：
时序数据库：处理带时间标签（按照时间的顺序变化，即时间序列化）的数据，带时间标签的数据也称为时间序列数据。想象它就像一个sql表，其中时间是它的主键
InfluxDB：是一款用Go语言编写的开源分布式时序、事件和指标数据库，无需外部依赖。该数据库现在主要用于存储涉及大量的时间戳数据，如DevOps监控数据，APP metrics, loT传感器数据和实时分析数据。
官网地址：https://www.influxdata.com/
数据DEMO
> select* from weather
name: weather
-------------
time altitude area humidity temperature
1456386985094000000 1000 北 18 17
1456386985094000000 5000 上 20 47
1456386985094000000 5000 北 26 68
1456386985094000000 1000 广 17 83
1456387267668000000 1000 上 12 77
1456387267668000000 1000 北 16 20
1456387267668000000 5000 广 -3 66
1456387267668000000 5000 上 19 60
1
2
3
4
5
6
7
8
9
10
11
12
与传统数据库中的名词做比较
influxDB中的名词 传统数据库中的概念
database 数据库
measurement 数据库中的表
points 表里面的一行数据
InfluxDB中独有的一些概念
Point由时间戳（time）、数据（field）、标签（tags）组成。
Point属性 传统数据库中的概念
time 每个数据记录时间，是数据库中的主索引(会自动生成)
fields 各种记录值（没有索引的属性）也就是记录的值：温度， 湿度
tags 各种有索引的属性：地区，海拔
JMeter&InfluxDB集成
InfluxDB安装
安装要求
网络端口
InfluxDB默认使用以下网络端口：
TCP端口8086用于通过InfluxDB的HTTP API进行客户端-服务器通信
TCP端口8088用于RPC服务以进行备份和还原
除了上面的端口，InfluxDB还提供了多个可能需要自定义端口的插件。可以通过配置文件修改所有端口映射，配置文件位于/etc/influxdb/influxdb.conf默认位置。
网络时间协议（NTP）
InfluxDB使用主机的UTC本地时间为数据分配时间戳并用于协调目的。使用网络时间协议（NTP）同步主机之间的时间; 如果主机的时钟与NTP不同步，写入InfluxDB的数据的时间戳可能不准确。
下载安装
wget et https://dl.influxdata.com/influxdb/releases/influxdb-1.6.2.x86_64.rpm
sudo yum localinstall influxdb-1.6.2.x86_86_64.rpm
1
2
InfluxDB配置
找到InfluxDB配置文件（/etc/influxdb/influxdb.conf）
vi /etc/influxdb/influxdb.conf
1
influxdb.conf中的大多数设置都被注释掉了;所有注释掉的设置将确定为内部默认值。如果配置文件中的任何未注释的设置都会覆盖内部默认值。
请注意，本地配置文件不需要包含每个配置设置。
如果你无法找到配置文件，可以使用InfluxDB显示配置命令
Influxd config
1
Jmeter使用graphite协议去写入数据到InfluxDB，因此，需要在InfluxDB配置文件启用它，如下图所示：
[[graphite]]
enabled = true
bind-address = ":2003"
database = "jmeter"
retention-policy = ""
protocol = "tcp"
batch-size = 5000
batch-pending = 10
batch-timeout = "1s"
consistency-level = "one"
separator = "."
udp-read-buffer = 0
1
2
3
4
5
6
7
8
9
10
11
12
修改后，使用以下命令加载InfluxDB启动
有两种方法可以使用配置文件启动InfluxDB：
1.使用以下-config选项将进程指向正确的配置文件
influxd -config /etc/influxdb/influxdb.conf
1
2.将环境变量设置为INFLUXDBCONFIGPATH配置文件的路径并启动
echo $INFLUXDB_CONFIG_PATH
/etc/influxdb/influxdb.conf
influxd
1
2
3
InfluxDB操作
[root@zuozewei ~]# influx #登录数据库
Connected to http://localhost:8086 version 1.6.2
InfluxDB shell version: 1.6.2
> show databases #查看所有数据库
name: databases
name
----
_internal
> CREATE DATABASE "jmeter" #创建数据库
> use jmeter #切换数据库
Using database jmeter
> CREATE USER "admin" WITH PASSWORD 'admin' WITH ALL PRIVILEGES # 创建管理员权限的用户
1
2
3
4
5
6
7
8
9
10
11
12
JMeter配置
创建一个测试计划，并添加Backend Listener
设置InfluxDB IP及端口设置InfluxDB IP及端口
运行测试，等待几秒运行测试，等待几秒
查看JMeter是否生成错误日志查看JMeter是否生成错误日志
端口说明：
8086端口，Grafana用来从数据库取数据的端口
2003端口，JMeter往数据库发数据的端口
查看JMeter数据库下所有的表
> show measurements
name: measurements
name
----
delta
jmeter.all.a.avg
jmeter.all.a.count
jmeter.all.a.max
jmeter.all.a.min
jmeter.all.a.pct90
jmeter.all.a.pct95
jmeter.all.a.pct99
jmeter.all.h.count
jmeter.all.ko.count
jmeter.all.ok.avg
jmeter.all.ok.count
jmeter.all.ok.max
jmeter.all.ok.min
jmeter.all.ok.pct90
jmeter.all.ok.pct95
jmeter.all.ok.pct99
jmeter.test.endedT
jmeter.test.maxAT
jmeter.test.meanAT
jmeter.test.minAT
jmeter.test.startedT
total
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
OK，我们已经可以将统计指标数据成功发送到InfluxDB
Grafana&InfluxDB集成
什么是Grafana？
Grafana是一个开源软件，拥有丰富的指标仪表盘和图形编辑器，适用Graphite, Elasticsearch, OpenTSDB, Prometheus，InfluxDB。简单点说就是一套开源WEB可视化平台。
官网地址：https://grafana.com/
安装启动
下载安装
wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.2.0-1.x86_64.rpm
sudo yum localinstall grafana-4.2.0-1.x86_64.rpm
1
2
启动
service grafana-server start
Starting grafana-server (via systemctl): [ OK ]
1
2
使用浏览器打开 http://IP:3000/login，访问Grafana主页
创建InfluxDB数据源
单击save&test，确保可以连接上InfluxDB
创建dashboard
添加Graph面板
数据绑定
线程数/用户相关指标
test.minAT-Min active threads：最小活跃线程数
test.maxAT-Max active threads：最大活跃线程数
test.meanAT-Mean active threads：活跃线程数
test.startedT-Started threads：启动线程数
test.endedT-Finished threads：结束线程数
响应时间指标
.ok.count：采样器的成功响应数
.h.count：每秒点击数
.ok.min：采样器成功最短响应时间
.ok.max：采样器成功最长响应时间
.ok.avg：采样器成功平均响应时间
.ok.pct：采样器成功响应百分比
.ko.count：采样器失败响应数
.ko.min：采样器失败的响应最短时间
.ko.max：采样称失败最长响应时间
.ko.avg：采样器失败平均响应时间
.ko.pct：采样器失败响应百分比
.a.count：采样器响应数（ok.count和ko.count的总和）
.a.min：采样器最小响应时间（ok.count和ko.count的最小值）
.a.max：采样器最大响应时间（ok.count和ko.count的最大值）
.a.avg：采样器平均响应时间（ok.count和ko.count的平均值）
.a.pct：采样器响应百分比（根据和失败样本的总数计算）
Backend Listener的默认百分位设置为“90;95;99”，即百分位数为90％，95％和99％。
Graphite使用点（“.”）去拆分的元素，这可能与十进制百分位值混淆。JMeter转换任何此类值，用下划线（“ - ”）替换点（“.”）。例如，“99.9 ”变为“99_9 ”
默认情况下，JMeter发送在samplerName“all”下累计的所有采样器的指标。 如果配置了 BackendListenerSamplersList，那么JMeter还会发送匹配样本名称的指标，前提是配置 summaryOnly=true
压测中的效果
导入Dashboard模版
如果让大家去设计一个好看的Dashboard，估计大家都不太想从零开始自己设计，其实Grafana官网提供丰富的模版的库，大家可以自己上去找，然后进行二次扩展。
官网模版库：https://grafana.com/dashboards
搜索看板模版
此处，我选择下载这个下载量3000+的模版
下模版JSON文件
导入模版
选择数据源
JMeter Backend Listener设置
压测期间的动画效果至此，我初步打造的压测可视化实时监控大功告成~???
系统性能指标图示例：
采集数据（collectd）-> 存储数据（influxdb) -> 显示数据（grafana）
InfluxDB 是 Go 语言开发的一个开源分布式时序数据库，非常适合存储指标、事件、分析等数据
collectd C 语言写的一个系统性能采集工具
Grafana 是纯 Javascript 开发的前端工具，用于访问 InfluxDB，自定义报表、显示图表等
Jmeter是Apache组织开发的基于Java的压力测试工具
一、 Collectd
1. 下载安装
官网下载地址：https://collectd.org/download.shtml
tar xf collectd-version.tar.bz2
cd collectd-version
./configure
make all install
yum安装
先查询是否已安装epel-release ，没有则执行yum install epel-release–y安装；
yum install -y collectd；
2. 修改配置
vi /etc/collectd.conf
确保以下几项的注释（#）是去掉的
Hostname "192.168.1.126" 此处改为安装collectd的机器IP地址
LoadPlugin cpu
LoadPlugin memory
LoadPlugin network
LoadPlugin swap
<Plugin cpu>
ReportByCpu true
ReportByState true
ValuesPercentage true 此处启用cpu的使用率，5.7.*以上才有，低版本的不支持百分百
</Plugin>
<Plugin network>
<Server "192.168.1.222" "25826"> 此处指定将collectd收集的数据发送到的influxdb地址和端口
Interface "enp0s31f6" 通过ifconfig获取网卡的名称
</Server>
</Plugin>
3. 启动
service collectd start
二、 InfluxDB
1. 下载安装
下载地址：https://portal.influxdata.com/downloads
选择InfluxDB最新版本如：v1.4.2，点击进去后选择对应的系统版本，如：
wget https://dl.influxdata.com/influxdb/releases/influxdb-1.4.2-static_linux_amd64.tar.gz
解压：tar xvfz influxdb-1.4.2-static_linux_amd64.tar.gz
2. 修改配置
vi influxdb.conf
找到 [http] 和 [[collectd]] 、 [[graphite]]节点，enabled改为true（默认是开启的），bind-address修改绑定的IP和端口：
[http]
#Determines whether HTTP endpoint is enabled.
enabled= true
# The bindaddress used by the HTTP service.
bind-address= ":8086" 此处配置的IP和端口供grafana连接使用
[[collectd]]
enabled= true
bind-address = ":25826" 此处配置的IP和端口供collectd上传数据使用
typesdb = " /usr/share/collectd/types.db" 可在安装collectd的机器上（yum安装默认在/usr/share/collectd目录）拷贝过来，存储在指定的目录
[[graphite]]
enabled= true Jmeter通过“Backend Listener”，将测试的数据上传到InfluxDB来存储
database= "graphite" 指定jmeter的性能监控数据存储的数据库名称
bind-address= ":2003" 此处配置的IP和端口供jmeter上传数据使用
3. 启动
执行 ./influxd&
启动成功后执行./influx创建collectd 和 graphite 数据库：
同时还要执行create database graphite 创建graphite数据供jmeter上传数据使用；
看到图中会出现httpd的日志，可以修改influxdb.conf 将log-enabled 改为 false，关闭日志打印功能；
influxdb的数据量一多，会非常影响性能，可以设置只保留5天的数据：
use collectd
create retention policy "5_days" on collectd duration 5d replication 1 default
show retention policies on collectd
三、 Jmeter
1. 下载安装
下载地址：http://jmeter.apache.org/download_jmeter.cgi
可选择zip包，如“apache-jmeter-3.3.zip”，下载到windows上直接解压即可。
2. 启动
在bin目录，运行jmeter.bat，可打开图形化界面。
3. 添加测试计划
右击测试计划，指向添加，展开菜单后选择Thread(Users)，点击线程组；
右击线程组，添加http请求：
输入请求的域名或IP，添加参数
右击测试计划，选择添加→监听器→Backend Listener（用于将性能数据上传到Influxdb）
如下图填好相应参数：
启动测试后，jmeter会异步将测试的数据上传到InfluxDB；
如果要集群测试，linux上运行“./jmeter-server”，windows上运行jmeter-server.bat，客户端需要在jmeter.properties上配置remote_hosts属性，设置远程机器的IP和端口，然后客户端运行jmeter.bat，打开图形化界面，选择运行→远程启动。
四、 Grafana
1. 下载安装
下载地址：https://grafana.com/grafana/download
选择对应的系统版本，Linux通用的下载地址
wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.6.2.linux-x64.tar.gz
解压：tar -zxvf grafana-4.6.2.linux-x64.tar.gz
2. 修改配置
http_port= 3000 管理界面的访问端口
admin_user= admin 管理界面登录的用户名
admin_password= admin 管理界面登录的密码
type =mysql 可配置mysql、postgres、sqlite3，默认是sqlite3，第一次启动自动创建数据库和初始化表
host =192.168.1.222:3307 数据库的地址和端口
name =grafana 数据库名称
user =root 数据库用户名
# If the password contains # or ; you have to wrap it with triple quotes. Ex"""#password;"""
password= 123456 数据库密码
3. 启动
./grafana-server
浏览器访问：http://ip:3000 ,输入用户名和密码（默认admin）
4. 配置DataSource
登录Granfana管理页面后，点击左上角的图标，展开二级菜单，点击“Data Source”进入数据源管理页面：
点击Add datasource添加数据源：
按实际填好数据好，点击“Add”，成功添加会显示“Data source is working”
5. 配置Dashboard(系统指标)
点击左上角图标，展开二级菜单，鼠标指向Dashboards,展开右侧的菜单，点击New：
进入Newdashboard页面：
点击Graph,进入如下页面:
点击PannelTitle，然后点击Edit，出现Graph的编辑区域：
点击ToggleEdit Mode可看到生成的sql，如下：
点击Add Query，分别添加cpu的idle、system、wait数据；
在General菜单项Title属性，输入“Cpu”;
在Axes菜单项Left Y 的Unit,选择none – percent(0-100) ， 修改Y轴单位；
一个机器cpu的监控即可配置完成，如下图：
按CTRL+S，输入监控的机器IP，保存设置。
点击左上角的 “Backto dashboard”返回dashboard页面，点击“+ADDROW”，分别添加网络流量、内存、Swap等监控。
网络流量只能在ToggleEdit Mode模式下输入以上SQL，单位是datarate > bytes/sec
内存的单位是data(IEC)> bytes
Swap的单位是data(IEC)> bytes
如果监控安装collectd的机器与Grafana的机器时间有差异，可以在Time range修改：
6. 配置Dashboard（Jmeter指标）
添加一个新的Dashboards，配置名字Jmeter；
添加响应时间的Graph，Axes的unit设置为none：
添加TPS的Graph，Axes的unit设置为none：
Jmeter监控指标图示例：
