在前面两篇文章中记录了使用logstash来收集mysql的慢查询日志,然后通过kibanaweb的方式展示出来,但在生产环境中,需求会更复杂一些,而且通过logstash写正则,实在是个费时费劲的事。例如在生产环境中会有要求分析某个时间段mysql或者mongodb的慢查询日志情况;还有I/O吞吐量;这个时间段内经常执行的查询语句,http访问情况等信息;然后将分析出来的结果以图表的形式展现出来。听起来是不是有点头晕,有点高大上的感觉,其实通过packetbeat,一切将变得简单高效。本文介绍使用packetbeatelasticsearch,kibana实现这个需求。

 

操作系统版本:centos6.6 64bit

Elasticsearch版本:elasticsearch-2.1.0.tar.gz

Kibana版本:Kibana 4.2.1

Packetbeat版本:packetbeat-1.0.0-1.x86_64

Topbeat版本:topbeat-1.0.0-x86_64 topbeat其实是用来收集操作系统信息的)

 

在前两篇文章中未介绍如果安装elasticsearch和kibana,这个其实很简单,基本下载下来解压一下,稍微修改一下配置文件即可运行起来,所有就忽略了,如果有问题,可以自行百度或者bing一下。

目前packetbeat支持的网络协议有http,mysql,postgresql,redis,mongodbthriftPacketet支持pcappf_ring抓包方式,采用哪种方式进行抓包,则需要安装相应的依赖包。

 

一:下载并安装packetbeat

# yum -y install libpcap
# rpm -ivh https://download.elastic.co/beats/packetbeat/packetbeat-1.0.0-x86_64.rpm
# rpm -ivh https://download.elastic.co/beats/topbeat/topbeat-1.0.0-x86_64.rpm

二:向elasticsearch导入packetbeat模板

# curl -XPUT 
'http://192.168.1.226:9200/_template/packetbeat' -d@/etc/packetbeat/packetbeat.template.json

三:修改packetbeat配置文件

# cat /etc/packetbeat/packetbeat.yml  --server15
shipper:
 name: server15
 tags: ["server15"]
interfaces:
  device: any
  type: pcap
  buffer_size_mb: 100
protocols:
  mysql:
    ports: [3306]
output:
  elasticsearch:
    host: 192.168.1.207
    port: 9200
enabled: true
 
# cat /etc/packetbeat/packetbeat.yml  --server226
shipper:
 name: server226
 tags: ["server226"]
interfaces:
  device: eth0
  type: pcap
  buffer_size_mb: 100
 
protocols:  
  mongodb:
    ports: [37017, 38017]
    send_request: true     # index the request payload
    send_response: true    # index the response payload
    max_docs: 10           # maximum number of documents to index per request/response
    max_doc_length: 1024   # maximum document size to index
protocols:
 mysql:
    ports: [3306]
protocols:
 redis:
    ports: [6379]
 
output:
  elasticsearch:
    enabled: true
    host: 192.168.1.207
    port: 9200

四:启动packetbeat服务

# /etc/init.d/packetbeat start

五:导入packetbeat-dashboards

# git clone https://github.com/elastic/packetbeat-dashboards
# cd packetbeat-dashboards
# sh load.sh -url http://192.168.1.207:9200

六:web展示

1: 配置索引,这个在执行完load.sh脚本之后,索引会自动创建

简单使用packetbeat_ elasticsearch

2: 查看客户端的数据推送情况

简单使用packetbeat_packetbeat_02

3: 查看导入的面板,可视化视图,点击setting-objects

简单使用packetbeat_packetbeat_03

4: 图形展示,点击dashboard-load save dashboards

简单使用packetbeat_packetbeat_04

Mysql情况:

简单使用packetbeat_packetbeat_05

在有多台mysql服务的情况下,可以根据tags来区分,在搜索框中输入相应的tag,则只显示对应的数据

简单使用packetbeat_packetbeat_06

Mongodb情况

简单使用packetbeat_packetbeat_07

汇总情况:

简单使用packetbeat_packetbeat_08

更多数据演示请访问packetbeat demo网址:http://demo.elastic.co/packetbeat/

 

七:故障排错

1: 在测试过程中曾经发现mysql里面的most frequent Mysql queriesslowest mysql queries数据显示不全,像是被截断的样子,排查后发现其实是模板的问题,删除模板后重新导入即可.

简单使用packetbeat_packetbeat_09

简单使用packetbeat_ elasticsearch_10

 # curl -XDELETE 'http://192.168.1.207:9200/*'
 # curl -XPUT
 'http://192.168.1.207:9200/_template/packetbeat' -d@/etc/packetbeat/packetbeat.template.json
# cd packetbeat-dashboards
# sh load.sh -url http://192.168.1.207:9200

2: elasticsearch数据维护

搜索数据:(如果你有多个索引,可以把packetbeat-*换成对应的索引名)

# curl -XGET 'http://192.168.1.226:9200/packetbeat-*/_search?pretty'

删除数据(如果你有多个索引,可以把packetbeat-*换成对应的索引名)

# curl -XDELETE 'http://192.168.1.207:9200/packetbeat-*'