filebeat对接kafka认证 filebeat和kafka

摘要

顾名思义ELK+Kafka+Filebeat是由Elasticsearch，Logstash，Kibana，Kafka以及Filebeat几大组件构成的一个基于web页面的日志分析工具。

日志分析是运维工程师解决系统故障，发现问题的主要手段。日志包含多种类型，包括程序日志，系统日志以及安全日志等。通过对日志分析，预发故障的发生，又可以在故障发生时，寻找到蛛丝马迹，快速定位故障点。及时解决。

一、组件介绍

1.1、Elasticsearch

是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便

1.2、Logstash

主要是用来日志的搜索、分析、过滤日志的工具。用于管理日志和事件的工具，你可以用它去收集日志、转换日志、解析日志并将他们作为数据提供给其它模块调用，例如搜索、存储等

1.3、Kibana

是一个优秀的前端日志展示框架，它可以非常详细的将日志转化为各种图标，为用户提供强大的数据可视化支持，它能够搜索、展示存储在Elasticsearch中索引数据。使用它可以很方便的使用图表、表格、地图展示和分析数据

1.4、Kafka

数据缓冲队列。作为消息队列解耦了处理过程，同时提高了可扩展性。具有峰值处理能力，使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃

• 发布和订阅记录流，类似于消息队列或企业消息传递系统
• 以容错持久的方式存储记录流
• 处理记录发生的流

1.5、filebeat

隶属于Beats，轻量级数据收集引擎。基于原先Logstash-forwarder的源码改造出来。换句话说：Filebeat就是新版的Logstash-forwarder，也会是ELK Stack在Agent的第一选择，目前Beats包含四种工具：

• Packetbeat（搜集网络流量数据）
• Metricbeat（搜集系统、进程和文件系统级别的CPU和内存使用情况等数据）
• Filebeat（搜集文件系统）
• Winlogbeat（搜集Windows事件日志数据）

二、环境介绍

主机名	IP地址	系统版本	安装软件
master	20.0.0.10	Centos7.4	Elasticsearch/zookeeper/kafka/Logstash/kibana
node1	20.0.0.20		Elasticsearch/zookeeper/kafka
node2	20.0.0.30		Elasticsearch/zookeeper/kafka
node3	20.0.0.40		Filebeat

三、版本说明

jdk:1.8
Elasticsearch: 6.5.4
Logstash: 6.5.4
Kibana: 6.5.4
Kafka: 2.11.1
Filebeat: 6.5.4
相应的版本最好下载对应的插件

四、搭建架构

相关地址：

官网地址：https://www.elastic.co

官网搭建：https://www.elastic.co/guide/index.html

五、实施部署

下载并上传软件包到对应机器上

5.1、Elasticsearch集群部署

5.1.1、基本配置（四台节点都要设置）

1 修改主机名
 2 [root@server1 ~]# hostnamectl set-hostname master
 3 [root@server2 ~]# hostnamectl set-hostname node1
 4 [root@server3 ~]# hostnamectl set-hostname node2
 5 [root@server4 ~]# hostnamectl set-hostname node3
 6 
 7 关闭防火墙和核心防护
 8 [root@master ~]# systemctl stop firewalld.service     #master上演示
 9 [root@master ~]# setenforce 0
10 
11 添加映射
12 [root@master ~]# vi /etc/hosts     #master上演示
13 20.0.0.10   master
14 20.0.0.20   node1
15 20.0.0.30   node2
16 20.0.0.40   node3

5.1.2、安装配置jdk（下面的操作在master、node1和node2上配置，master上演示）

1 解压缩
 2 [root@master ~]# tar zxf jdk-8u91-linux-x64.tar.gz -C /usr/local/
 3 
 4 改文件名
 5 [root@master ~]# mv /usr/local/jdk1.8.0_91/ /usr/local/java
 6 
 7 环境变量
 8 [root@master ~]# echo '
 9 JAVA_HOME=/usr/local/java
10 PATH=$JAVA_HOME/bin:$PATH
11 export JAVA_HOME PATH
12 ' >> /etc/profile.d/java.sh
13 
14 执行脚本
15 [root@master ~]# source /etc/profile.d/java.sh
16 
17 查看java版本
18 [root@master ~]# java -version
19 java version "1.8.0_91"
20 Java(TM) SE Runtime Environment (build 1.8.0_91-b14)
21 Java HotSpot(TM) 64-Bit Server VM (build 25.91-b14, mixed mode)

5.1.3、安装配置ES

①创建运行ES的普通用户

1 [root@master ~]# useradd elsearch
2 [root@master ~]# echo "123456" | passwd --stdin "elsearch"

②安装配置ES

1 解压缩
 2 [root@master ~]# tar zxf elasticsearch-6.5.4.tar.gz -C /usr/local/
 3 [root@master ~]# mv /usr/local/elasticsearch-6.5.4/ /usr/local/elasticsearch
 4 
 5 修改配置文件
 6 [root@master ~]# vim /usr/local/elasticsearch/config/elasticsearch.yml
 7 cluster.name: elk
 8 node.name: elk01           #node1为elk02,node2为elk03
 9 node.master: true
10 node.data: true
11 path.data: /data/elasticsearch/data
12 path.logs: /data/elasticsearch/logs
13 bootstrap.memory_lock: false
14 bootstrap.system_call_filter: false
15 network.host: 0.0.0.0
16 http.port: 9200
17 discovery.zen.ping.unicast.hosts: ["20.0.0.10","20.0.0.20","20.0.0.30"]
18 discovery.zen.ping_timeout: 150s
19 discovery.zen.fd.ping_retries: 10
20 client.transport.ping_timeout: 60s
21 http.cors.enabled: true
22 http.cors.allow-origin: "*"
23 
24 创建ES数据及日志存储目录
25 [root@master ~]# mkdir -p /data/elasticsearch/data 
26 [root@master ~]# mkdir -p /data/elasticsearch/logs 
27 
28 修改安装目录及存储目录权限
29 [root@master ~]# chown -R elsearch:elsearch /data/elasticsearch
30 [root@master ~]# chown -R elsearch:elsearch /usr/local/elasticsearch

配置项解读
 1 cluster.name              #集群名称，各节点配成相同的集群名称
 2 node.name                #节点名称，各节点配置不同
 3 node.master              #指示某个节点是否符合成为主节点的条件
 4 node.data                 #指示节点是否为数据节点。数据节点包含并管理索引的一部分
 5 path.data              #数据存储目录
 6 path.logs               #日志存储目录
 7 bootstrap.memory_lock       #内存锁定，是否禁用交换
 8 bootstrap.system_call_filter    #系统调用过滤器
 9 network.host              #绑定节点IP
10 http.port                     #rest api端口
11 discovery.zen.ping.unicast.hosts       #提供其他Elasticsearch服务节点的单点广播发现功能
12 discovery.zen.ping_timeout     #节点在发现过程中的等待时间
13 discovery.zen.fd.ping_retries    #节点发现重试次数
14 http.cors.enabled                    #是否允许跨源REST请求，用于允许head插件访问ES
15 http.cors.allow-origin     #允许的源地址

③系统优化

1 修改内存参数
 2 [root@master ~]# vim /etc/security/limits.conf
 3 #末尾添加
 4 *       soft     nofile          65536
 5 *       hard     nofile          131072
 6 *       soft     nproc           2048
 7 *       hard     nproc           4096
 8 
 9 增加最大内存映射数
10 [root@master ~]# echo "vm.max_map_count=262144" >> /etc/sysctl.conf
11 [root@master ~]# sysctl -p
12 vm.max_map_count = 262144

④启动ES

1 切换到elsearch用户
 2 [root@master ~]# su - elsearch
 3 
 4 启动ES
 5 [elsearch@master ~]$ cd /usr/local/elasticsearch/
 6 [elsearch@master elasticsearch]$ nohup bin/elasticsearch &
 7 [1] 41611
 8 [elsearch@master elasticsearch]$ nohup: 忽略输入并把输出追加到"nohup.out"
 9 
10 查看进程
11 [elsearch@master elasticsearch]$ jobs
12 [1]+  运行中               nohup bin/elasticsearch &
13 
14 查看进程启动情况
15 [elsearch@master elasticsearch]$ tailf nohup.out
16 ......
17 [2020-12-10T16:32:24,284][INFO ][o.e.n.Node               ] [elk01] started     #显示started启动成功

⑤网页访问http://20.0.0.10:9200

⑥安装配置head监控插件

1）安装node

1 添加阿里云源并重建yum源
 2 [root@master elasticsearch]# wget -O /etc/yum.repos.d/CentOS-Base-epel.repo http://mirrors.aliyun.com/repo/Centos-7.repo
 3 [root@master elasticsearch]# wget -P /etc/yum.repos.d http://mirrors.163.com/.help/CentOS7-Base-163.repo
 4 [root@master elasticsearch]# yum clean all
 5 [root@master elasticsearch]# yum makecache
 6 
 7 安装node
 8 [root@master elasticsearch]# wget https://npm.taobao.org/mirrors/node/latest-v4.x/node-v4.4.7-linux-x64.tar.gz    #下载
 9 [root@master ~]# tar zxf node-v4.4.7-linux-x64.tar.gz -C /usr/local/   #解压缩
10 [root@master ~]# mv /usr/local/node-v4.4.7-linux-x64/ /usr/local/node
11 [root@master ~]# echo '
12 NODE_HOME=/usr/local/node
13 PATH=$NODE_HOME/bin:$PATH
14 export NODE_HOME PATH
15 ' >> /etc/profile.d/node.sh
16 [root@master ~]# source /etc/profile.d/node.sh 
17 [root@master ~]# node --version   #检查版本
18 v4.4.7

2）下载head插件

1 [root@master ~]# wget https://github.com/mobz/elasticsearch-head/archive/naster.zip
2 [root@master ~]# unzip -d /usr/local/ master.zip

3)安装grunt

1 [root@master ~]# cd /usr/local/elasticsearch-head-master/
2 [root@master elasticsearch-head-master]# npm install -g grunt-cli
3 [root@master elasticsearch-head-master]# grunt --version    #查看版本
4 [root@master elasticsearch-head-master]# grunt --version
5 grunt-cli v1.3.2

4）修改head源码

1 [root@master elasticsearch-head-master]# vi /usr/local/elasticsearch-head-master/Gruntfile.js
 2      94                 connect: {
 3      95                         server: {
 4      96                                 options: {
 5      97                                         port: 9100,
 6      98                                         base: '.',
 7      99                                         keepalive: true,
 8     100                                         hostname:'*'
 9 #注意要在true后面加“，”而hostname“*”后不需要
10 
11 [root@master elasticsearch-head-master]# vi /usr/local/elasticsearch-head-master/_site/app.js 
12 4385                 init: function(parent) {
13    4386                         this._super();
14    4387                         this.prefs = services.Preferences.instanc        e();               4388                         this.base_uri = this.config.base_uri || t        his.prefs.get("app-base_uri") || "http://20.0.0.10:9200";
15 #原本是http://localhost:9200

5）下载head必要的文件

1 [root@master ~]# wget https://github.com/Medium/phantomjs/releases/download/v2.1.1/phantomjs-2.1.1-linux-x86_64.tar.bz2
2 [root@master ~]# yum -y install bzip2
3 [root@master ~]# tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /tmp

6）运行head

1 [root@master elasticsearch-head-master]# npm install --registry=https://registry.npm.taobao.org
2 [root@master elasticsearch-head-master]# nohup grunt server &
3 [1] 42584
4 [root@master elasticsearch-head-master]# nohup: 忽略输入并把输出追加到"nohup.out"

7)测试网页访问https://20.0.0.10:9100

5.2、Kibana部署

5.2.1、安装配置Kibana（master上安装）

①安装

1 [root@master ~]# tar zxf kibana-6.5.4-linux-x86_64.tar.gz -C /usr/local/

②配置

1 [root@master ~]# echo '
2 server.port: 5601
3 server.host: "20.0.0.10"
4 elasticsearch.url: "http://20.0.0.10:9200"
5 kibana.index: ".kibana"
6 ' >> /usr/local/kibana-6.5.4-linux-x86_64/config/kibana.yml

③启动

1 [root@master ~]# cd /usr/local/kibana-6.5.4-linux-x86_64/
2 [root@master kibana-6.5.4-linux-x86_64]# nohup ./bin/kibana &
3 [2] 42730
4 [root@master kibana-6.5.4-linux-x86_64]# nohup: 忽略输入并把输出追加到"nohup.out"

5.3、Kafka部署

5.3.1、安装配置jdk(master、node1和node2上操作，master上演示)

1 解压缩
 2 [root@master ~]# tar zxf jdk-8u91-linux-x64.tar.gz -C /usr/local/
 3 
 4 改文件名
 5 [root@master ~]# mv /usr/local/jdk1.8.0_91/ /usr/local/java
 6 
 7 环境变量
 8 [root@master ~]# echo '
 9 JAVA_HOME=/usr/local/java
10 PATH=$JAVA_HOME/bin:$PATH
11 export JAVA_HOME PATH
12 ' >> /etc/profile.d/java.sh
13 
14 执行脚本
15 [root@master ~]# source /etc/profile.d/java.sh
16 
17 查看java版本
18 [root@master ~]# java -version
19 java version "1.8.0_91"
20 Java(TM) SE Runtime Environment (build 1.8.0_91-b14)
21 Java HotSpot(TM) 64-Bit Server VM (build 25.91-b14, mixed mode)

5.3.2、安装配置ZK

Kafka运行依赖ZK，Kafka官网提供的tar包中，以及包含了ZK，这里不再额外下载ZK程序

①安装

1 [root@master ~]# tar zxf kafka_2.11-1.1.1.tgz -C /usr/local/

②配置

1 [root@master ~]# sed -i 's/^[^#]/#&/' /usr/local/kafka_2.11-1.1.1/config/zookeeper.properties     #所有未注释内容前加#
 2 [root@master ~]# echo '
 3 > dataDir=/opt/data/zookeeper/data
 4 > dataLogDir=/opt/data/zookeeper/logs
 5 > clientPort=2181
 6 > tickTime=2000
 7 > initLimit=20
 8 > syncLimit=10
 9 > server.1=20.0.0.10:2888:3888
10 > server.1=20.0.0.20:2888:3888
11 > server.1=20.0.0.30:2888:3888
12 > ' >>/usr/local/kafka_2.11-1.1.1/config/zookeeper.properties

③创建目录

1 [root@master ~]# mkdir -p /opt/data/zookeeper/{data,logs}

④创建myid文件

1 [root@master ~]# echo 1 > /opt/data/zookeeper/data/myid     #每台Kafka机器都要做成唯一ID

5.3.3、配置Kafka

①配置

1 [root@master ~]# sed -i 's/^[^#]/#&/' /usr/local/kafka_2.11-1.1.1/config/server.properties
 2 
 3 echo '
 4 broker.id=1         #Kafka机器的每个ID和myid保持一样
 5 listeners=PLAINTEXT://20.0.0.10:9092     #监听自己的IP地址
 6 num.network.threads=3
 7 num.io.threads=8
 8 socket.send.buffer.bytes=102400
 9 socket.receive.buffer.bytes=102400
10 socket.request.max.bytes=104857600
11 log.dirs=/opt/data/kafka/logs
12 num.partitions=6
13 num.recovery.threads.per.data.dir=1
14 offsets.topic.replication.factor=2
15 transaction.state.log.replication.factor=1
16 transaction.state.log.min.isr=1
17 log.retention.hours=168
18 log.segment.bytes=536870912
19 log.retention.check.interval.ms=300000
20 zookeeper.connect=20.0.0.10:2181,20.0.0.20:2181,20.0.0.30:2181
21 zookeeper.connection.timeout.ms=6000
22 group.initial.rebalance.delay.ms=0
23 ' >> /usr/local/kafka_2.11-1.1.1/config/server.properties

②创建log目录

1 [root@master ~]# mkdir -p /opt/data/kafka/logs

③启动、验证ZK集群

1 启动
 2 [root@master kafka_2.11-1.1.1]# nohup bin/zookeeper-server-start.sh config/zookeeper.properties &
 3 [3] 43030
 4 [root@master kafka_2.11-1.1.1]# nohup: 忽略输入并把输出追加到"nohup.out"
 5 
 6 验证，查看ZK配置
 7 [root@master kafka_2.11-1.1.1]# echo conf | nc 127.0.0.1 2181
 8 clientPort=2181
 9 dataDir=/opt/data/zookeeper/data/version-2
10 dataLogDir=/opt/data/zookeeper/logs/version-2
11 tickTime=2000
12 maxClientCnxns=60
13 minSessionTimeout=4000
14 maxSessionTimeout=40000
15 serverId=0
16 
17 查看ZK状态
18 [root@master kafka_2.11-1.1.1]# echo stat | nc 127.0.0.1 2181
19 Zookeeper version: 3.4.10-39d3a4f269333c922ed3db283be479f9deacaa0f, built on 03/23/2017 10:13 GMT
20 Clients:
21  /127.0.0.1:42614[0](queued=0,recved=1,sent=0)
22 
23 Latency min/avg/max: 0/0/0
24 Received: 5
25 Sent: 4
26 Connections: 1
27 Outstanding: 0
28 Zxid: 0x0
29 Mode: standalone
30 Node count: 4
31 
32 查看端口
33 [root@master kafka_2.11-1.1.1]# lsof -i:2181
34 COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
35 java    43030 root   96u  IPv6  85536      0t0  TCP *:eforward (LISTEN)

④启动、验证Kafka

1 启动
 2 [root@master kafka_2.11-1.1.1]# cd /usr/local/kafka_2.11-1.1.1/
 3 [root@master kafka_2.11-1.1.1]# nohup bin/kafka-server-start.sh config/server.properties &
 4 [4] 43413
 5 [root@master kafka_2.11-1.1.1]# nohup: 忽略输入并把输出追加到"nohup.out"
 6 
 7 验证
 8 在20.0.0.10上创建topic
 9 [root@master kafka_2.11-1.1.1]# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testtopic
10 Created topic "testtopic".
11 查询20.0.0.10上的topic
12 [root@master kafka_2.11-1.1.1]# bin/kafka-topic.sh --zookeeper 20.0.0.10:2181 --list
13 testtopic
14 查询20.0.0.20上的topic
15 [root@node1 kafka_2.11-1.1.1]# bin/kafka-topic.sh --zookeeper 20.0.0.20:2181 --list
16 testtopic
17 查询20.0.0.30上的topic
18 [root@node2 kafka_2.11-1.1.1]# bin/kafka-topic.sh --zookeeper 20.0.0.30:2181 --list
19 testtopic

 

5.4、Logstash部署

5.4.1、安装（master上安装）

1 [root@master ~]# tar zxf logstash-6.5.4.tar.gz -C /usr/local/

5.4.2、配置

1 创建目录
 2 [root@master ~]# mkdir -p /usr/local/logstash-6.5.4/etc/conf.d
 3 
 4 [root@master ~]# vi /usr/local/logstash-6.5.4/etc/conf.d/input.conf
 5 input {
 6 kafka {
 7     type => "httpd_kafka"
 8     codec => "json"
 9     topics => "httpd"
10     decorate_events => true
11     bootstrap_servers => "20.0.0.10:9092, 20.0.0.20:9092, 20.0.0.30:9092"
12   }
13 }
14 
15 [root@master ~]# vi /usr/local/logstash-6.5.4/etc/conf.d/output.conf
16 output {
17   if [type] == "httpd_kafka" {
18         elasticsearch {
19         hosts => ["20.0.0.10","20.0.0.20","20.0.0.30"]
20         index => 'logstash-httpd-%{+YYYY-MM-dd}'
21          }
22       }
23    }

5.4.3、启动

1 [root@master logstash-6.5.4]# nohup bin/logstash -f etc/conf.d/ --config.reload.automatic &
2 [7] 46230
3 [root@master logstash-6.5.4]# nohup: 忽略输入并把输出追加到"nohup.out"

5.5、Filebeat部署

5.5.1、下载（node3上安装）

1 [root@node3 ~]#  wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.5.4-linux-x86_64.tar.gz

5.5.2、解压

1 [root@node3 ~]# tar zxf filebeat-6.5.4-linux-x86_64.tar.gz -C /usr/local/
2 [root@node3 ~]# cd /usr/local/
3 [root@node3 local]# mv filebeat-6.5.4-linux-x86_64/ filebeat
4 [root@node3 local]# cd filebeat/

5.5.3、修改配置

修改Filebeat配置，支持收集本地目录日志，并输出日志到Kafka集群中

1 [root@node3 filebeat]# cp filebeat.yml filebeat.yml.bak
 2 [root@node3 filebeat]# vim filebeat.yml
 3 filebeat.prospectors:
 4 - input_type: log
 5   paths:
 6     -  /var/log/httpd/access_log
 7   json.keys_under_root: true
 8   json.add_error_key: true
 9   json.message_key: log
10 
11 output.kafka:
12   hosts: [ "20.0.0.10:9092","20.0.0.20:9092","20.0.0.30:9092" ]
13   topic: 'httpd'

5.5.4、安装httpd服务

1 [root@node3 filebeat]# yum -y install httpd
2 [root@node3 filebeat]# systemctl start httpd
3 [root@node3 filebeat]# netstat -anpt | grep httpd
4 tcp6       0      0 :::80                   :::*                    LISTEN      57726/httpd     
5 [root@node3 filebeat]# ll /var/log/httpd/
6 总用量 4
7 -rw-r--r--. 1 root root   0 12月 10 18:38 access_log
8 -rw-r--r--. 1 root root 925 12月 10 18:38 error_log

5.5.5、启动

1 [root@node3 filebeat]# nohup ./filebeat -e -c filebeat.yml &
2 [1] 57774
3 [root@node3 filebeat]# nohup: 忽略输入并把输出追加到"nohup.out"

5.5.6、查看状态

1 [root@node3 filebeat]# tailf nohup.out

5.5.7、查看master上logstash

[root@master kibana-6.5.4-linux-x86_64]# cd /usr/local/logstash-6.5.4/
[root@master logstash-6.5.4]# tailf nohup.out

5.5.8、网页访问http://20.0.0.40(多访问几次)

5.5.9、网页访问http://20.0.0.10:9100,查看是否有所有日志产生

5.5.10、网页查看http://20.0.0.10:5601的Kibana界面，去看日志状态

5.5.11、网页访问http://20.0.0.10:9100也可以看到访问记录

5.5.12、网页访问http://20.0.0.10:5601

六、总结

ELK+Kafka+filebeat日志分析系统是一款非常强大的日志分析工具，能够帮助运维工程师更快更准确的定位到想要的日志，特别是kibana可视化工具，功能强大，使用起来非常人性化