ELK + filebeat + kafka 搭建日志管理系统
因为当前项目遇到报错都是要手动去服务器 查看日志,比较耗时所以公司决定使用 日志管理系统,正好有机会学习一下
ELK介绍:
ELK = Elasticsearch, Logstash, Kibana 是一套实时数据收集,存储,索引,检索,统计分析及可视化的解决方案。最新版本已经改名为Elastic Stack,并新增了Beats项目。
Elasticsearch 是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
Logstash 主要是用来日志的搜集、分析、过滤日志的工具,支持大量的数据获取方式。一般工作方式为c/s架构,client端安装在需要收集日志的主机上,server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。
Kibana 也是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助汇总、分析和搜索重要数据日志。
filebeat介绍:
Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视您指定的日志文件或位置,收集日志事件,并将它们转发到Elasticsearch或 Logstash进行索引。
kafka介绍:
Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等
环境配置参考链接:https://www.yangxinghui.com/1389.html(环境的基础配置和优化全部取自该链接,以及安装的相关配置)
环境准备:
39.105.158.137 filebeat + kafka nginx日志 4核4G
106.22.15.169 elasticsearch + kibana 4核4G
113.31.158.160 logstash 8核8G
软件版本:
Elasticsearch:elasticsearch-7.5.1-linux-x86_64.tar.gz
Kibana:kibana-7.5.1-linux-x86_64.tar.gz
Logstash:logstash-7.5.1.tar.gz
Filebeat:filebeat-7.5.1-linux-x86_64.tar.gz
JDK:jdk-11.0.1_linux-x64_bin.tar.gz
Zookeeper:zookeeper-3.4.10.tar.gz
Kafka:kafka_2.12-2.5.0.tgz
安装JDK环境(为了方便我在三台服务器都进行了配置)
可以选择官网下载本地之后在上传服务器 或直接 在服务器下载
[root@localhost data]# wget https://mirrors.yangxingzhen.com/jdk/jdk-11.0.1_linux-x64_bin.tar.gz
[root@localhost data]# tar zxf jdk-11.0.1_linux-x64_bin.tar.gz -C /usr/local
#配置/etc/profile,添加以下内容
[root@localhost local]# vim /etc/profile
export JAVA_HOME=/usr/local/jdk-11.0.1
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOMR/bin
[root@localhost local]# source /etc/profile
[root@localhost local]# java -version
#看到如下信息,java环境配置成功
java version "11.0.1" 2018-10-16 LTS
Java(TM) SE Runtime Environment 18.9 (build 11.0.1+13-LTS)
Java HotSpot(TM) 64-Bit Server VM 18.9 (build 11.0.1+13-LTS, mixed mode)
创建ELK用户
[root@localhost ~]# useradd elk
在 39.105.158.137 服务器中 安装 zookeeper 和 kafka
安装Zookeeper
1. 下载Zookeeper包
[root@localhost data]# wget -c http://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
2. 解压安装配置Zookeeper
[root@localhost data]# tar zxf zookeeper-3.4.10.tar.gz
[root@localhost data]# mv zookeeper-3.4.10 /usr/local/zookeeper
[root@localhost data]# cd /usr/local/zookeeper/
3. 创建快照日志存放目录:
[root@localhost zookeeper]# mkdir -p data
4. 创建事务日志存放目录:
[root@localhost zookeeper]# mkdir -p logs
【注意】:如果不配置dataLogDir,那么事务日志也会写在data目录中。这样会严重影响zookeeper的性能。因为在zookeeper吞吐量很高的时候,产生的事务日志和快照日志太多。
[root@localhost zookeeper]# cd conf/
[root@localhost conf]# cp zoo_sample.cfg zoo.cfg
[root@localhost conf]# vim zoo.cfg
#配置内容
#服务器之间或客户端与服务器之间的单次心跳检测时间间隔,单位为毫秒
tickTime=2000
#集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数(tickTime的数量)
initLimit=10
#集群中flower服务器(F)跟leader(L)服务器之间的请求和答应最多能容忍的心跳数
syncLimit=5
#客户端连接Zookeeper服务器的端口,Zookeeper会监听这个端口,接受客户端的访问请求
clientPort=2181
#存放数据文件
dataDir=/usr/local/zookeeper/data
#存放日志文件
dataLogDir=/usr/local/zookeeper/logs
#Zookeeper cluster,2888为选举端口,3888为心跳端口
#服务器编号=服务器IP:LF数据同步端口:LF选举端口
server.1=39.105.158.137:2888:3888
[root@localhost conf]# echo "1" > /usr/local/zookeeper/data/myid
5.启动Zookeeper服务
[root@localhost conf]# /usr/local/zookeeper/bin/zkServer.sh start
安装Kafka
1. 下载Kafka软件包
[root@localhost data]# wget -c https://archive.apache.org/dist/kafka/2.5.0/kafka_2.12-2.5.0.tgz
2. 解压Kafka软件包
[root@localhost data]# tar xf kafka_2.12-2.5.0.tgz
[root@localhost data]# mv kafka_2.12-2.5.0 /usr/local/kafka
3.配置Kafka
[root@localhost data]# vim /usr/local/kafka/config/server.properties
broker.id=0
listeners=PLAINTEXT://39.105.158.137:9092 #需要开启 9092端口
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs
num.partitions=10
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=39.105.158.137:2181 #需要开启 2181端口
zookeeper.connection.timeout.ms=60000
group.initial.rebalance.delay.ms=0
4.启动Kafka服务
注:需要等待Zookeeper服务器启动再启动Kafka,不然会报错
[root@localhost data]# /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties
在 106.22.15.169 中 安装 elasticsearch 和 kibana
安装elasticsearch
1. 创建持久化目录及Logs日志目录
[root@localhost data]# mkdir -p /data/elasticsearch/{data,logs}
2. 下载elasticsearch软件包
[root@localhost data]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.5.1-linux-x86_64.tar.gz
3. 解压并重命名
[root@localhost data]# tar xf elasticsearch-7.5.1-linux-x86_64.tar.gz
[root@localhost data]# mv elasticsearch-7.5.1 /usr/local/elasticsearch
4. 修改elasticsearch.yml配置文件,文件内容如下
[root@localhost data]# vim /usr/local/elasticsearch/config/elasticsearch.yml
# 集群名称
cluster.name: es
# 节点名称
node.name: es-master
# 存放数据目录,先创建该目录
path.data: /data/elasticsearch/data
# 存放日志目录,先创建该目录
path.logs: /data/elasticsearch/logs
# 节点IP
network.host: 0.0.0.0
# tcp端口
transport.tcp.port: 9300
# http端口
http.port: 9200 #需要开启 9200 端口
# 主合格节点列表,若有多个主节点,则主节点进行对应的配置
cluster.initial_master_nodes: ["106.22.15.169:9300"]
# 是否允许作为主节点
node.master: true
# 是否保存数据
node.data: true
node.ingest: false
node.ml: false
cluster.remote.connect: false
# 跨域
http.cors.enabled: true
http.cors.allow-origin: "*"
5. ELK用户授权
[root@localhost data]# chown -R elk.elk /usr/local/elasticsearch/
[root@localhost data]# chown -R elk.elk /data/elasticsearch/*
6. 启动elasticsearch服务(第一次先测试好然后再加-d后台启动)
[root@localhost data]# su - elk
[elk@localhost data]$ /usr/local/elasticsearch/bin/elasticsearch
7. 后台启动elasticsearch服务
[elk@localhost data]$ /usr/local/elasticsearch/bin/elasticsearch -d
8.监控检测
[elk@localhost ~]$ curl -X GET 'http://106.22.15.169:9200/_cluster/health?pretty'
{
"cluster_name" : "es",
"status" : "green",
"timed_out" : false,
"number_of_nodes" : 1,
"number_of_data_nodes" : 1,
"active_primary_shards" : 18,
"active_shards" : 18,
"relocating_shards" : 0,
"initializing_shards" : 0,
"unassigned_shards" : 13,
"delayed_unassigned_shards" : 0,
"number_of_pending_tasks" : 0,
"number_of_in_flight_fetch" : 0,
"task_max_waiting_in_queue_millis" : 0,
"active_shards_percent_as_number" : 58.06451612903226
}
# status = green 表示服务正常
9.配置SSL并启用X-Pack
9.1、X-pack是什么?
X-Pack是Elastic Stack扩展功能,提供安全性,警报,监视,报告,机器学习和许多其他功能。ES7.0+之后,默认情况下,当安装Elasticsearch时,会安装X-Pack,无需单独再安装。
X-Pack安全配置的核心四步骤:
1)设置:xpack.security.enabled: true。
2)生成TLS证书。
3)配置加密通信。
4)设置密码。
9.2、生成节点证书
[elk@master ~]$ cd /usr/local/elasticsearch/bin
[elk@master bin]$ ./elasticsearch-certutil ca -out /usr/local/elasticsearch/config/elastic-certificates.p12 -pass "123456"
9.3、配置加密通信
[elk@master bin]$ vim ../config/elasticsearch.yml
# 配置X-Pack
http.cors.allow-headers: Authorization
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12
9.4、创建证书时输入了密码,那可以通过下面的方法设置。(生成的时候也可以不设置密码)
# 输入生成证书的密码即可
[elk@master bin]$ ./elasticsearch-keystore add xpack.security.transport.ssl.keystore.secure_password
[elk@master bin]$ ./elasticsearch-keystore add xpack.security.transport.ssl.truststore.secure_password
9.5、重启Elasticsearch
# 配置为使用TLS的节点无法与使用未加密网络的节点通信(反之亦然)。启用TLS后,必须重新启动所有节点才能保持群集之间的通信。
# 通过查询端口获取PID号
[elk@master bin]$ netstat -lntup |grep 9200
# 杀掉PID号
[elk@master bin]$ kill -9 3337
[elk@master bin]$ /usr/local/elasticsearch/bin/elasticsearch -d
ElasticSearch配置用户名密码
[elk@localhost ~]$ /usr/local/elasticsearch/bin/elasticsearch-setup-passwords interactive
注:这里为了方便演示,密码统一设置为 123456
注:配置了密码之后获取集群状态命令如下
[elk@localhost ~]$ curl --user elastic:123456 -X GET 'http://106.22.15.169:9200/_cluster/health?pretty'
Elasticsearch常用命令
curl -XDELETE 'http://106.22.15.169:9200/logstash-*' 删除索引(后面为索引名称)
curl -XGET 'http://106.22.15.169:9200/_cat/health?v&pretty' 查看集群状态
curl -XGET 'http://106.22.15.169:9200/_cat/indices?v&pretty' 查看索引
安装Kibana
1. 下载Kibana软件包
[root@localhost data]$ wget https://artifacts.elastic.co/downloads/kibana/kibana-7.5.1-linux-x86_64.tar.gz
2. 解压Kibana软件包并重命名
[root@localhost data]$ tar xf kibana-7.5.1-linux-x86_64.tar.gz
[root@localhost data]$ mv kibana-7.5.1-linux-x86_64 /usr/local/kibana
3. 配置Kibana配置文件
[root@localhost data]$ vim /usr/local/kibana/config/kibana.yml
# 配置kibana的端口
server.port: 5601
# 配置监听ip
server.host: "0.0.0.0"
# 配置es服务器的ip,如果是集群则配置该集群中主节点的ip
elasticsearch.hosts: ["http://106.22.15.169:9200"]
elasticsearch.username: "elastic"
elasticsearch.password: "123456"
# 配置kibana的日志文件路径,不然默认是messages里记录日志
logging.dest: /usr/local/kibana/logs/kibana.log
# 配置为中文
i18n.locale: "zh-CN"
4.创建日志目录并授权
[root@localhost ~]# mkdir /usr/local/kibana/logs
[root@localhost ~]# chown -R elk.elk /usr/local/kibana/
5.启动Kibana服务
[root@localhost ~]# su - elk
前台启动
[elk@localhost ~]$ /usr/local/kibana/bin/kibana
后台启动
[elk@localhost ~]$ /usr/local/kibana/bin/kibana &
温馨提示:可以先前台启动查看日志,正常之后在后台启动。
在 39.105.158.137 服务器中 安装 filebeat
安装filebeat
1. 下载filebeat软件包
[root@localhost data]# wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.5.1-linux-x86_64.tar.gz
2. 解压并重命名
[root@localhost data]# tar xf filebeat-7.5.1-linux-x86_64.tar.gz
[root@localhost data]# mv filebeat-7.5.1-linux-x86_64 /usr/local/filebeat
3. 编辑filebeat.yml配置文件,配置内容如下
[root@localhost data]# vim /usr/local/filebeat/filebeat.yml
#========= Filebeat inputs ==========
filebeat.inputs:
- type: log
enabled: true
paths:
- /data/wwwlogs/nginx/nginx-access.log
fields:
log_source: nginx-access
- type: log
enabled: true
paths:
- /data/wwwlogs/nginx/nginx-error.log
fields:
log_source: nginx-error
output.kafka:
enabled: true
hosts: ["39.105.158.137:9092"]
topic: "nginx-log"
4.创建Filebeat日志目录
[root@localhost ~]# mkdir /usr/local/filebeat/logs
[root@localhost ~]# chown -R elk.elk /usr/local/filebeat
5.启动filebeat服务
[root@localhost ~]# su - elk
[elk@localhost ~]# cd /usr/local/filebeat
前台启动
[elk@localhost filebeat]$ ./filebeat -e -c filebeat.yml >>logs/filebeat.log
后台启动
[elk@localhost filebeat]$ nohup ./filebeat -e -c filebeat.yml >>logs/filebeat.log >/dev/null 2>&1 &
在 113.31.158.160 服务器中安装 logstash
安装logstash
1. 下载软件包
[root@localhost data]# wget https://artifacts.elastic.co/downloads/logstash/logstash-7.5.1.tar.gz
2. 解压并重命名
[root@localhost data]# tar zxf logstash-7.5.1.tar.gz
[root@localhost data]# mv logstash-7.5.1 /usr/local/logstash
3. 创建log.conf文件,添加以下内容
[root@localhost ~]# vim /usr/local/logstash/config/log.conf
input {
kafka {
bootstrap_servers => "39.105.158.137:9092"
topics => "nginx-log"
codec => json
}
}
filter {
if [fields][log_source]=="nginx-access"{
grok {
match => {
"message" => '%{IP:clientip}\s*%{DATA}\s*%{DATA}\s*\[%{HTTPDATE:requesttime}\]\s*"%{WORD:requesttype}.*?"\s*%{NUMBER:status:int}\s*%{NUMBER:bytes_read:int}\s*"%{DATA:requesturl}"\s*%{QS:ua}'
}
overwrite => ["message"]
}
}
if [fields][log_source]=="nginx-error"{
grok {
match => {
"message" => '(?<time>.*?)\s*\[%{LOGLEVEL:loglevel}\]\s*%{DATA}:\s*%{DATA:errorinfo},\s*%{WORD}:\s*%{IP:clientip},\s*%{WORD}:%{DATA:server},\s*%{WORD}:\s*%{QS:request},\s*%{WORD}:\s*%{QS:upstream},\s*%{WORD}:\s*"%{IP:hostip}",\s*%{WORD}:\s*%{QS:referrer}'
}
overwrite => ["message"]
}
}
}
output {
if [fields][log_source] == "nginx-access" {
elasticsearch {
hosts => ["106.22.15.169:9200"]
user => "elastic"
password => "123456"
action => "index"
index => "nginx_access.log-%{+YYYY.MM.dd}"
}
}
if [fields][log_source] == "nginx-error" {
elasticsearch {
hosts => ["106.22.15.169:9200"]
user => "elastic"
password => "123456"
action => "index"
index => "nginx_error.log-%{+YYYY.MM.dd}"
}
}
4.启动logstash服务
[root@localhost ~]# chown -R elk.elk /usr/local/logstash
[root@localhost ~]# su - elk
前台启动
[elk@localhost ~]$ /usr/local/logstash/bin/logstash -f /usr/local/logstash/conf/elasticsearch.conf
后台启动
[elk@localhost ~]$ cd /usr/local/logstash/bin && nohup ./logstash -f /usr/local/logstash/config/elasticsearch.conf >/dev/null 2>&1 &
访问Kibana
# 浏览器访问:http://106.22.15.169:5601,出现如下界面
输入前面设置的用户名:elastic和密码:123456登录后,出现如下界面
选择自己浏览,出现以下界面
分别点击 “设置“ 图标 => 索引管理,这时候就能看到 nginx 的索引信息
1.创建Nginx访问日志索引
索引模式 => 创建索引模式,输入索引模式名称,点击下一步
2.创建nginx错误日志索引
索引模式 => 创建索引模式,输入索引模式名称,点击下一步
点击Discover,就能看到日志数据了,如下图
至此,ELK日志分析平台收集Nginx日志搭建完成。
特别说明:
此文章主要参考:https://www.yangxinghui.com/1400.html(Linux搭建ELK-7.5.1分布式集群及配置X-Pack),https://www.yangxinghui.com/1389.html(Linux搭建ELK+Filebeat+Kafka分布式日志管理平台) 两篇文章,主要配置基本一致,然后配置时出现些错误,经过自己查询解决,按照此配置基本不会出现问题,已经将遇到的问题解决后编写此文章