Linux搭建ELK日志收集系统构建：Filebeat+Redis+Logstash+Elasticse
一、ELK概述：
ELK是一组开源软件的简称，其包括Elasticsearch、Logstash 和 Kibana。ELK最近几年发展迅速，已经成为目前最流行的集中式日志解决方案。
Elasticsearch: 能对大容量的数据进行接近实时的存储，搜索和分析操作。 本项目中主要通过Elasticsearch存储所有获取的日志。
Logstash： 数据收集引擎，它支持动态的的从各种数据源获取数据，并对数据进行过滤，分析，丰富，统一格式等操作，然后存储到用户指定的位置。
Kibana： 数据分析与可视化平台，对Elasticsearch存储的数据进行可视化分析，通过表格的形式展现出来。
Filebeat: 轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装Filebeat,并指定目录与日志格式,Filebeat就能快速收集数据，并发送给logstash进行解析，或是直接发给Elasticsearch存储。
Redis：NoSQL数据库(key-value)，也数据轻型消息队列，不仅可以对高并发日志进行削峰还可以对整个架构进行解耦。
二、新型ELK框架
三、部署过程
1、客户端安装filebeat
早期的ELK架构中使用Logstash收集、解析日志，但是Logstash对内存、cpu、io等资源消耗比较高。相比Logstash，Beats所占系统的CPU和内存几乎可以忽略不计。
Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash进行索引。
（2）filebeat的工作原理
启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志，Filebeat都会启动收集器。每个收集器都读取单个日志以获取新内容，并将新日志数据发送到libbeat，libbeat将聚集事件，并将聚集的数据发送到为Filebeat配置的输出。
工作流程图如下。
从图中所示，filebeat结构：由两个组件构成，分别是inputs（输入）和harvesters（收集器），这些组件一起工作来跟踪文件并将事件数据发送到您指定的输出，harvester负责读取单个文件的内容。harvester逐行读取每个文件，并将内容发送到输出。为每个文件启动一个harvester。harvester负责打开和关闭文件，这意味着文件描述符在harvester运行时保持打开状态。如果在收集文件时删除或重命名文件，Filebeat将继续读取该文件。这样做的副作用是，磁盘上的空间一直保留到harvester关闭。默认情况下，Filebeat保持文件打开，直到达到close_inactive。
关闭harvester可以会产生的结果：
文件处理程序关闭，如果harvester仍在读取文件时被删除，则释放底层资源。
只有在scan_frequency结束之后，才会再次启动文件的收集。
如果该文件在harvester关闭时被移动或删除，该文件的收集将不会继续。
（3）filebeat的安装
通过wget获取filebeat的tar.gz包。
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.2-linux-x86_64.tar.gz命令执行结果如下。
在/home目录下建立filebeat目录，然后把filebeat的压缩包解压到目录filebeat下。
解压后，在/usr/filebeat的对应版本filebeat目录下，编辑file--beat.yml文件。
修改的内容有加几个字段。
enabled：true
paths：程序日志路径
output.redis：日志输出地方
hosts：redis所在服务器IP
port：redis端口
key：redis中的key①filebeat.input中的enabled改为true
②注意input的paths:-/var/log/*.log，其目的监控var中的log日志。
③将output.elasticsearch内容注释。将输出内容输出到redis中,redis数据的key值是filebeat,输出参数中的db是写入redis数据库中是哪一个库。
内容如下。
接下来停止防火墙。
systemctl disable firewalld.service
systemctl stop firewalld.service
再关闭selinux。
进入到etc，再进入到selinux目录下，编辑config文件，注释掉SELINUX相关内容。
2、安装redis
yum install -y redis
安装成功后，如下图。
然后，进入etc目录下，编辑redis.conf文件。
将地址绑定设定为0.0.0.0，即任何地址IP都可以登录redis。
启动filebeat。
在filebeat的目录下执行：
./filebeat -e -c filebeat.yml
然后启动redis，主要是查看filebeat的log数据是否被redis接收。
redis-cli进入redis 的命令行方式。
进入redis查看是否有数据
keys *可以看看所有key，此操作为慢查询，若redis跑了大量线上业务请不要进行此操作。
lrange filebeat 0 -1 查询key所有的数据，若filebeat启动时间过长请勿进行此操作。
3、安装jdk
首先在/usr中创建目录java。如下图所示。
然后在/home/soft目录下将jdk的tar包解压到/usr的java目录下。
在/etc目录下编辑profile文件，设置环境变量。
接下来，source一下profile文件，使设置生效。
4、安装elasticsearch
在/home/soft 目录下拷贝elasticsearch文件夹，将文件夹拷贝到/usr目录下并重命名elasticsearch。
因为root用户不能启动，所以需要创建一个ES用户。
创建用户使用
useradd es如下图。
给用户添加密码使用
passwd es如下图。
给用户授权。
chown -R es:es elasticsearch
接下来切换用户。
su es
在elasticsearch目录下编辑文件elasticsearch.yml
将xpack.security.enabled和xpack.security.http.ssl设为false
如下图。
#ES监听地址任意IP都可访问
network.host: 0.0.0.0
http.port: 9200
#若是集群，可在里面引号中添加，逗号隔开
discovery.zen.ping.unicast.hosts: [“192.168.3.205”]
# enable cors，保证_site类的插件可以访问es
http.cors.enabled: true #手动添加
http.cors.allow-origin: “*” #手动添加进入elasticsearch的文件夹，启动elasticsearch，需要注意的是启动elasticsearch需要注意bin下面elasticsearch文件的执行权限。
两点：
（1）切换到es用户。su es
（2）为elasticsearch添加执行权限
Chmod +X elasticsearch
接下来，启动elasticsearch就可以启动elasticsearch程序了。
不过启动时，报错。
其原因在于虚拟机内存太小。需要设置etc下的文件sysctl.conf文件。
在文件的最后一行添加内容，vm.maxmapcount=262144
设置虚拟机内存的大小后，再次重启机器，启动./elasticsearch，最终启动elasticsearch的结果如下图所示。
至此，elasticsearch已启动成功。
5、安装logstash
首先在usr的目录下建立文件夹logstash
把home目录下soft目录下的logstash的压缩包解压到/usr/logstash目录下。
解压后可以测试logstash，测试脚本如下。
logstash -e “input {stdin{}} output {stdout{}}”Stdin是基本的输入，stdout是基本的输出。
注意，logstash也需要jdk8.0的支持。在centos中的logstash目录的bin目录下，执行./logstash。执行测试指令如下。
此时输入任何一个语句，输出当前时间及后面的语句。如下图。
这里可以将输出限定为指定的格式。
logstash -e “iniput{stdin{}} output {stdout{codec=>rubydebug}}”这里的输出code=>rubydebug指出了一种特定的输出格式。
如下图所示。
从图中所示，logstash已经显示Successfully started，表示logstash已经启动成功。
输入”this is a book”，输出会有一定的格式，如下图所示。
设定logstash的输入为Redis，输出为ES，将此设置存储成文件，文件内容如下。
input{
redis{
port=>”6379”
host=>”192.168.110.150”,
data_type=>”list”,
type=>”log”,
key=>”filebeat”
}
}
output{
elasticsearch{
host=>”192.168.110.150:9200”
index=>”logstash1-%{+YYYY.MM.dd}”
}
}logstash加载文件可以通过-f来实现。具体执行指令如下。
最终显示started，如下图所示。
6、检查redis中的keys值，是否被logstash取走。
打开终端，进入redis-cli，在命令行中输入keys *，可以查看log日志是否被logstash取走。如下图所示。
可以发现，redis终端中的“filebeat”键已经被logstash取走。
7、验证ES是否接收到数据。
使用curl指令查看ES中是否已接收到数据。
curl http://192.168.110.150:9200/_search?pretty如下图所示。
从结果上看，logstash已经把数据推送到ES中。
8、安装node.
安装node是安装elasticsearch-head的前提条件。
安装node可以使用yum install -y nodejs，如下图。
安装后，可以使用node -v查看安装是否成功。
安装nodejs后，安装npm
yum install -y npm
安装后，可以验证npm的版本号
npm -v
9、安装elasticsearch-head插件
进入home/soft中的elasticsearch-head-master的文件夹。
然后执行npm install方法，安装elasticsearch-head插件。
安装结束后，npm run start启动elasticsearch-head的服务。
10、安装kibana
解压目录文件，把home/soft目录中的kibana压缩文件解压到/usr的kibana目录下。
解压成功后，在usr/kibana目录下有一个文件kibana-5.3.1-x86_64，在其目录下有一个配置目录config。编辑其下面的配置文件kibana.yml。
在kabana.yml打开一些配置前的#号，并修改内容如下。
注意配置文件中，每个“：”号后面有空格。
最后启动kibana服务，进入到/usr/kibana目录下，再进入kibana-5.3.1-linux-x86_64，再进入bin目录中，使用./kibana命令，启动kibana。
访问http://192.168.110.150：5601，出现kibaba的界面如下。
过一阵，kibana页面发生变化。如下图所示。
在Index name or pattern中输入与ES中索引相匹配的ES数据。同时选择Time-fileld-name，Time-field-name会存在默认项。点击“create”进入下一项。
通过地址http://192.168.110.150：5601/status可以查看kibana的运行情况。
正常情况下，点击Discover可以显示具体的图像。
异常情况如下图。
至此，设置结束。
