ELK Stack企业日志平台介绍
ELK是由 Elasticsearch（搜索引擎）、Logstash（日志收集）和Kibana（可视化平台） 三部分组件组成。
本文中还引入了filebeat工具，相对于logstash，filebeat的资源占用率更低。
ELK Stack企业日志平台安装部署
本文采用的ELk镜像为 https://hub.docker.com/ 提供的官方镜像，也有很多非官方的集成好的elk镜像，部署方式大同小异，大家可以自行研究。部署时尽量采用相同版本的镜像，已避免不必要的报错。
一、Docker 安装 Elasticsearch
官网镜像地址：https://hub.docker.com/_/elasticsearch
docker pull elasticsearch:7.1.1[root@k8s-node3 ~]# docker images | grep elasticsearch
elasticsearch 7.1.1 b0e9f9f047e6 6 months ago 894MB#创建自定义的网络(用于连接到连接到同一网络的其他服务(例如Kibana)
docker network create elk#查看docker网络
[root@k8s-node3 ~]# docker network ls
NETWORK ID NAME DRIVER SCOPE
87080f2eb5a4 bridge bridge local
6835f763c78c elk bridge local
31359fc68c80 host host local
3890144a8de2 none null local#运行 elasticsearch
docker run -d --name elasticsearch --net elk -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.1.1#如果提示docker WARNING: IPv4 forwarding is disabled.
解决方法：
#在宿主机上面执行：
echo “net.ipv4.ip_forward=1” >> /usr/lib/sysctl.d/00-system.conf#重启docker服务
systemctl restart docker查看容器状态
[root@k8s-node3 ~]# docker ps | grep elasticsearch
ab49020cb285 elasticsearch:7.1.1 "/usr/local/bin/dock…" 20 hours ago Up 19 hours 0.0.0.0:9200->9200/tcp, 0.0.0.0:9300->9300/tcp elasticsearch#检测 elasticsearch 是否启动成功
[root@k8s-node3 ~]# curl 127.0.0.1:9200
{
"name" : "ab49020cb285",
"cluster_name" : "docker-cluster",
"cluster_uuid" : "iATljVk3S7SDk1tp7p8HPg",
"version" : {
"number" : "7.1.1",
"build_flavor" : "default",
"build_type" : "docker",
"build_hash" : "7a013de",
"build_date" : "2019-05-23T14:04:00.380842Z",
"build_snapshot" : false,
"lucene_version" : "8.0.0",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
},
"tagline" : "You Know, for Search"
}Elasticsearch 安装启动完成
二、Docker 安装 Kibana
官网镜像地址：https://hub.docker.com/_/kibana
使用和 elasticsearch 相同版本镜像 7.1.1 （不一样可能会出现问题）
下载镜像 查看镜像
docker pull kibana:7.1.1[root@k8s-node3 ~]# docker images | grep kibana
kibana 7.1.1 67f17df6ca3e 6 months ago 746MB注意:在本例中，Kibana使用默认配置，并希望连接到正在运行的Elasticsearch实例http://localhost:9200
运行 Kibana
docker run -d --name kibana --net elk -p 5601:5601 kibana:7.1.1查看容器启动状态
[root@k8s-node3 ~]# docker ps | grep kibana
c25a6db6d517 kibana:7.1.1 "/usr/local/bin/kiba…" 20 hours ago Up 20 hours 0.0.0.0:5601->5601/tcp kibana访问 http://ip:5601 （启动可能会较慢，如失败等几秒再尝试刷新一下）
Kibana 安装启动完成
三、Docker 安装 Logstash
官网镜像地址：https://hub.docker.com/_/logstash
使用同版本镜像 7.1.1
下载镜像 查看镜像
docker pull logstash:7.1.1[root@k8s-node3 ~]# docker images | grep logstash
logstash 7.1.1 b0cb1543380d 6 months ago 847MB我在工作目录建立一个 docker 目录 并在里面创建了 logstash 目录，用来存放所有配置
[root@k8s-node3 logstash]# pwd
/root/logstash
[root@k8s-node3 logstash]# ls
conf.d logstash.ymllogstash.yml (文件内容)
[root@k8s-node3 logstash]# cat logstash.yml
path.config: /usr/share/logstash/conf.d/*.conf
path.logs: /var/log/logstash下面是我用来测试的收集日志的配置文件
[root@k8s-node3 conf.d]# pwd
/root/logstash/conf.d
[root@k8s-node3 conf.d]# ls
test.conf
[root@k8s-node3 conf.d]# cat test.conf
input {
file {
path => ["/usr/share/logstash/log/test.info.log"]
type => "test-info"
start_position => "beginning"
}
file {
path => ["/usr/share/logstash/log/test.error.log"]
type => "test-error"
start_position => "beginning"
}
}
filter {
date {
match => ["timestamp","yyyy-MM-dd HH:mm:ss"]
remove_field => "timestamp"
}
}
output {
if [type] == "test-info" {
elasticsearch {
hosts => ["elasticsearch:9200"]
index => "certification-info-%{+YYYY.MM.dd}"
}
}
if [type] == "test-error" {
elasticsearch {
hosts => ["elasticsearch:9200"]
index => "certification-error-%{+YYYY.MM.dd}"
}
}
}启动 Logstash
记得映射上面两个目录 {path}
docker run -it -d -p 5044:5044 --name logstash --net elk -v /root/logstash/logstash.yml:/usr/share/logstash/config/logstash.yml -v /root/logstash/conf.d/:/usr/share/logstash/conf.d/ logstash:7.1.1查看容器运行状态
[root@k8s-node3 conf.d]# docker ps | grep logstash
fbc97c3ec892 logstash:7.1.1 "/usr/local/bin/dock…" 20 hours ago Up 17 hours 0.0.0.0:5044->5044/tcp, 9600/tcp logstash启动成功
此时，登录kibana平台，可以看到收集的数据
ps：这个收集的日志，是我进入到/usr/share/logstash/log/目录下创建的test.info.log和test.erro.log。若要收集宿主机的某个日志，只要启动容器时将宿主机上的日志路径映射到/usr/share/logstash/log/目录即可。/usr/share/logstash/log/目录并非固定，而是根据/root/logstash/conf.d/*.conf的配置文件内容而定。
四、Docker 安装 Filebeat
官网镜像地址：https://hub.docker.com/_/filebeat
使用同版本镜像 7.1.1
下载镜像 查看镜像
docker pull store/elastic/filebeat:7.1.1[root@k8s-node3 conf.d]# docker images |grep filebeat
store/elastic/filebeat 7.1.1 0bd69a03e199 6 months ago 288MB下载默认官方配置文件 (暂时在当前目录创建一个 filebeat 目录 用来放 filebeat 配置文件)
curl -L -O https://raw.githubusercontent.com/elastic/beats/7.1/deploy/docker/filebeat.docker.yml打开配置文件
vim filebeat.docker.yml增加下面的配置 (收集 .log 数据 把数据发送到当前网络5044端口 (logstash 端口) )
这个地方的 .log 要保证有几条测试的内容
[root@k8s-node3 ~]# cat filebeat.docker.yml
#filebeat.config:
#modules:
#path: ${path.config}/modules.d/*.yml
#reload.enabled: false
#filebeat.autodiscover:
#providers:
#- type: docker
#hints.enabled: true
#processors:
#- add_cloud_metadata: ~
#output.elasticsearch:
#hosts: '${ELASTICSEARCH_HOSTS:elasticsearch:9200}'
#username: '${ELASTICSEARCH_USERNAME:}'
#password: '${ELASTICSEARCH_PASSWORD:}'
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/test911/*.log
output.logstash:
hosts: ['192.168.31.193:5044']运行Filebeat
docker run --name filebeat --user=root -d --volume="/var/log/test911:/var/log/test911/" --volume="/root/filebeat.docker.yml:/usr/share/filebeat/filebeat.yml:ro" store/elastic/filebeat:7.1.1查看容器启动状态
[root@k8s-node3 ~]# docker ps | grep filebeat
40208dfe0dfe store/elastic/filebeat:7.1.1 "/usr/local/bin/dock…" 3 hours ago Up 8 seconds启动成功
使用filebeat收集日志，需要对logstash的配置文件进行修改，修改如下：
[root@k8s-node3 conf.d]# pwd
/root/logstash/conf.d
[root@k8s-node3 conf.d]# ls
test.conf
[root@k8s-node3 conf.d]# cat test.conf
input {
beats {
port => 5044
codec => "json"
}
}
output {
elasticsearch { hosts => ["elasticsearch:9200"] }
stdout { codec => rubydebug }
}现在去 Kibana 查看数据，已经有数据了
若想要收集其他服务器上的日志，只需要在其他服务上部署filebeat即可，前提是要保证网络互通，要能访问logstash的5044端口。
大家需要按照自己的需求修改相应的配置!
