ELK日志收集之filebeat部署 采集/var/log/*.log日志 kibana展示

一、简介

Filebeat是一个轻量级的日志采集工具，以文件的方式采集日志，可以用于转发日志数据到Elasticsearch，官方指导文档地址，软件包下载官方地址。

官方beats系列地址，filebeat用于采集日志和其他数据的轻量型采集器。

常见的日志采集处理解决方案

Filebeat + ES + Kibana
Filebeat + Logstash + ES + Kibana
Filebeat + Kafka/Redis/File/Console + 应用程序（处理/存储/展示）
Filebeat + Logstash+Kafka/Redis/File/Console + 应用程序（处理/存储/展示）

二、安装部署

1.二进制安装

#创建目录
mkdir -p /es/softwares/
#软件包下载
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.17.5-linux-x86_64.tar.gz
#解压软件包
tar xf filebeat-7.17.5-linux-x86_64.tar.gz -C /es/softwares/
#创建软连接 全局可用
cd /es/softwares/filebeat-7.17.5-linux-x86_64/
ln -s /es/softwares/filebeat-7.17.5-linux-x86_64/filebeat /usr/local/sbin/
#版本查看
filebeat version

2.配置

input配置，支持以下的输入方式

AWS CloudWatch
AWS S3
Azure Event Hub
Cloud Foundry
Container
Docker
filestream
GCP Pub/Sub
HTTP Endpoint
HTTP JSON
journald
Kafka
Log (deprecated in 7.16.0, use filestream)
MQTT
NetFlow
Office 365 Management Activity API
Redis
Stdin
Syslog
TCP
UDP

output配置  支持以下的输出方式

Elasticsearch Service
Elasticsearch
Logstash
Kafka
Redis
File
Console

自定义配置文件  采集/var/log/*.log日志

#创建工作目录
cd /es/softwares/filebeat-7.17.5-linux-x86_64
mkdir config && cd config
cat >01-log-to-es.yaml<<'EOF'
filebeat.inputs:
#指定输入类型是log
- type: log
# 指定文件路径  /var/log/**  **代表所有文件
  paths:
    - /var/log/*.log
    - /var/log/**
#指定输出端为ES集群
output.elasticsearch:
  hosts: ["http://192.168.77.176:9200","http://192.168.77.177:9200","http://192.168.77.178:9200"] 
#配置kibana地址
setup.kibana:
  host: "192.168.77.176:5601"
EOF
#启动filebeat
filebeat -e -c 01-log-to-es.yaml

三、收集日志查看

1.ES存储日志查看 filebeat-7.17.5-2024.10.13-000001

2.kibana展示

创建索引模式 filebeat-7.17.5-2024.10.13-000001*

Discover---filebeat-7.17.5-2024.10.13-000001

#KQL搜索一些日志
log.file.path : /var/log/vmware-vmsvc-root.log and warning