通过docker stack部署elfk。elfk最新版本：7.5.1swarm集群（一个节点）：manager 192.168.30.128mkdir -p /home/elfk/{elasticsearch,logstash,kibana,filebeat}/configmkdir /home/elfk/logstash/pipelinecd /home/elfkt...
原创
2021-04-25 10:56:21
431阅读
1ELK诞生的背景1.1 没有ELK分析日志前没有日志分析工具之前，运维工作存在哪些痛点？痛点1、生产出现故障后，运维需要不停的查看各种不同的日志进行分析？是不是毫无头绪；痛点2、项目上线出现错误，如何快速定位问题？如果后端节点过多、日志分散怎么办；痛点3、开发人员需要实时查看日志但又不想给服务器的登陆权限，怎么办？难道每天帮开发取日志；痛点4、如何在海量的日志中快速的提取我们想要的数据？比如：P
InstanceAlreadyExistsException错误在ELFK集群结合Kafka集群的配置过程中，通过filebet收集日志传输到kafka，然后Kafka传输日志到logstash，最后到elasticsearch，并结合zabbix告警。但在kafka传输日志到logstash的配置完成后，启动logstash时报错：[WARN ][org.apache.kafka.comm...
原创
2021-04-25 11:33:51
1935阅读
1 前言EFK是一套分布式日志服务解决方案，由各个组件构成。EFK分别是指：elasticsearch、filebeat、kibana。不过在真实的生产环境中，搭建日志服务可能还需要logstash来进行规制解析，使用kafka进行削峰填谷作为缓冲。在本文中，我主要介绍如何使用elasticsearch+filebeat+logstash+kibana来快速搭建一套分布式日志服务，来接入线上的多个
转载
2024-04-19 19:15:04
70阅读
通过docker-compose部署elfk。elfk最新版本：7.5.1mkdir -p /home/elfk/{elasticsearch,logstash,kibana,filebeat}/configmkdir /home/elfk/elasticsearch/data /home/elfk/logstash/pipelinecd /home/elfkecho 'ELK_VE...
原创
2021-04-25 10:56:38
2192阅读
环境准备角色划分：系统：CentOS 7
es主节点/es数据节点/kibana/head 192.168.1.253
kafka/zookeeper/logstash 192.168.1.253
日志测试/filebeat 192.168.1.253关闭防火墙和selinux：# systemctl stop firewalld && systemctl
原创
2021-04-25 09:40:43
728阅读
这次重新部署该架构，同时监控内外网机器的日志（文中ip及域名已做修饰）。在同时监控内外网机器上的日志时，我们加入了kafka，而与filebeat结合时出现了问题，内网机器的日志可以正常收集到，但外网filebeat与内网kafka传输数据之间，通过抓包发现，仍夹杂了kafka的内网地址。这样就导致外网机器的日志无法收集到。假如内网没有固定的外网ip，但有固定的外网域名lzx.linux.cn。修
原创
2021-04-25 09:40:02
822阅读
简介ELK 不是一款软件，而是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源软件，通常配合使用，而且又先后归于 Elastic.co 公司名下，所以被简称为 ELK Stack。Elasticsearch：分布式搜索和分析引擎，具有高可伸缩、高可靠和易管理等特点。基于 Apache Lucene 构建，能对大容量的数据进行接近实时的存储、
转载
2024-08-07 20:18:36
173阅读
搭建ELFK日志采集系统最近的工作涉及搭建一套日志采集系统，采用了业界成熟的ELFK方案，这里将搭建过程记录一下。环境准备操作系统信息系统系统：centos7.2三台服务器：10.211.55.11/12/13整个ELFK的部署架构图大致如下图：!ELFK架构(https://s2.51cto.com/images/202210/27454ab11d24c7652a602444bde6931361
推荐
原创
2022-10-02 18:22:21
767阅读
部署ELFK+KAFKA集群
原创
2023-08-21 09:35:55
263阅读
点赞
ELFK介绍ELK 是 elastic 公司旗下三款产品ElasticSearch、Logstash、Kibana的首字母组合，也即Elastic Stack包含ElasticSearch、Logstash、Kibana、Beats。ELK提供了一整套解决方案
原创
2021-04-25 10:48:20
551阅读
ELK：传统的ELK系统由Elasticsearch、Logstash、Kibana组成，由于Logstash由java语言开发的，占用资源巨大。Logstash的占用的资源甚至比Web服务本身消耗的资源还大，因此在每台web服务器上安装Logstash不合适。ELFK: 后来在web服务器上部署filebeat日志采集程序，Logstash单独部署在服务器。filebeat由go语言开发，占用资
原创
精选
2024-09-03 20:36:22
573阅读
通过ansible-playbook，部署ELFK集群。java安装目录： /usr/local/jdkelasticsearch安装目录： /home/elfk/elasticsearchlogstash安装目录： /home/elfk/logstashfilebeat安装目录： /home/elfk/filebeatkibana安装目录： /home/elfk/kibana...
原创
2021-04-25 10:51:07
400阅读
点赞
l
原创
2022-01-27 22:50:06
540阅读
##了解elk与elfkELK概述 ###1、ELK简介 ELK平台是一. 套完整的日志集中处理解决方案，将Elasticsearch、 Logstash 和Kiabana 三个开源工具配合使用， 完成更强大的用户对日志的查询、排序、统计需求。 ●ElasticSearch:是基于Lucene (一个全文检索引擎的架构)开发的分布式存储检索引擎，用来存储各类日志。 Elasticsearch是用J
转载
2024-04-11 11:42:37
41阅读
#ELK、ELFK企业级日志分析系统 ##一、ELK日志分析系统 ###1. ELK简介 ELK平台是一套完整的日志集中处理解决方案，将ElasticSearch、Logstash和Kibana三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求。 ####1.2 ElasticSea ...
转载
2021-10-03 02:07:00
539阅读
本文介绍通过elk + filebeat方式收集k8s日志，其中filebeat以sidecar方式部署。elfk最新版本：7.6.2k8s日志收集方案3种日志收集方案：1. node上部署一个日志收集程序
原创
2021-04-25 10:46:25
1629阅读
第1章 ELK简介ELK（Elasticsearch、Logstash、Kibana）提供了一整套日志分析解决方案，其中elasticsearch是开源分布式搜索引擎。Logstash是一个开源的日志采集工具。Kibana也是开源的数据分析可视化工具。三者结合，Logstash采集系统日志信息后，上传到Elasticsearch中，kibana在利用Elasticsearch分布式高效的检索引擎，
转载
2024-01-31 21:30:45
173阅读
开门见山| 拉取镜像docker pull elasticsearch:7.16.1| 配置存放的目录#存放配置文件的文件夹
mkdir -p /opt/docker/elasticsearch/node-1/config
#存放数据的文件夹
mkdir -p /opt/docker/elasticsearch/node-1/data
#存放运行日志的文件夹
mkdir -p /opt/docke
转载
2024-08-15 21:00:01
67阅读
