一、设计 1、海量日志收集架构设计(ELK) Beats: 主要用于收集日志 Filebeat： 监控文件的变更，将变更抓取出来。然后输出到其它地方。（使用Filebeat将收集过来数据转储到Kafka） Logstash： 对日志进行过滤。对过滤的数据存储到Elasticsearch Kibana
转载
2021-01-14 13:48:00
1818阅读
2评论
一、logstash安装 logstash作为kafka日志的消费者 1、将文件上传到服务器/home/tools路径下 tar -zxvf logstash-7.4.2.tar.gz -C /usr/local/ 进入/usr/local/logstash-7.4.2，查看文件 2、创建scrip
转载
2021-01-14 16:33:00
655阅读
ElasticSearch安装请参考： Linux 下ElasticSearch安装 登录Kibana， 点击Manage， 点击Index Patterns， 然后创建index pattern。 输入app-log-*, 点击Next step 点击创建 点击搜索，点击索引app-log-* 可
转载
2021-02-20 16:37:00
113阅读
2评论
海量日志收集加个设计一 海量日志收集加个设计二 海量日志收集加个设计三
原创
2023-05-31 22:46:04
103阅读
在这先列出各服务器节点，方便同学们在下文中对照节点查看相应内容
转载
2021-10-12 00:00:00
216阅读
程序员的成长之路互联网/程序员/技术/资料共享关注阅读本文大概需要 8 分钟。来自：https://blog.csdn.net/lt326030434/article/details/1...
转载
2021-10-12 00:00:00
98阅读
整体流程大概如下： 服务器准备 在这先列出各服务器节点
转载
2021-09-08 10:42:46
109阅读
Kibana版本为7.4.2，与ElasticSerach 7.4.2 保持一致。 1、解压 cd /home/tools tar -zxvf kibana-7.4.2-linux-x86_.tar.gz mv kibana-7.4.2-linux-x86_ /usr/local/ 2、修改
转载
2021-02-20 16:39:00
807阅读
Flume 是什么？Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume 特点1、可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先将event
转载
精选
2016-04-29 20:58:07
2093阅读
点击“终码一生”，关注，置顶公众号每日技术干货，第一时间送达！整体流程大概如下：1、服务器准备在这先列出各服务器节点，方便同学们在下文中对照节点查看相应内容 2、SpringBoot项目准备引入log4j2替换SpringBoot默认log，demo项目结构如下：pom<dependencies> <dependency> <groupI
原创
2021-10-23 09:52:48
1243阅读
概如下：服务器准备在这先列出各服务器节点，方便同学们在下文中对照...
转载
2021-09-03 15:36:45
149阅读
务器准备在这先列出各服务器节点，方便同学们在下文中对照节点查看相应内容2SpringBoot项目准备引...
转载
2023-10-13 10:23:05
443阅读
SpringBoot+Kafka+ELK 完成海量日志收集（超详细）
转载
2021-12-14 11:55:01
53阅读
整体流程大概如下：
服务器准备
在这先列出各服务器节点，方便同学们在下文中对照节点查看相应内容
SpringBoot项目准备
引入log4j2替换SpringBoot默认log，demo项目结构如下：pom<dependencies><dependency><groupId>org.springframework.boot</groupId><
转载
2021-12-20 16:00:31
73阅读
每日英文
Spend life with the people who make you happy, not the people who you have to impress.
选择让你快乐的那个人来共度余生，而不是你必须努力取悦的那一个。
每日掏心话
人越是怕丢人，就越是在乎别人的看法。越是在乎别人的看法，就越是会忽略自己的感受
转载
2021-08-19 10:16:12
134阅读
整体流程大概如下：1服务器准备在这先列出各服务器节点，方便同学们在下文中对照节点查看相应内容2SpringBoot项目准备引入log4j2替换SpringBoot默认log，demo项目结构如下：pomIndexController测试Controller，用以打印日志进行调试InputMDC用以获取log中的[%X{hostName}]、[%X{ip}]、[%
转载
2022-04-19 16:51:58
252阅读
新建springboot 项目 pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLS ...
转载
2021-07-20 15:47:00
371阅读
2评论
Kafka是一个分布式流处理平台，广泛用于日志收集和数据处理。在Kubernetes（K8S）集群中使用Kafka来收集日志是一种常见的做法，可以实现高可靠性和扩展性。接下来我将向你介绍如何在K8S集群中实现Kafka收集日志的过程。
首先，让我们用表格展示整个实现“kafka收集日志”的流程：
| 步骤 | 操作 |
|------|-------------
原创
2024-05-29 09:59:07
34阅读
