16.Kafka 配置文件同步为了给kafka的进程添加GC日志信息，方便在以后重启的时候，加入GC日志：
修改bin/kafka-server-start.sh:export KAFKA_OPTS="-Xms4G -Xmx8G -Xmn3G -XX:+UseConcMarkSweepGC -XX:ParallelGCThreads=4 -server -Dlog4j.configuration=
转载
2024-03-22 10:48:17
104阅读
需求背景每个业务系统都有自己的⽇志，当业务系统出现问题时，需要通过查找⽇志信息来定位和解决问题。 当业务系统服务器⽐较少时，登陆到服务器上查看即可满⾜。但当系统机器规模巨⼤，登陆到服务器上查看⼏乎不现实（分布式的系统，⼀个系统部署在⼗⼏甚至几十台服务器上）解决方案把服务器上的⽇志实时收集，统⼀存储到中⼼系统。 再对这些⽇志建⽴索引，通过搜索即可快速找到对应的⽇志记录。 通过提供⼀个界⾯友好的web
转载
2024-06-27 17:13:42
230阅读
部署逻辑架构图一、环境准备k8s集群
172.16.88.154 easzlab-k8s-master-01
172.16.88.155 easzlab-k8s-master-02
172.16.88.156 easzlab-k8s-master-03
172.16.88.157 easzlab-k8s-node-01
172.16.88.158 easzlab-k8s-node-02
172.1
背景：最近线上上了ELK，但是只用了一台Redis在中间作为消息队列，以减轻前端es集群的压力，Redis的集群解决方案暂时没有接触过，并且Redis作为消息队列并不是它的强项；所以最近将Redis换成了专业的消息信息发布订阅系统Kafka, Kafka的更多介绍大家可以看这里：传送门 ,关于ELK的知识网上有很多的哦， 此篇博客主要是总结一下目前线上这个平台的实施步骤，EL
转载
2024-08-07 09:58:38
150阅读
1. Flume介绍Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。agent
agent本身是一个Java进程，运行在日志收集节点—所谓日志收集节点就是服务器节点。
agent里面包含3个核心的组件：sourc
转载
2024-08-06 21:01:38
207阅读
kafka启动后，再接收到消息后，会将数据，写在log.Dirs路径下的目录内。日志文件由两部分组成：00000000000000000000.index 索引文件00000000000000000000.log 内容文件当log内容文件大小够1G的时候，会进行切分，产生第二个index和log文件，且第一个内容文件的命名以offset值来部分
转载
2023-12-01 19:00:23
125阅读
日志目录${kafka.logs.dir}/server.log ：服务器日志${kafka.logs.dir}/state-change.log：状态变化日志${kafka.logs.dir}/kafka-request.log：请求处理日志${kafka.logs.dir}/log-cleaner.log：日志清理${kafka.logs.dir}/controller.log：管理日志${k
转载
2023-12-27 22:05:22
213阅读
这是两篇文章的第一部分。1. 安装 ELK 1.1 安装 ElasticSearch在海航云上创建一个 Ubutu 16.4 虚机，2核4GB内存。（1）执行以下命令，更新系统sudo apt-get update -y
sudo apt-get upgrade -y（2）安装 Javasudo add-apt-repository -y ppa:webupd8team/ja
转载
2024-07-18 11:24:19
299阅读
Kafka中的消息是以主题为基本单位进行归类的，各个主题在逻辑上相互独立。每个主题又可以分为一个或多个分区。不考虑多副本的情况，每个分区对应一个日志（Log），每个日志包含多个日志分段（LogSegment），对应到物理存储，可以理解为Log对应日志一个目录，每个LogSegment对应一个日志文件和两个索引文件，以及可能的其他可能文件（比如事务索引文件）。举例说明，假设有名为topic-log的
转载
2024-03-02 08:32:12
93阅读
准备工作环境：1 windows
2 jdk 8
3 maven 3.0
4 IDEA构建工程1 <?xml version="1.0" encoding="UTF-8"?>
2 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-insta
转载
2024-10-23 16:45:46
55阅读
java中的日志打印 java中的日志打印：日志工具类： View Code log4j.properties解释： 1 1.输出级别的种类
2 ERROR、WARN、INFO、DEBUG
3 ERROR 为严重错误 主要是程序的错误
4 WARN 为一般警告，比如session丢失
5 INFO 为一般要显示的信息，比如登录登
转载
2023-08-30 13:07:07
378阅读
打印日志，要注意下面4点。本文目录 一、预先判断日志级别二、避免无效日志打印三、区别对待错误日志四、保证记录完整内容一、预先判断日志级别 对DEBUG、INFO级别的日志，必须使用条件输出或者使用占位符的方式打印。该约定综合考虑了程序的运行效率和日志打印需求。先来看一个反例：log.debug("输入参数信息id=" + id + ",obj=" + obj);
log.debug("输入参数信
转载
2023-06-02 09:35:50
686阅读
auto-logauto-log 是一款为 java 设计的自动日志监控框架。前面已经写过了两篇：java 注解结合 spring aop 实现自动输出日志java 注解结合 spring aop 实现日志 traceId 唯一标识经过前面2篇的代码实现，发现依然存在下列问题：(1)注解的使用依然不够便捷。如果每一个方法上都指定 @AutoLog，依然会比较麻烦。个人在使用的时候也不想这么麻烦。于
转载
2024-06-11 13:49:41
138阅读
Kafka日志清理以下参数是配置在**./config/server.properties**下进行配置的参数。在进行配置以下清理方式之前 需要进行的配置：log.retention.check.interval.msThe interval at which log segments are checked to see if they can be deleted according to t
转载
2024-03-03 21:04:47
37阅读
Kafka 日志详解Apache Kafka日志存储在物理磁盘上各种数据的集合，日志按照topic分区进行文件组织，每一个分区日志由一个或者多个文件组成。生产者发送的消息被顺序追加到日志文件的末尾。如上图所述，Kafka主题被划分为3个分区。在Kafka中，分区是一个逻辑工作单元，其中记录被顺序附加分区上 （kafka只能保证分区消息的有序性，而不能保证消息的全局有序性）。但是分区不是存储单元，分
转载
2023-11-26 10:42:04
89阅读
目前来说，kafka的日志中记录的内容比较多，写的比较好。可以看到，存储的内容还是比较多的，当存储文件比较大的时候，我们应该如何处理这些日志？下面我们通过kafka启动过程的源码，分析下kafka的日志处理过程。一、入口方法在kafkaServer.scala中的start方法中，有一个这样的调用：/* start log manager */
logManager = createLogMana
转载
2023-07-07 15:36:14
653阅读
kafka-文件存储格式kafka的消息和偏移量保存在文件里。保存在磁盘上的数据格式与从生产者发送过来或者发送给消费者的消息格式是一样的。因为使用了相同的消息格式进行磁盘存储和网络传输，kafka可以使用零复制技术给消费者发送消息，同时避免了对生产者已经压缩过的消息进行解压和再压缩。除了键、值和偏移量外，消息里还包含了消息大小、校验和、消息格式版本号、压缩算法(Snappy、GZip或LZ4)和时
转载
2023-10-20 17:26:11
153阅读
Kafka日志的清除Kafka将消息存储在磁盘里，随着程序的运行，Kafka会产生大量的消息日志，进而占据大部分磁盘空间，当磁盘空间满时还会导致Kafka自动宕机，因此Kafka的日志删除是非常有必要的。1. Kafka的日志清除策略Kafka中每一个分区partition都对应一个日志文件，而日志文件又可以分为多个日志分段文件，这样也便于日志的清理操作。 Kafka提供了两种日志清除策略： （1
转载
2023-11-28 20:32:14
82阅读
Kafka作为大数据技术生态的重要组件，尤其是实时流数据处理场景下，作为分布式生产/消费系统，得到广泛的重用。而Kafka在数据生产和消费上，日志是主要的场景。今天的大数据开发学习分享，我们就来讲讲kafka日志结构的基础。Kafka消息是以主题为单位，主题之间相互独立。每个主题又由一个或多个分区构成，分区数可以在创建主题时指定，也可以在主题创建后再修改，但只能增加一个主题的分区数而不能减少其分区
转载
2023-06-27 12:51:09
233阅读
前言使用 ELK+Kafka 首先需要安装相应的软件，我安装的都是 6.4.3的版本，不同的版本可能会有冲突。一些地方可能更改其中这几个工具的作用分别是FileBeat 收集过滤日志文件。将日志文件收集后发送至kafkaKafka 作为日志的吞吐程序，消息中间件LogStash 从Kafka 中取出数据，然后发送至 ESES 作为日志的检索工具Kibana 作为日志可视化工具如果图片链接失效可以直
转载
2023-12-23 22:06:17
113阅读
