0x00 概述本文主要讲Kafka自身操作日志的清理方法(非Topic数据)，Topic数据自己有对应的删除策略，请看这里。Kafka长时间运行过程中，在kafka/logs目录下产生了大量的kafka-request.log.*和server.log.*文件，其中*代表日期和时间，比如kafka-request.log.2018-12-08-03和server.log.2018-12-06-03
转载
2024-03-22 10:57:00
447阅读
文章目录1. kafka日志清理策略概述2. kafka segment2.1 segmnet 的作用2.2 segment生成相关的配置3. 日志清理delete策略3.1 delete 相关配置3.2 简单总结4. 日志清理compact策略4.1 日志compact的使用场景4.2 compact的工作模式4.3 tombstone 消息4.4 低流量topic的注意事项4.5 简单总结c
转载
2024-02-08 15:05:41
1180阅读
数据丢失为大事，针对数据丢失的问题我们排查结果如下。第一：是否存在数据丢失的问题？ 存在，且已重现。第二：是在什么地方丢失的数据，是否是YDB的问题？ 数据丢失是在导入阶段，数据并没有写入到Kafka里面，所以YDB也就不会从Kafka里面消费到缺失的数据，数据丢失与延云YDB无关。第三：是如何发现有数据丢失？ &n
转载
2024-03-27 16:37:58
35阅读
由于项目原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志，中间关联的很多东西需要手动同时去清理，否则可能会导致删除后客户端无法消费的情况。 在介绍手动删除操作之前，先简单的介绍一下Kafka消费Offset原理。一、Kafka消费Of
转载
2024-03-27 16:41:51
48阅读
日志清理Kafka 将消息存储在磁盘中，为了控制磁盘占用空间的不断增加就需要对消息做一定的清理操作。Kafka 中每一个分区副本都对应一个 Log，而 Log 又可以分为多个日志分段，这样也便于日志的清理操作。Kafka 提供了两种日志清理策略：日志删除（Log Retention）：按照一定的保留策略直接删除不符合条件的日志分段。日志压缩（Log Compaction）：针对每个消息的 key
转载
2024-03-25 09:54:04
24阅读
2015年11月06日 15:40:56
阅读数：23054 Kafka将数据持久化到了硬盘上，允许你配置一定的策略对数据清理，清理的策略有两个，删除和压缩。数据清理的方式删除log.cleanup.policy=delete启用删除策略直接删除，删除后的消息不可恢复。可配置以下两个策略：清理超过指定时间清理： log.retention.hours=16超过指定大小后，删除旧
转载
2024-02-21 13:11:27
243阅读
环境：kafka 0.10spark 2.1.0zookeeper 3.4.5-cdh5.14.0公司阿里云测试机，十月一放假前，没有在继续消费，假期过后回来再使用spark streaming消费某个消费组下的kafka时报错如下：As I regularly kill the servers running Kafka a
转载
2024-06-19 17:56:36
56阅读
Apache Kafka中数据清理机制涉及的主要概念有两个：基于时间或大小的日志保留策略，以及日志压缩。这些特性允许Kafka管理其存储空间，保留有用的数据，同时清除过时或重复的数据。基于时间或大小的日志保留策略日志保留策略配置参数：
log.retention.hours：日志保留的小时数。
log.retention.bytes：日志保留的最大字节数。Kafka的日志保留策略是通过删除旧的日志
转载
2024-07-25 15:43:09
472阅读
由于项目原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志，中间关联的很多东西需要手动同时去清理，否则可能会导致删除后客户端无法消费的情况。 在介绍手动删除操作
原创
2021-07-30 10:19:43
700阅读
1、如何获取 topic 主题的列表2、生产者和消费者的命令行是什么？3、consumer 是推还是拉？4、讲讲 kafka 维护消费状态跟踪的方法5、讲一下主从同步6、为什么需要消息系统，mysql 不能满足需求吗？7、Zookeeper 对于 Kafka 的作用是什么？8、数据传输的事务定义有哪三种？9、Kafka 判断一个节点是否还活着有那两个条件？10、Kafka 与传统 MQ 消息系统之
转载
2024-09-24 09:51:50
23阅读
一、概述生产环境中，有一个topic的数据量非常大。这些数据不是非常重要，需要定期清理。要求：默认保持24小时，某些topic 需要保留2小时或者6小时 二、清除方式主要有3个：1. 基于时间2. 基于日志大小3. 基于日志起始偏移量 接下来，主要介绍基于时间的清除！kafka版本为: 2.11-1.1.0zk版本为: 3.4.13 
转载
2023-10-14 17:10:25
1114阅读
默认配置server.conf里的核心配置项
#最大日志保留大小
log.retention.bytes=1073741824
#日志保留时间长度
log.retention.minutes=10
log.segment.delete.delay.ms=
转载
2024-03-13 09:50:07
298阅读
Kafka 作为一个高吞吐的消息中间件和传统的消息中间件一个很大的不同点就在于它的日志实际上是以日志的方式默认保存在/kafka-logs文件夹中的。虽然默认有7天清楚的机制，但是在数据量大，而磁盘容量不足的情况下，经常出现无法写入的情况。如何调整Kafka的一些默认参数就显得比较关键了。这里笔者整理了一些常见的配置参数供大家参考：分段策略属性 属性名 | 含义 |默认值 ---|---|-- l
转载
2024-03-05 14:20:12
734阅读
之前介绍了按照时间空间老化消息的定时任务，本篇来看一下 LogCleaner 线程，如果在配置中指定了 log.cleaner.enable=true，那么在 LogManager#startup 方法的最后会调用 LogCleaner#startup 方法启动 LogCleaner 线程对日志数据执行清理工作。本篇针对配置了 cleanup
转载
2024-03-18 08:23:24
392阅读
Kafka-分区日志文件的清理原理清理一般情况下，kafka会根据设置的时间保留数据，把熬过时效的旧数据删除掉。早于保留时间的旧事件会被删除，为每个键保留最新的值，从而达到清理的效果。只有当应用程序生成的事件里包含了键值对时，为这些主题设置compact策略才有意义。如果主题包含null键，清理就有失败。清理的工作原理每个日志片段可以分为以下两个部分干净的部分：这些消息之前被清理过，每个键只有一个
转载
2024-03-04 23:37:00
63阅读
前言Kafka将消息存储在磁盘中，为了控制磁盘占用空间。kafka中每个分区副本都对应一个Log，而Log对应多个日志分段，这样有利日志清理操作。Kafka提供两种日志清理策略：日志删除（Log retention）：按一定的保留的策略直接删除不符条件的日志分段；日志压缩（Log compation）：针对每个消息的Key对行整合，对于相同Key的不同value值，只保留最后一个版本；Broker
转载
2024-01-12 07:38:57
80阅读
kafka只会回收上个分片的数据，所以log.roll.mslog.retention.hours要设置成一样的# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file distributed with# thi
原创
2020-09-09 09:59:55
2751阅读
一、日志压缩策略
### --- 概念
~~~ 日志压缩是Kafka的一种机制，可以提供较为细粒度的记录保留，
~~~ 而不是基于粗粒度的基于时间的保留。
~~~ 对于具有相同的Key，而数据不同，只保留最后一条数据，前面的数据在合适的情况下删除。 ### --- 应用场景
~~~ 日志压缩特性，就实时计算来说，可以
Topology:有向图，顶点是计算，边是数据流。storm消息的可靠处理 IRichBolt和IBasicBolt/BaseBasicBolt对比 使用IBasicBolt/BaseBasicBolt不需要总是调用collect.ack，storm会帮我们处理。 对于spout，有ISpout，IRichSpout，BaseRichSpout 对于bolt，有IBolt，IRichBolt，Ba
一般情况下，是不会删除数据的。到达一定时间后，kafka会自动删除。如果一定要删除可以删除topic在重建topic了
No. 1：
如果需要被删除topic 此时正在被程序 produce和consume，则这些生产和消费程序需要停止。
因为如果有程序正在生产或者消费该topic，则该topic的offset信息一致会在broker更新。调用kafka delete命令则无法删除该topi
转载
2023-09-25 16:08:45
314阅读
