日志清理Kafka 将消息存储在磁盘中，为了控制磁盘占用空间的不断增加就需要对消息做一定的清理操作。Kafka 中每一个分区副本都对应一个 Log，而 Log 又可以分为多个日志分段，这样也便于日志的清理操作。Kafka 提供了两种日志清理策略：日志删除（Log Retention）：按照一定的保留策略直接删除不符合条件的日志分段。日志压缩（Log Compaction）：针对每个消息的 key
转载
2024-03-25 09:54:04
24阅读
文章目录1. kafka日志清理策略概述2. kafka segment2.1 segmnet 的作用2.2 segment生成相关的配置3. 日志清理delete策略3.1 delete 相关配置3.2 简单总结4. 日志清理compact策略4.1 日志compact的使用场景4.2 compact的工作模式4.3 tombstone 消息4.4 低流量topic的注意事项4.5 简单总结c
转载
2024-02-08 15:05:41
1178阅读
阿里云KafkaManager官方帮助文档 https://help.aliyun.com/knowledge_detail/56933.htmlkafkaManager是由Yahoo开源的一个Kafka管理工具，提供的主要功能如下：方便的集群状态监控(包括Topics,Consumers,Offsets,Brokers,ReplicaDistribution,PartitionDist
转载
2024-03-23 12:55:48
75阅读
由于项目原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志，中间关联的很多东西需要手动同时去清理，否则可能会导致删除后客户端无法消费的情况。 在介绍手动删除操作之前，先简单的介绍一下Kafka消费Offset原理。一、Kafka消费O
转载
2024-03-27 16:49:55
79阅读
每天定时清理kafka集群server端3天前的系统日志写清理脚本，：在/data1/kafka/kafka 目录下新建文件 auto-delete-kafka-3days-ago-log.sh 内容如下：#!/bin/sh
find /data1/kafka/kafka/logs/ -mtime +3 -name "*.log" -exec rm -rf {} \;注意：这个地方不要漏了 最后
转载
2024-03-23 13:01:34
51阅读
Kafka Broker默认的消息保留策略是：要么保留一定时间，要么保留到消息达到一定大小的字节数。当消息达到设置的条件上限时，旧消息就会过期并被删除，所以，在任何时刻，可用消息的总量都不会超过配置参数所指定的大小。topic可以配置自己的保留策略，可以将消息保留到不再使用他们为止。因为在一个大文件里查找和删除消息是很费时的事，也容易出错，所以，分区被划分为若干个片段。默认情况下，每个片段包含1G
转载
2024-02-21 12:59:54
324阅读
Kafka概述消息队列两种模式 1.点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）生产者进入队列以后只为一个消费者服务，信息进入队列是先进先出的，消费者每消费一条则在消息队列中删除该条信息（队列中有顺序的） 2.发布/订阅模式（一对多，消费者消费数据之后不会清除消息）生产者把消息发布到消息队列中，消息是被很多的消费者消费
转载
2024-04-11 13:00:46
87阅读
Log 的常见操作分为 4 大部分：高水位管理操作：高水位的概念在 Kafka 中举足轻重，对它的管理，是 Log 最重要的功能之一。日志段管理：Log 是日志段的容器。高效组织与管理其下辖的所有日志段对象，是源码的核心。关键位移值管理：日志定义了很多重要的位移值，比如 Log Start Offset 和 LEO 等。确保这些位移值的正确性，是构建消息引擎一致性的基础。读写操作：所谓的操作日志，
转载
2024-08-06 18:51:01
175阅读
背景
Kafka是一个高性能、高可靠、分布式的消息队列系统，被广泛应用于大数据领域。在Kafka中，消息的过期与清理是一个非常重要的问题，本文将深入探讨Kafka中的消息过期与清理策略。
Kafka消息过期
在Kafka中，消息的过期是通过消息的时间戳（timestamp）来实现的。Kafka支持两种时间戳：消息创建时间戳（create time）和消息日志追加时间戳（log append tim
原创
2023-09-23 09:02:24
2061阅读
0x00 概述本文主要讲Kafka自身操作日志的清理方法(非Topic数据)，Topic数据自己有对应的删除策略，请看这里。Kafka长时间运行过程中，在kafka/logs目录下产生了大量的kafka-request.log.*和server.log.*文件，其中*代表日期和时间，比如kafka-request.log.2018-12-08-03和server.log.2018-12-06-03
转载
2024-03-22 10:57:00
443阅读
1、ipconfig /flushdns的作用 ipconfig /flushdns 这是清除DNS缓存用的。 当訪问一个站点时系统将从DNS缓存中读取该域名所相应的IP地址，当查找不到时就会到系统中查找hosts
由于项目原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志，中间关联的很多东西需要手动同时去清理，否则可能会导致删除后客户端无法消费的情况。 在介绍手动删除操作之前，先简单的介绍一下Kafka消费Offset原理。一、Kafka消费Of
转载
2024-03-27 16:41:51
48阅读
为什么需要消息队列周末无聊刷着手机，某宝网APP突然蹦出来一条消息“为了回馈老客户，女朋友买一送一，活动仅限今天！”。买一送一还有这种好事，那我可不能错过！忍不住立马点了去。于是选了两个最新款，下单、支付一气呵成！满足的躺在床上，想着马上有女朋友了，竟然幸福的失眠了……第二天正常上着班，突然接到快递小哥的电话：小哥：“你是xx吗？你的女朋友到了，我现在在你楼下，你来拿一下吧！”。我：“这……我在上
转载
2024-03-27 16:50:49
99阅读
# 使用 Docker 清理 Kafka 的指南
在现代微服务架构中，Kafka 作为消息队列系统被广泛应用于数据流处理和事件驱动架构中。然而，随着时间的推移，Docker 中运行的 Kafka 实例可能会积累大量不必要的数据。这不仅浪费存储空间，还可能影响系统的性能。因此，了解如何清理 Docker 中的 Kafka 数据是非常重要的。本文将详细介绍这一过程，并提供相应的代码示例。
## 了
原创
2024-08-10 07:15:56
117阅读
前言Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedi
引言在探究 Kafka 核心知识之前，我们先思考一个问题：什么场景会促使我们使用 Kafka? 说到这里，我们头脑中或多或少会蹦出异步解耦和削峰填谷等字样，是的，这就是 Kafka 最重要的落地场景。异步解耦：同步调用转换成异步消息通知，实现生产者和消费者的解耦。想象一个场景，在商品交易时，在订单创建完成之后，需要触发一系列其他的操作，比如进行用户订单数据的统计、给用户发送短信、给用户
环境：kafka 0.10spark 2.1.0zookeeper 3.4.5-cdh5.14.0公司阿里云测试机，十月一放假前，没有在继续消费，假期过后回来再使用spark streaming消费某个消费组下的kafka时报错如下：As I regularly kill the servers running Kafka a
转载
2024-06-19 17:56:36
56阅读
清理kafka zookeeper
原创
2021-07-30 10:17:19
1319阅读
一、概述生产环境中，有一个topic的数据量非常大。这些数据不是非常重要，需要定期清理。要求：默认保持24小时，某些topic 需要保留2小时或者6小时 二、清除方式主要有3个：1. 基于时间2. 基于日志大小3. 基于日志起始偏移量 接下来，主要介绍基于时间的清除！kafka版本为: 2.11-1.1.0zk版本为: 3.4.13 
转载
2023-10-14 17:10:25
1114阅读
一、缓存穿透缓存穿透是指缓存和数据库中都没有的数据，而用户（黑客）不断发起请求。比如：数据库的 id 从 1 自增的，如果发起 id=-1 的数据，这样的不断攻击导致数据库压力很大，严重会击垮数据库。解决1.缓存null值，设置过期时间2.在接口层增加校验，比如参数做校验，不合法的校验直接 return，id 做基础校验，id<=0 直接拦截3.布隆过滤器（Bloom Filter），利用高
转载
2024-10-08 10:06:22
67阅读
