文章目录kafka-delete-records.shkafka-log-dirs.shkafka-preferred-replica-election.shkafka-dump-log.shkafka-producer-perf-test.shkafka-reassign-partitions.sh kafka-delete-records.sh作用：删除topic指定partition的指定
Check out my last article, Kafka Internals: Topics and Partitions to learn about Kafka storage internals. In Kafka, each topic is divided into set of
转载
2019-09-16 17:00:00
46阅读
2评论
Kafka的consumer是以pull的形式获取消息数据的。不同于队列和发布-订阅模式，kafka采用了consumer group的模式。通常的，一般采用一个consumer中的一个group对应一个业务，配合多个producer提供数据。 一. 消费过的数据无法再次消费 在user level上，一旦消费过topic里的数据，那么就无法再次用同一个groupid消费同一组数据。如果
转载
2024-03-21 11:22:02
249阅读
在分布式系统中，Apache Kafka经常作为消息中间件出现在生产环境中。随着时间的推进，如何高效地管理Kafka中的消费者变得尤为重要，特别是当我们需要删除消费者时。本文将深入探讨如何在Java Kafka中高效删除消费者，并提供关于该过程的详细记录。
### 背景定位
当我们在一个生产环境中使用Kafka时，消费者的管理尤其重要。在某些情况下，旧的或不再需要的消费者需要被有效删除，以避免
一、不丢失数据 1.生产者数据不丢失 同步模式：配置=1（只有Leader收到，-1所有副本成功，0不等待）。leader partition挂了，数据就会丢失。 解决：设置为-1保证produce写入所有副本算成功 producer.type=sync request.required.acks=-1 异步模式，当缓冲区满了，如果配置为0（没有收到确认，一
转载
2024-02-28 08:48:40
167阅读
Kafka学习笔记：1.什么是KafkaApache Kafka 是一个开源分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和任务关键型应用程序。Kafka具有快速、可扩展并且可持久化的特点，它的分区特性、可复制和可容错都是其不错的特性。在大数据流计算平台中被频繁使用。Kafka可以对消息进行topic归类，发布消息者成为Producer，接收消息的是Consumer。数据信息可
转载
2024-03-29 07:38:08
36阅读
1 删除策略Kafka日志管理器允许定制删除策略。目前的策略是删除修改时间在N天之前的日志（按时间删除），也可以使用另外一个策略：保留最后的N GB数据的策略(按大小删除)。为了避免在删除时阻塞读操作，采用了copy-on-write形式的实现，删除操作进行时，读取操作的二分查找功能实际是在一个静态的快照副本上进行的，这类似于Java的CopyOnWriteArrayList。Kafk
转载
2023-11-13 09:21:46
299阅读
我花了几个月的时间分析来自传感器、调查及日志等相关数据。无论我用多少图表，设计多么复杂的算法，结果总是会与预期不同。更糟糕的是，当你向首席执行官展示你的新发现时，他/她总会发现缺陷，你的发现与他们的理解完全不符- 毕竟，他们是比你更了解领域的专家，而你只是数据工程师或开发人员。你为你的模型引入了大量脏数据，没有清理数据，你告诉你的公司用这些结果做事情，结果肯定是错的。数据不正确或不一致会导致错误的
# 如何清理掉 Docker 镜像
## 引言
Docker 是一个开源的容器化平台，允许开发者将应用程序及其依赖项打包成一个可移植的容器，使得应用程序在不同环境中运行变得更加简单。Docker 镜像是构建 Docker 容器的基础，可以看作是一个轻量级的虚拟机镜像。由于 Docker 镜像占用磁盘空间较大，因此在长期使用 Docker 过程中，我们需要定期清理掉不再使用的镜像，以释放磁盘空间
原创
2023-11-11 08:59:18
87阅读
0x00 概述本文主要讲Kafka自身操作日志的清理方法(非Topic数据)，Topic数据自己有对应的删除策略，请看这里。Kafka长时间运行过程中，在kafka/logs目录下产生了大量的kafka-request.log.*和server.log.*文件，其中*代表日期和时间，比如kafka-request.log.2018-12-08-03和server.log.2018-12-06-03
转载
2024-03-22 10:57:00
447阅读
首先想说的是缓存不是垃圾，缓存不是是用来卡电脑的
缓存本质是为了提升电脑速度与减轻服务器负担的。打开网站还是应用程序，其为了提升用户体验，将经常用到的数据设为缓存或者将固定的结构设为缓存，最让我们熟识的手机每次清理都会检测到大量"垃圾",他们真的是垃圾么？如果仔细看缓存的来源，就会发现没此的缓存都是那几种类型：图库缓存、QQ聊天记录缓存
转载
2024-10-02 22:22:05
53阅读
目录一、安装Jenkins1、跟新yum包2、查询镜像3、拉取镜像4、创建Jenkins工作目录，并将容器内目录挂载到此目录上 5、启动Jenkins容器二、Jenkins配置1、Jenkins安装gitee码云插件2、创建私人令牌3、Jenkins添加全局凭据4、系统配置三、构建任务方式一方式二 一、安装Jenkins1、跟新yum包sudo yum update
转载
2024-09-12 00:00:51
2505阅读
由于项目原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志，中间关联的很多东西需要手动同时去清理，否则可能会导致删除后客户端无法消费的情况。 在介绍手动删除操作之前，先简单的介绍一下Kafka消费Offset原理。一、Kafka消费Of
转载
2024-03-27 16:41:51
48阅读
日志清理Kafka 将消息存储在磁盘中，为了控制磁盘占用空间的不断增加就需要对消息做一定的清理操作。Kafka 中每一个分区副本都对应一个 Log，而 Log 又可以分为多个日志分段，这样也便于日志的清理操作。Kafka 提供了两种日志清理策略：日志删除（Log Retention）：按照一定的保留策略直接删除不符合条件的日志分段。日志压缩（Log Compaction）：针对每个消息的 key
转载
2024-03-25 09:54:04
24阅读
# 如何使用 Android ADB 清理进程
在 Android 开发中，有时需要清理某些进程以释放内存或解决应用程序的运行问题。使用 Android Debug Bridge（ADB）是一种简单而有效的方法。本文将详细介绍如何使用 ADB 清理特定进程的步骤，包括所需代码和注释。
## 整体流程
首先，我们将整个流程以表格的形式展示：
| 步骤 | 描述
原创
2024-10-31 06:30:41
156阅读
文章目录1. kafka日志清理策略概述2. kafka segment2.1 segmnet 的作用2.2 segment生成相关的配置3. 日志清理delete策略3.1 delete 相关配置3.2 简单总结4. 日志清理compact策略4.1 日志compact的使用场景4.2 compact的工作模式4.3 tombstone 消息4.4 低流量topic的注意事项4.5 简单总结c
转载
2024-02-08 15:05:41
1180阅读
# Java 请求头清理掉 Cookie
在进行网络请求时，我们常常会使用 Java 语言来发送 HTTP 请求。在发送请求时，请求头是非常重要的一部分，其中包含了很多关键信息。然而，在某些情况下，我们可能需要清理掉请求头中的 Cookie 信息。本文将介绍如何使用 Java 清理掉请求头中的 Cookie，并提供相应的代码示例。
## 什么是 Cookie？
Cookie 是服务器在客户端
原创
2024-01-07 03:59:33
142阅读
对于浏览器缓存，相信很多开发者对它真的是又爱又恨。一方面极大地提升了用户体验，而另一方面有时会因为读取了缓存而展示了“错误”的东西，而在开发过程中千方百计地想把缓存禁掉。那么浏览器缓存究竟是个什么样的神奇玩意呢？什么是浏览器缓存：简单来说，浏览器缓存就是把一个已经请求过的Web资源（如html页面，图片，js，数据等）拷贝一份副本储存在浏览器中。缓存会根据进来的请求保存输出内容的副本。当下一个请求
为什么需要消息队列周末无聊刷着手机，某宝网APP突然蹦出来一条消息“为了回馈老客户，女朋友买一送一，活动仅限今天！”。买一送一还有这种好事，那我可不能错过！忍不住立马点了去。于是选了两个最新款，下单、支付一气呵成！满足的躺在床上，想着马上有女朋友了，竟然幸福的失眠了……第二天正常上着班，突然接到快递小哥的电话：小哥：“你是xx吗？你的女朋友到了，我现在在你楼下，你来拿一下吧！”。我：“这……我在上
转载
2024-03-27 16:50:49
99阅读
清理kafka zookeeper
原创
2021-07-30 10:17:19
1319阅读
