2015年11月06日 15:40:56
阅读数：23054 Kafka将数据持久化到了硬盘上，允许你配置一定的策略对数据清理，清理的策略有两个，删除和压缩。数据清理的方式删除log.cleanup.policy=delete启用删除策略直接删除，删除后的消息不可恢复。可配置以下两个策略：清理超过指定时间清理： log.retention.hours=16超过指定大小后，删除旧
转载
2024-02-21 13:11:27
246阅读
Kafka Broker默认的消息保留策略是：要么保留一定时间，要么保留到消息达到一定大小的字节数。当消息达到设置的条件上限时，旧消息就会过期并被删除，所以，在任何时刻，可用消息的总量都不会超过配置参数所指定的大小。topic可以配置自己的保留策略，可以将消息保留到不再使用他们为止。因为在一个大文件里查找和删除消息是很费时的事，也容易出错，所以，分区被划分为若干个片段。默认情况下，每个片段包含1G
转载
2024-02-21 12:59:54
324阅读
Kafka概述消息队列两种模式 1.点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）生产者进入队列以后只为一个消费者服务，信息进入队列是先进先出的，消费者每消费一条则在消息队列中删除该条信息（队列中有顺序的） 2.发布/订阅模式（一对多，消费者消费数据之后不会清除消息）生产者把消息发布到消息队列中，消息是被很多的消费者消费
转载
2024-04-11 13:00:46
87阅读
1、介绍 本节主要利用Stream SQL进行实时开发实战，回顾Beam的API和Hadoop MapReduce的API，会发现Google将实际业务对数据的各种操作进行了抽象，多变的数据需求抽象为三类： 离线的Map、Shuffle、Reduce以及 实时的ParDo、GroupByKey、Combine,这些抽象其实也对应了SQL的操作。SQL开发有如下几类：
1、SharedPreferences是一种轻型的数据存储方式，它的本质是基于XML文件存储key-value键值对数据，通常用来存储一些简单的配置信息。其存储位置在/data/data/<包名>/shared_prefs目录下。SharedPreferences对象本身只能获取数据而不支持存储和修改，存储修改是通过Editor对象实现。实现SharedPreferences存储的步骤
转载
2024-08-24 21:28:11
82阅读
# MySQL Slow Log 不生效的解决方法
在MySQL数据库中，slow query log是一种记录查询执行时间超过某个阈值的日志记录功能。通过分析slow query log，可以帮助我们查找和优化数据库中的慢查询，提高数据库性能。但有时候我们会发现slow query log并没有生效，本文将介绍一些可能的原因和解决方法。
## 可能的原因
1. **Slow query l
原创
2024-04-15 04:04:05
325阅读
本篇来聊一下mybatis的插件机制，基于myabtis 3.4.6版本。知识点什么是插件如何自定义插件插件实现原理什么是插件相信大家平时肯定使用过很多插件，比如eclipse插件、idea的插件、chrome浏览器插件等，简单地说，插件就是一种扩展，它不属于核心功能，没有它不影响我们正常使用，有了它能够让我们使用起来更方便，属于锦上添花。以下引用知乎一篇文章部分内容：主程序如果希望自身的功能可以
pytest是一个测试框架，功能与unittest类似，完全兼容unittest的功能。一般做接口测试的时候，以前用的多的是python+requests+httptestrunner完成接口自动化测试与报告生成，看到现在很多都在用pytest框架，我也来学习一下，接口测试中pytest应用广泛的是通过python+pytest+allure生成测试报告，报告格式比较美观。 文章比较长，
原创
2023-01-06 13:29:16
38阅读
0x00 概述本文主要讲Kafka自身操作日志的清理方法(非Topic数据)，Topic数据自己有对应的删除策略，请看这里。Kafka长时间运行过程中，在kafka/logs目录下产生了大量的kafka-request.log.*和server.log.*文件，其中*代表日期和时间，比如kafka-request.log.2018-12-08-03和server.log.2018-12-06-03
转载
2024-03-22 10:57:00
447阅读
原创
2021-09-07 16:43:43
213阅读
Kafka将消息存储在磁盘中，为了控制磁盘占用空间的不断增加就需要对消息做一定的清理操作。Kafka中每一个分区partition都对应一个日志文件，而日志文件又可以分为多个日志分段文件，这样也便于日志的清理操作。Kafka提供了两种日志清理策略：日志删除（Log Deletion）：按照一定的保留策略来直接删除不符合条件的日志分段。日志压缩（Log Compaction）：针对每个消息的key进
原创
2021-04-03 19:47:59
1823阅读
在上一篇文章《Kafka日志清理之Log Deletion》中介绍了日志清理的方式之一——日志删除，本文承接上篇，主要来介绍Log Compaction。Kafka中的Log Compaction是指在默认的日志删除（Log Deletion）规则之外提供的一种清理过时数据的方式。如下图所示，Log Compaction对于有相同key的的不同value值，只保留最后一个版本。如果应用只关心key
原创
2021-04-03 19:48:52
998阅读
在上一篇文章《Kafka日志清理之Log Deletion》中介绍了日志清理的方式之一——日志删除，本文承接上篇，主要来介绍Log Compaction。Kafka中的Log Compaction是指在默认的日志删除（Log Deletion）规则之外提供的一种清理过时数据的方式。如下图所示，Log Compaction对于有相同key的的不同value值，只保留最后一个版本。如果应用...
原创
2021-09-07 16:44:01
324阅读
1、Partition中的分段存储Segment 一个partition被切割成多个相同大小的segment(这个是由log.segment.bytes 决定，控制每个segment的大小)2、Partition中的Segment文件的数据结构 接下来看下segment的存储结构segment file组成：由2大部分组成，分别为index file和data file，此2个文件一一对应，成对出
转载
2024-03-22 09:48:23
773阅读
文章目录1. kafka日志清理策略概述2. kafka segment2.1 segmnet 的作用2.2 segment生成相关的配置3. 日志清理delete策略3.1 delete 相关配置3.2 简单总结4. 日志清理compact策略4.1 日志compact的使用场景4.2 compact的工作模式4.3 tombstone 消息4.4 低流量topic的注意事项4.5 简单总结c
转载
2024-02-08 15:05:41
1180阅读
kafka是一款基于发布与订阅的消息系统。它一般被称为“分布式提交日志”或者“分布式流平台”。文件系统或者数据库提交日志用来提供所有事物的持久化记录，通过重建这些日志可以重建系统的状态。同样地，kafka的数据是按照一定顺序持久化保存的，可以按需读取。kafka拓扑结构2、Kafka的特点2.1同时为分布和订阅提供高吞吐量。据了解，Kafka每秒可以生产约25万条消息（50MB），每秒处理55万条
转载
2024-03-21 09:50:45
68阅读
这个是自签名$ mkdir -p /data/cert
$ cd /data/cert/创建CA证书$ openssl req -newkey rsa:4096 -nodes -sha256 -keyout ca.key -x509 -days 365 -out ca.crt
Generating a 4096 bit RSA private key
.....................
转载
2024-04-30 00:42:05
67阅读
一、消息传递模型 传统的消息队列最少提供两种消息模型，一种P2P，一种PUB/SUB，而Kafka并没有这么做，巧妙的，它提供了一个消费者组的概念，一个消息可以被多个消费者组消费，但是只能被一个消费者组里的一个消费者消费，这样当只有一个消费者组时就等同与P2P模型，当存在多个消费者组时就是PUB/SUB模型。 Kafka 的 consumer 是以pull的形式
转载
2024-07-03 18:58:56
133阅读
# Java Log 占位符不生效的原因与解决方案
在Java开发中，日志是我们团队沟通和排查问题的重要工具。使用占位符进行日志记录是一种常见的做法，但有时我们会遇到占位符不生效的问题。本文将探讨这个问题的原因以及解决方案，同时提供相关的代码示例。
## 什么是占位符？
在Java中，常用的日志框架如Log4j和SLF4J允许使用占位符来格式化日志。这意味着你可以使用 `{}` 或 `%s`
