0x00 概述本文主要讲Kafka自身操作日志的清理方法(非Topic数据)，Topic数据自己有对应的删除策略，请看这里。Kafka长时间运行过程中，在kafka/logs目录下产生了大量的kafka-request.log.*和server.log.*文件，其中*代表日期和时间，比如kafka-request.log.2018-12-08-03和server.log.2018-12-06-03
转载
2024-03-22 10:57:00
447阅读
设置密码登录
原创
2023-08-14 20:28:37
0阅读
文章目录1. kafka日志清理策略概述2. kafka segment2.1 segmnet 的作用2.2 segment生成相关的配置3. 日志清理delete策略3.1 delete 相关配置3.2 简单总结4. 日志清理compact策略4.1 日志compact的使用场景4.2 compact的工作模式4.3 tombstone 消息4.4 低流量topic的注意事项4.5 简单总结c
转载
2024-02-08 15:05:41
1180阅读
本发明属于数据库迁移领域，具体地讲涉及一种kafka与elasticsearch数据库数据的互相迁移方法。背景技术：实现数据共享，可以使更多的人更充分地使用已有数据资源，减少资料收集、数据采集等重复劳动和相应费用，而把精力重点放在开发新的应用程序及系统集成上。由于不同用户提供的数据可能来自不同的途径，其数据内容、数据格式和数据质量千差万别，因而给数据共享带来了很大困难，有时甚至会遇到数据格式不能转
转载
2024-06-05 11:59:16
52阅读
使用Truncate：清理并回收空间，(mysql,sqlserver等有自增序列的数据库将序列归零)，无法恢复，不能回滚；使用drop：删除表，但不回收空间，可以恢复，不能回滚；使用delete：删除记录，不回收空间，可恢复，可回滚；
原创
2021-07-30 14:22:20
1683阅读
zabbix 由于历史数据过大, 因此导致磁盘空间暴涨, 现在准备清理数据库。
原创
2019-03-08 15:16:19
5885阅读
达思SQL数据库修复软件（支持碎片重组，支持加密的修复） 详细介绍达思SQL数据库修复软件 D-Recovery for MS SQL Server 界面达思SQL数据库修复软件（支持碎片重组，支持加密的修复）检测数据库功能能一、达思SQL数据库修复软件（支持碎片重组，支持加密的修复）综述D-Recovery for MS SQL Server达思SQL数据库修复软件是由达
转载
2024-05-13 08:33:52
53阅读
达梦日志分析工具DMLOG1.使用工具的目的2.适用范围3.工具描述4.开启跟踪日志记录执行SQL5.使用条件及限制6.使用说明6.1使用前准备6.2使用方法和步骤7.结果解读 1.使用工具的目的分析SQL是DBA或者数据库服务人员很重要的工作。达梦数据库通过开启SVR_LOG捕捉数据库中运行的所有SQL，并生成SQL日志文件。DMLOG工具是一款简单易用的达梦数据库SQL日志分析工具，旨在帮助
转载
2024-05-21 20:44:25
161阅读
Log-Cutter 是JessMA开源组织开发的一个简单实用的日志切割清理工具。对于服务器的日常维护来说，日志清理是非常重要的事情，如果残留日志过多则严重浪费磁盘空间同时影响服务的性能。如果用手工方式进行清理，会花费太多时间，并且很多时候难以满足实际要求。例如：如何在每个星期六凌晨3点把超过 2G 大的日志文件进行切割，保留最新的 100M 日志记录？ 网上没有发现
转载
2024-04-30 00:40:08
74阅读
目录 Power BI--数据清洗（清扫）Step1：拆分列Step2：重命名列Step3：提取Step4：格式修整Step5：设置字母的大小写Power BI--数据清洗（清扫）当我们将数据整顿好之后，我们需要开始对数据清醒修正处理（清扫工作）。Step1：拆分列观察数据表发现，“咖啡”列中的内容由两部分组成分别是地点城市和咖啡类型，两者中间用“-”分隔。为了便于后期数据分析，这里我们
数据库缓存 相关概念什么是数据库缓存为什么要使用缓存使用mysql查询缓存使用memcache缓存使用redis缓存 什么是数据库缓存MySQL等一些常见的关系型数据库都存储在磁盘当中， 在高并发场景下，业务应用对MySQL产生的增、删、改、查的操作造成巨大的I/O开销和查询压力，这无疑对数据库和服务器都是一种巨大的压力 ，为了解决此类问题，缓存数据的概念应运而生。极大的解决数
1 Debezium是如何从PostgreSQL抓取数据的Debebzium为PostgreSQL提供了PostgreSQL Connector，它通过同步WAL记录实现从PostgreSQL抓取数据的功能。要真正明白PostgreSQL Connector的运行原理，就必须先了解PostgreSQL的WAL机制。2 WAL(Write-Ahead Logging, 预写式日志)WAL保存了对数据
转载
2024-07-24 12:15:14
73阅读
在高qps的系统中，为了避免每次请求都查询数据库，给数据库造成很大的压力，一般都会使用缓存来减轻数据库的访问压力。不过缓存的一些问题会导致缓存失去应有的作用，使得请求还是访问了数据库，给数据库造成了很大的压力。这些问题包括缓冲穿透缓冲击穿缓冲雪崩 一、缓存穿透缓冲穿透是指请求查询的数据，在数据库中根本不存在，所以缓存中也不会有，这样每次请求都会查询数据库的现象。常见的解决方案有两种，一是
转载
2024-05-17 11:18:59
83阅读
背景由于zabbix历史数据过大，导致占用过多磁盘空间，需清理数据，释放空间1、查看表占用空间情况SELECTtable_nameAS"Tables",round(((data_length+index_length)/1024/1024),2)"SizeinMB"FROMinformation_schema.TABLESWHEREtable_schema='zabbix'ORDERBY(data
原创
2019-07-04 11:58:05
6737阅读
数据丢失为大事，针对数据丢失的问题我们排查结果如下。第一：是否存在数据丢失的问题？ 存在，且已重现。第二：是在什么地方丢失的数据，是否是YDB的问题？ 数据丢失是在导入阶段，数据并没有写入到Kafka里面，所以YDB也就不会从Kafka里面消费到缺失的数据，数据丢失与延云YDB无关。第三：是如何发现有数据丢失？ &n
转载
2024-03-27 16:37:58
35阅读
日志清理Kafka 将消息存储在磁盘中，为了控制磁盘占用空间的不断增加就需要对消息做一定的清理操作。Kafka 中每一个分区副本都对应一个 Log，而 Log 又可以分为多个日志分段，这样也便于日志的清理操作。Kafka 提供了两种日志清理策略：日志删除（Log Retention）：按照一定的保留策略直接删除不符合条件的日志分段。日志压缩（Log Compaction）：针对每个消息的 key
转载
2024-03-25 09:54:04
24阅读
由于项目原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志，中间关联的很多东西需要手动同时去清理，否则可能会导致删除后客户端无法消费的情况。 在介绍手动删除操作之前，先简单的介绍一下Kafka消费Offset原理。一、Kafka消费Of
转载
2024-03-27 16:41:51
48阅读
Kafka的诞生Kafka最初是LinkedIn的一个内部基础设施系统。我们发现，虽然有很多数据库和系统可以用来存储数据，但在我们的架构里，刚好缺一个可以帮助处理持续数据流的组件。我们希望能够把数据看成是持续变化和不断增长的流，并给予这样的想法构建出一个数据系统，事实上，是一个数据架构。Kafka一开始被用在社交网络的实时应用和数据流当中，而现在已经成为下一代数据架构的基础。 
转载
2024-03-21 10:53:52
43阅读
文章目录一、主机硬件初始化1、配置RAID1.1、服务器信息1.2、UEFI模式配置RAID1.3、Legacy模式配置RAID二、部署操作系统1、部署要求2、部署操作系统三、部署基础环境1、部署yum server&NTP server服务器1.1、PC连接yum server服务器1.1.1、配置网卡IP1.1.2、PC修改同网段IP1.1.3、VTY客户端连接1.2、配置本地yum
转载
2024-04-15 11:43:36
45阅读
一、Kafka是什么Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的消息队列平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，这使它作为企业级基础设施来处理流式数据非常有价值。此外，Kafka可以通过Kafka Connect连接到外部系统（用于数据输入/输出），并提
转载
2024-03-21 09:22:21
25阅读
