目录Hlog WALs和oldWALs整体流程HMaster 初始化定时执行LogCleaner日志清理类ReplicationLogCleaner 日志清理类总结Hlog WALs和oldWALs这里先介绍一下Hlog失效和Hlo
原创
2023-05-06 15:01:25
192阅读
Hlog WALs和oldWALs这里先介绍一下Hlog失效和Hlog删除的规则HLog失效：写入数据一旦从MemStore中刷新到磁盘，HLog（默认存储目录在/hbase/WALs下）就会自动把数据移动到 /hbase/oldWALs 目录下，此时并不会删除Hlog删除：Master启动时会启动一个线程，定期去检查oldWALs目录下的可删除文件进行删除，定期检查时间为 hbase.master.cleaner.interval ，默认是1分钟 ，删除条件有两个：1.Hlog文件在参与主从复制
原创
2021-07-02 10:01:20
540阅读
由于项目原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志，中间关联的很多东西需要手动同时去清理，否则可能会导致删除后客户端无法消费的情况。 在介绍手动删除操作之前，先简单的介绍一下Kafka消费Offset原理。一、Kafka消费O
转载
2024-03-27 16:49:55
79阅读
## HBase Master日志清理配置的值在哪里
作为一名经验丰富的开发者，你经常会遇到一些刚入行的小白对于一些配置项的不了解。今天，你需要教会一位刚入行的小白如何实现"HBase Master日志清理配置的值在哪里"这个需求。下面是整个过程的步骤：
| 步骤 | 操作 |
| ---- | ---- |
| 步骤1 | 登录到HBase的Master节点 |
| 步骤2 | 打开HBas
原创
2023-08-23 09:04:44
200阅读
Hlog WALs和oldWALs这里先介绍一下Hlog失效和Hlog删除的规则HLog失效：写入数据一旦
原创
2022-01-19 10:43:34
290阅读
1.简介 将数据插入HBase表中的方法很多，我们可以通过TableOutputFormat以Mapreduce on HBase的方式将数据插入，也可以单纯的使用客户端API将数据插入。但是以上方法效率并不高。而使用BulkLoad特性能够利用MR计算框架将源数据直接生成内部的hfile格式，然后可以在不重启HBase集群的场景下数据load到对应表中。 BulkLoad方法能够将数据快速的
转载
2023-06-29 21:53:02
113阅读
之前介绍了按照时间空间老化消息的定时任务，本篇来看一下 LogCleaner 线程，如果在配置中指定了 log.cleaner.enable=true，那么在 LogManager#startup 方法的最后会调用 LogCleaner#startup 方法启动 LogCleaner 线程对日志数据执行清理工作。本篇针对配置了 cleanup
转载
2024-03-18 08:23:24
392阅读
1.hbase.master.logcleaner.plugins
描述
由LogsCleaner服务调用的BaseLogCleanerDelegate的逗号分隔列表。这些WAL清理是按顺序调用的。要实现您自己的BaseLogCleanerDelegate，只需将其放入HBase的类路径中，并在此添加完全限定的类名。始终在列表中添加上面的默认日志清理工具。
默认
org.apache.hadoop
转载
2023-06-05 10:21:51
56阅读
