因硬盘太小,数据量太大 不得不将数据的保存时间从默认的7天变为一天
设置了参数log.retention.hours=24 但是发现3天前的数据还是存在
查询官方文档发现
活动的segment是不会压缩的 ,做了几个实验看有没有方法能够删除一直在发的topic数据
实验一
添加一个testdelet的topic 每隔10s发送一次数据 ,看一个小时是否会清除一个小时前数据 ,区别:每条记录发送结束后会关闭kafka连接
观察时间 14:59分 发现未删除 结论 不分片没有用
实验二
修改server.properties d文件 设置
log.retention.hours=1
log.retention.ms=3600000
log.cleanup.polict=delete
log.segment.delete.delay.ms=60000
log.cleanup.interval.mins=10
log.retention.check.interval.ms=600000
看是否有不同变化
结论 和之前没有区别 数据没有区别, 该实验无效
实验三:
查看kafka tool在读取数据是否会对删除产生影响
结论 无影响 该实验无效
实验四 :
在 15.10分左右给control发送200条数据 ,看多少时间之后会被删除数据
实验五
停止一组topic的发送,看是否有变化 ,写修改
./kafka-configs.sh --entity-name simulator_250 --zookeeper localhost:2181 --entity-type topics --alter --add-config segment.bytes=10000000,retention.ms=3600000,retention.bytes=20000000
1. 关闭发送程序 10分钟后查看是否会删除历史数据
结论 不会被删除数据
2.将topic从消费者处删除 ,查看是否有效
结论 没有删除
3.等待删除时间
结论在 00000000.log的最后一条数据等待一个小时后 该数据被删除了
其他的日志也在陆续过来1个小时后删除
结论 kafka数据是否删除和是否有数据消费读取没有关系 ,和最后一个片段的最后一条数据的时间间隔有关
实验六
修改 segment.bytes=10000000,retention.ms=3600000
看1个小时后是否能够删除旧的文件片段
结果:
能够删除 删除片段的开始时间11.20,最后时间 14.10分 真正删除时间 14:50分
结论 切片后能够删除 其他topic没有删除
实验全部结论:
kafka数据想要删除需要设置 log.roll.hours(轮转时间)或是segment.bytes(文件大小) 控制日志文件一个最大为多大或多久切片 ,当上个日志文件的最后一条时间到达了log.segment.hours的时间后,上一条日志就会删除 ,或是该topic等待log.segment.hours时间没有数据进入 该topic会被删除
或是默认情况下 segment到达了1G自动分片 或是达到7天自动分片 导致旧的数据被删除
默认删除的轮训时间是10分钟,所以可能部分的的时间有一点区别
所有在配置中加入 log.roll.hours=12既可以解决问题