原创
2021-09-07 16:43:43
213阅读
Kafka将消息存储在磁盘中，为了控制磁盘占用空间的不断增加就需要对消息做一定的清理操作。Kafka中每一个分区partition都对应一个日志文件，而日志文件又可以分为多个日志分段文件，这样也便于日志的清理操作。Kafka提供了两种日志清理策略：日志删除（Log Deletion）：按照一定的保留策略来直接删除不符合条件的日志分段。日志压缩（Log Compaction）：针对每个消息的key进
原创
2021-04-03 19:47:59
1823阅读
在上一篇文章《Kafka日志清理之Log Deletion》中介绍了日志清理的方式之一——日志删除，本文承接上篇，主要来介绍Log Compaction。Kafka中的Log Compaction是指在默认的日志删除（Log Deletion）规则之外提供的一种清理过时数据的方式。如下图所示，Log Compaction对于有相同key的的不同value值，只保留最后一个版本。如果应用只关心key
原创
2021-04-03 19:48:52
998阅读
在上一篇文章《Kafka日志清理之Log Deletion》中介绍了日志清理的方式之一——日志删除，本文承接上篇，主要来介绍Log Compaction。Kafka中的Log Compaction是指在默认的日志删除（Log Deletion）规则之外提供的一种清理过时数据的方式。如下图所示，Log Compaction对于有相同key的的不同value值，只保留最后一个版本。如果应用...
原创
2021-09-07 16:44:01
324阅读
# MongoDB日志清理
## 简介
在使用MongoDB时，日志文件是非常重要的。它们记录了数据库运行过程中的各种信息，如错误消息、性能指标和操作记录。随着时间的推移，日志文件会不断增加，占用大量的磁盘空间。为了优化系统性能和节省磁盘空间，我们需要定期清理MongoDB的日志。
本文将介绍如何清理MongoDB的日志文件，包括手动清理和自动清理两种方法。我们将使用MongoDB的内置命令
原创
2023-09-29 23:52:19
1082阅读
# Yarn Log日志清理
在日常开发中，我们经常会使用Yarn作为包管理工具来管理项目依赖。Yarn会记录安装和更新包的操作日志，这些日志可能会占用大量磁盘空间。因此，及时清理Yarn的日志是一个很好的习惯，可以帮助我们释放磁盘空间，提高系统性能。
## 为什么清理Yarn日志
Yarn的日志文件会记录每次安装和更新包的详细信息，包括操作时间、包名、版本号等。随着项目的不断开发，这些日志
原创
2024-06-07 06:05:03
111阅读
kafka日志结构概述kafka 日志在磁盘上的组织结构如下： kafka日志由多个日志段组成，每个日志段会在磁盘上创建一组文件,包括消息日志文件（.log）,位移索引文件（.index）,时间戳索引文件（.timeindex）,以及终止事务文件（.txnindex),该文件只在使用索引的情况下创建。 一般情况下，一个kafka主题有很多分区，每个分区对应一个Log对象，在物理磁盘上对应一个子目录
转载
2024-02-11 09:09:47
526阅读
《slog正式版来了：Go日志记录新选择！[1]》一文发布后，收到了很多读者的反馈，意见集中在以下几点：基于slog如何将日志写入文件slog是否支持log轮转(rotation)，如果slog不支持，是否有好的log轮转插件推荐？如何与kafka集成日志输出有哪些最佳实践这篇文章就是对上述问题进行补充说明的，供大家参考，希望能给大家带去帮助。1. 输出日志到文件之所以《slog正式版来了：Go日
ELK+kafka+filebeat企业内部日志分析系统elk:日志搜集平台ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BLCPmQgN-1583241501529)(assets/1565095105964.png)]1、组件介绍1、Elasticsearch：ElasticS
转载
2024-10-28 10:37:11
18阅读
一、为什么要定时清理log文件？实际工作中，我们部署到服务器的应用可能随时在写入日志，有的应用一天产生的日志就较大，但是磁盘空间有限，所以磁盘常常很快就处于用完状态，并由此产生一些问题，比如服务器上应用可能挂掉，影响生产。二、如何清理log文件？估摸着时间就去看看磁盘删删log文件？？显然不科学，，这里记录一个高效的方法：编写Linux定时任务脚本，自动清理log日志文件。1、创建shell脚本文
转载
2024-01-31 00:33:57
29阅读
2015年11月06日 15:40:56
阅读数：23054 Kafka将数据持久化到了硬盘上，允许你配置一定的策略对数据清理，清理的策略有两个，删除和压缩。数据清理的方式删除log.cleanup.policy=delete启用删除策略直接删除，删除后的消息不可恢复。可配置以下两个策略：清理超过指定时间清理： log.retention.hours=16超过指定大小后，删除旧
转载
2024-02-21 13:11:27
246阅读
server.propertieslog.cleanup.policy=delete #清理日志lo
原创
2022-12-01 17:02:40
475阅读
目录:GitHub项目地址：https://github.com/PlutoaCharon/Golang_logCollect⭐Golang实战之海量日志收集系统（一）项目背景介绍Golang实战之海量日志收集系统（二）收集应用程序日志到Kafka中Golang实战之海量日志收集系统（三）简单版本logAgent的实现Golang实战之海量日志收集系统（四）etcd介绍与使用etcd获取配置信息G
目录 1、Flume插件1.1 简介1.2 安装1.3 配置1.4 测试2、Flume集成Kafka2.1 配置kafka信息2.2 启动zookeeper，kafka，flume2.3 测试3、Flume生产日志收集3.1 日志收集配置3.2 测试4、Fink安装和简单实用4.1 概述4.2 安装配置4.3 启动测试4.4 体验Flink5、Flink集成Kafka5.1 引入pom依
Kafka日志存储结构众所周知，Kafka的Topic可以有多个分区，分区其实就是最小的读取和存储结构，即Consumer看似订阅的是Topic，实则是从Topic下的某个分区获得消息，Producer发送消息也是如此。topic-partition关系上图是总体逻辑上的关系，映射到实际代码中在磁盘上的关系则是如下图所示：每个分区对应一个Log对象，在磁盘中就是一个子目录，子目录下面会有多组日志段
转载
2023-08-19 19:30:56
264阅读
为什么需要消息队列周末无聊刷着手机，某宝网APP突然蹦出来一条消息“为了回馈老客户，女朋友买一送一，活动仅限今天！”。买一送一还有这种好事，那我可不能错过！忍不住立马点了去。于是选了两个最新款，下单、支付一气呵成！满足的躺在床上，想着马上有女朋友了，竟然幸福的失眠了……第二天正常上着班，突然接到快递小哥的电话：小哥：“你是xx吗？你的女朋友到了，我现在在你楼下，你来拿一下吧！”。我：“这……我在上
转载
2024-03-27 16:50:49
99阅读
sudo rm /var/log/kern* &>/dev/null
sudo rm /var/log/messages* &>/dev/null
转载
2023-07-08 15:34:53
509阅读
MongoDB中有几种日志？任何一种数据库都有各种各样的日志，MongoDB也不例外。MongoDB中有4种日志，分别是系统日志、Journal日志、oplog主从日志、慢查询日志等。这些日志记录着MongoDB数据库不同方面的踪迹。下面分别介绍这几种日志。系统日志系统日志在MongoDB数据库中很重要，它记录着MongoDB启动和停止的操作，以及服务器在运行过程中发生的任何异常信息。配置系统日志
转载
2023-07-28 11:16:37
697阅读
1、Partition中的分段存储Segment 一个partition被切割成多个相同大小的segment(这个是由log.segment.bytes 决定，控制每个segment的大小)2、Partition中的Segment文件的数据结构 接下来看下segment的存储结构segment file组成：由2大部分组成，分别为index file和data file，此2个文件一一对应，成对出
转载
2024-03-22 09:48:23
773阅读
一、概述Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复杂度为O(1)的方式提供消息持
转载
2024-03-16 07:48:30
39阅读
