文章目录现象排查解决 现象我们信控平台使用Java语言开发，Spring Cloud微服务架构，采用容器化部署，所有服务都部署在docker里面，使用docker-compose进行管理，使用portainer进行监控平台部署客户现场后，一切功能正常，客户已经使用三个月左右。最后一次更新时一个月前，代码版本也比较新客户需要测试一些我们平台的新功能，周六我们优化人员，开始测试特勤服务。测试时发现平
转载
2024-06-21 12:13:09
109阅读
server.properties中所有配置参数说明(解释)broker.id =0每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况log.dirs=/data/kafka-logskafka数据的存放地址，多个地址的话用逗号分割 /data/kafka-logs-1，/data/kafka-log
转载
2024-07-18 11:53:42
121阅读
Apache Kafka是一个高性能、高可用性、冗余的流消息平台。Kafka的功能很像发布/订阅消息系统，但具有更高的吞吐量、内置分区、复制和容错能力。对于大规模消息处理应用程序来说，Kafka是一个很好的解决方案。它通常与Apache Hadoop和Spark Streaming一起使用。 操作系统要求Kafka对操作系统要求的集合。SUSE Linux企业服务器(SLES)与CentOS不
转载
2024-03-19 02:17:48
155阅读
一、Kafka优化总结1. 设置日志配置参数以使日志易于管理kafka 日志文档 https://kafka.apache.org/documentation/#logkafka 压缩基础知识 https://kafka.apache.org/documentation/#design_compactionbasics 2. 了解 kafka 的 (低)
转载
2024-03-22 10:20:30
123阅读
内存问题本篇文章介绍Kafka处理大文件出现内存溢出 java.lang.OutOfMemoryError: Direct buffer memory，主要内容包括基础应用、实用技巧、原理机制等方面，希望对大家有所帮助。bin目录下的kafka-run-class.sh中须要配置的参数kafka是由scala和java编写的。因此须要调一些jvm的参数。java的内存分为堆内内存和堆外内存。JVM
转载
2024-02-25 06:05:41
267阅读
前言： 上手kafka已有2年的时间，我们的数据处理量也从最初的300g/day发展到今天的T量级在这个过程中也踩了不少坑，在这里分享出来和大家共勉。 一、硬件考量 1.1、内存 不建议为kafka分配超过5g的heap，因为会消耗28-30g的文件系统缓存，而是考虑为kafka的读写预留充足的buffer。Buffer大小的快速计算方法是平均磁盘写入数量的30倍。推荐使用64GB及以上内存的
转载
2024-03-25 16:53:34
529阅读
。 kafka设计这样一个内存缓冲池的好处是什么呢？新版本的kafka是由Java语言实现的，Java语言中有GC机制，在高并发的场景下，如果频繁的创建ByteBuffer对象，然后再销毁ByteBuffer对象，势必会影响性能，甚至还会引发Java GC中的Stop the 
转载
2024-03-24 13:16:33
107阅读
目的：充分发挥kafka在低时延，高吞吐等不同场景下的优势。参数配置：1）提升吞吐量 2）保证低时延 3）保证高持久4）相关参数设置说明1、内存缓冲的大小：buffer.memoryKafka的客户端发送数据到服务器，一般都是要经过缓冲的，也就是说，你通过KafkaProducer发送出去的消息都是先进入到客户端本地的内存缓冲里，然后把很多消息收集成一个一个的Batch，再发送到Broker上去的
转载
2024-03-12 17:56:21
243阅读
CPUKafka是I/O密集型而非计算密集型的框架，所以对CPU的需求是各个指标里最宽松的，消耗CPU的点主要在于消息的压缩和解压缩。一个Kafka Broker节点往往要承载许多个Topic Partition并与许多个Producer/Consumer交互，所以并行度（核心/线程数）要比单核性能（频率）更重要。一般来讲单节点8C/16T，主频2GHz以上（按Broadwell架构计）就可以满足
转载
2024-02-15 16:51:15
97阅读
大数据求索(7)： Kafka的重要原理和概念二 四、Kafka高效性相关设计4.1 消息的持久化Kafka高度依赖文件系统来存储和缓存消息，一般的人认为磁盘是缓慢的，这导致人们对持久化结构具有竞争性持怀疑态度。其实，磁盘远比你想象的要快或者慢，这决定于我们如何使用磁盘。一个和磁盘性能有关的关键事实是：磁盘驱动器的吞吐量跟寻道延迟是相背离的。也就是说，线性写的速度远远大于随机写。比如：在
转载
2024-06-04 13:48:54
77阅读
配置文件在config/server.properties下面的一些配置可能是你需要进行修改的。这里为官方提供配置文件解释：https://kafka.apache.org/08/configuration.html字段名注释备注推荐配置（如留空，则选用默认配置则可）broker.id整数，建议根据ip区分 推荐利用ip如：192.168.1.1；则利用ip末位作为id；方便对应ip寻找
转载
2024-07-30 15:34:39
83阅读
上篇文章我们了解到，如果一个topic分区越多，理论上整个集群所能达到的吞吐量就越大。那么，分区数越多就越好吗？显然不是。今天我们来聊下kafka在分区数过多的情况下，会带来哪些弊端。内存开销客户端producer有个参数batch.size默认为16KB。它会为每个分区缓存消息，一旦批次数满了后，将消息批量发出。一般来说，这个设计是用于提升吞吐性能的。但是由于这个参数是partition级别的，
转载
2023-09-27 17:02:41
763阅读
文章目录一、producer核心配置1、acks ：发送应答（默认值：1）2、batch.size：批量发送大小（默认：16384，16K）3、bootstrap.servers：服务器地址4、buffer.memory：生产者最大可用缓存 (默认：33554432，32M)5、client.id：生产者ID(默认“”)6、compression.type：压缩类型（默认值：producer）7
转载
2024-04-27 15:04:46
355阅读
关键词：kafka生产者的缓存机制Kafka导致OOMKafka数据压缩大量64M堆外内存泄露Docker使用内存不断升高直到重启即堆外内存泄露64Mkafka-producer-network-thread1.背景线上kafka异步系统一段时间会OOM，但是我们的测试环境部署在某平台容器虚拟机上，2.排查过程1.在测试环境能重现服务被打挂，以为重现线上问题，为了拿测试环境的dump文件，增加jv
转载
2024-03-08 14:33:21
259阅读
Flume 官网下载地址：https://flume.apache.org/download.htmlFlume 1.9用户手册中文版：Flume 1.9用户手册中文版 — 可能是目前翻译最完整的版本了flume的配置：1.解压linux>tar -xf apache-flume-1.9.0-bin.tar2.移动目录linux>mv flumexx /opt/install/fl
转载
2024-07-22 09:45:49
61阅读
目录概念及优劣势分析kafka为什么吞吐量大日志检索sendfile零拷贝分区批量发送数据压缩 概念及优劣势分析 与其他mq的区别：kafka其实是个流处理平台，只是提供了发布订阅和topic支持的功能吞吐量高，单区有序，但整体不保证有序能够通过历史日志消费历史数据kafka为什么吞吐量大主要以下四个原因：日志检索 每条消息的组成：一般情况磁盘读写比内存读写慢很多(随机读写方面)。但是kafka
转载
2024-02-27 14:41:33
113阅读
一、项目介绍lz_rec_push_kafka_consume该项目通过kafka与算法进行交互，通过push推荐平台（lz_rec_push_platform）预生成消息体。二、问题背景发现项目的k8s容器会出现重启现象，重启时间刚好是push扩量，每小时push数据量扩大5倍左右。发生问题时，容器配置：CPU：4个，内存：堆内3G，堆外1G。三、问题排查流程：望-闻-问-切望：查看监控系统，观
转载
2024-04-03 12:46:50
111阅读
一 Kafka概述1.1 Kafka是什么在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2）Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提
转载
2024-03-18 20:48:03
215阅读
本文给大家聊一个生产环境的实践经验：线上系统部署的时候，JVM堆内存大小是越大越好吗？ 先说一个前提，本文主要讨论Kafka和Elasticsearch两种分布式系统的线上部署情况，不是普通的Java应用系统 1、是否依赖Java系统自身内存处理数据？ 先说明一点，不管是我们自己开发的Java应用系统，还是一些中间件系统，在实现的时候都需要选择是否基于自己Java进程
转载
2024-06-22 08:54:46
162阅读
Broker 不同于Redis和MemcacheQ等内存消息队列，Kafka的设计是把所有的Message都要写入速度低容量大的硬盘，以此来换取更强的存储能力。实际上，Kafka使用硬盘并没有带来过多的性能损失。Kafka在磁盘上只做Sequence I/O，规避了磁盘访问速度低下对性能可能造成的影响。
转载
2024-03-22 08:29:07
411阅读
