一、topic命令下面Windows命令需要把cmd路径切换到bin/windows下。而Linux命令只需要在控制台切换到bin目录下即可。下面都以Windows下的操作为例，在Linux下也是一样的。1.1 查看主题命令的参数kafka-topics.bat # Windows
kafka-topics.sh # Linux输入以上命令就可以看到主题命令可以附加哪些参数来执行，参数有很多
转载
2024-03-21 06:50:21
76阅读
在本文中，我将描述Kafka中日志压缩数据结构。然后，我会向大家展示Kafka如何在内部将这些topic的状态保存在文件系统中。预备知识我假设大家已经熟悉Apache Kafka的基本概念，比如代理(broker)、主题(topic)、分区(partition)、消费者(consumer)和生产者(producer)。此外，如果想运行示例命令，还必须运行Kafka broker和Zookeeper
转载
2024-04-05 15:27:54
104阅读
影响kafka集群性能的因数有多个，网络带宽、cpu、内存、磁盘读写速度、副本数、分区数、broker数量、内存缓存等因素都会影响kafka集群的性能
1.优化kafka集群配置
server.properties配置文件优化
num.network.threads=4
num.io.threads=4
socket.send.buffer.by
转载
2024-03-18 00:02:12
437阅读
文章目录kafka消息压缩官方说明CompressionDesignOffset management on the consumerBackwards compatibilityConfiguration changesCompression codecs supported kafka消息压缩官方说明Compression该特性引入了 Kafka 中端到端的块压缩特性。 如果启用，数据将由生产
转载
2024-03-24 13:36:44
79阅读
kafka 效率优化 数据分区存储在topic内设置了多个分区，使kafka的消费者进程池能得到有序性保证和负载均衡，使得topic对应的消费组里的消费者们各自可以独享一个分区。如此的话，每个消费者是其消费的分区的唯一reader，在单个reader下当然保证了有序这件事。而且多个分区也使得负载可以比较平衡。具体流程：1. Pr
转载
2024-03-27 16:33:23
112阅读
说明：当前
kafka的版本为2.8.11，Spring Boot的版本为2.7.6。第一步：在pom.xml中引入下述依赖<dependency>
<groupId>org.springframework.
kafka</groupId>
<artifactId>spring-
kafka</artifactId>
<versio
转载
2024-02-20 17:21:43
447阅读
基本的操作和管理zookeeper 启动:./bin/zkServer.sh start kafka启动：./bin/kafka-server-start.sh config/server.properties &-- 创建bin/kafka-topics.sh --create --zookeeper 192.168.179.11:2181 --replication-factor 1
首先就是比如rabbitmq、rocketmq、kafka，都有可能会出现消费重复消费的问题，正常。因为这问题通常不是mq自己保证的，是给你保证的。然后我们挑一个kafka来举个例子，说说怎么重复消费吧。kafka实际上有个offset的概念，就是每个消息写进去，都有一个offset，代表他的序号，然后consumer消费了数据之后，每隔一段时间，会把自己消费过的消息的offset提交一下，代表我
转载
2024-10-28 09:43:21
16阅读
概述Kafka目前支持GZIP、Snappy、LZ4、zstd、不压缩这几种压缩算法。在开启压缩时，Kafka会选择一个batch的消息一起压缩，这样的一批消息就是一个压缩分段，我们也可以通过参数来控制每批消息的大小。在Kafka中，生产者生成一个压缩分段发给broker，在broker中是不会解压这个压缩分段的（因为在Kafka中一个batch的消息在broker中是不会拆分的，自然也不会进行解
转载
2024-03-16 03:03:30
87阅读
Apache Kafka 2.1.0正式支持ZStandard —— ZStandard是Facebook开源的压缩算法，旨在提供超高的压缩比(compression ratio)，具体细节参见https://facebook.github.io/zstd/。本文对Kafka支持的这几种压缩算法(GZIP、Snappy、LZ4、ZStandard)做了一下基本的性能测试，希望能够以不同维度去衡量不
转载
2024-04-24 15:39:10
97阅读
配置application.yml(一般项目自动生成的是applicaiton.properties，但为了书写简便，改成yml)spring:
kafka:
bootstrap-servers: 10.3.13.213:9092,10.3.13.197:9092,10.3.13.194:9092
producer:
key-serializer: org.
转载
2024-03-22 10:51:29
214阅读
Kafka之常用参数配置整理一、Broker端参数1、存储2、Zookeeper3、连接4、Topic管理5、数据留存二、Topic级别参数三、JVM参数四、操作系统参数 一、Broker端参数1、存储log.dirs：指定broker使用的若干个文件目录路径。（无默认值，必须指定）log.dir：配置单个路径，用于上个参数的补充。通常情况下，我们只需要设置log.dirs即可。而且建议配置多个
转载
2024-02-19 21:35:32
126阅读
今天我要和你分享的内容是：生产者压缩算法面面观。说起压缩（compression），我相信你一定不会感到陌生。它秉承了用时间去换空间的经典 trade-off 思想，具体来说就是用 CPU 时间去换磁盘空间或网络 I/O 传输量，希望以较小的 CPU 开销带来更少的磁盘占用或更少的网络 I/O 传输。在 Kafka 中，压缩也是用来做这件事的。今天我就来跟你分享一下 Kafka 中压缩的那些事
转载
2024-03-27 10:44:07
56阅读
摘要： 我们用Apache或者CDH下载下来的hadoop安装包来安装hadoop是不支持snappy压缩的，我们可以查看$HADOOP_HOME/lib/native,最开始里面是空的。或者执行hadoop checknative -a来查看支持的压缩，发现压缩格式基本都是false。如果要用snappy压缩，需要重新编译hadoop。下面我们来编译hadoop。一、编译准备部署JAVA环境安
转载
2024-08-03 13:03:02
32阅读
压缩具体来说就是用 CPU 时间去换磁盘空间或网络 I/O 传输量，希望以较多的 CPU 开销带来更少的磁盘占用或更少的网络 I/O 传输。在 Kafka 中，压缩也是用来做这件事的。怎么压缩？说起压缩消息，就要从 Kafka 的消息格式说起了。目前 Kafka 目前共有三大类消息格式v0、v1、v2不论是哪个版本，Kafka 的消息层次都分为两层：消息集合（message set）以及消息（me
转载
2024-02-10 20:48:36
65阅读
Apache Kafka 2.1.0正式支持ZStandard —— ZStandard是Facebook开源的压缩算法，旨在提供超高的压缩比(compression ratio)，具体细节参见https://facebook.github.io/zstd/。本文对Kafka支持的这几种压缩算法(GZIP、Snappy、LZ4、ZStandard)做了一下基本的性能测试，希望能够以不同维度去衡量不
转载
2023-09-07 20:54:20
440阅读
在某些情况下，整个应用的瓶颈不在于CPU或者磁盘，而是受网络带宽的影响。当然你可以选择在业务代码中对每一条消息做压缩处理，之后再发送到kafka中，之后业务消费端再进行解压处理，这种方式对应消息的压缩效率是非常低。而真正有效的压缩是对一批消息进行压缩而不是单独的为每条消息进行压缩。
原创
2021-09-07 16:40:21
224阅读
压缩的是使用时间换空间的思想，具体来说就是使用CPU的时间去换取空间或网络I/0传输量。怎么压缩？kafka是如何压缩的消息的呢？目前，kafka共有俩大消息格式，社区分别称之为V1版本和V2版本。V2B版本是在kafka0.11.0.0中正式引入的。不论哪个版本，kafka的消息分为俩层：消息集合（message set）以及消息（message）。一个消息集合中包含若干条日志项（record
转载
2023-11-24 13:22:24
169阅读
文章目录前言怎么压缩？何时压缩？何时解压？最佳实践 前言具体来说就是用 CPU 时间去换磁盘空间或网络 I/O 传输量，希望以较小的 CPU 开销带来更少的磁盘占用或更少的网络 I/O 传输。在 Kafka 中，压缩也是用来做这件事的。怎么压缩？Kafka 是如何压缩消息的呢？要弄清楚这个问题，就要从 Kafka 的消息格式说起了。目前 Kafka 共有两大类消息格式，社区分别称之为 V1 版本
转载
2024-09-15 20:34:52
423阅读
kafka的配置文件包含server.properties、proceducer.properties、consumer.properties, 分别为 broker、producer、consumer三个不同的配置。一、Broker配置 最为核心的三个配置 broker.id、log.dir、zookeeper.connect 。Broker配置有一个博主有着很详细的解释，欢迎参考：htt
转载
2024-06-18 07:57:12
247阅读
