1 简介Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。2 常用术语Broker服务代理 已发布的消息保存在一组服务器中，称之为Kafka集群。集群中的每一个服务
转载
2024-10-16 09:53:56
18阅读
How to choose the number oftopics/partitions in a Kafka cluster?如何为一个kafka集群选择topics/partitions的数量？ This is a common question asked by many Kafka users.The goal of this post is to explain a few i
转载
2024-03-27 11:55:18
304阅读
文章目录分区理解一、单播模式，只有一个消费者组1. topic只有1个partition2. topic有多个partition,该组内有多个消费者二、广播模式，多个消费者组2.1. 多个消费者组，1个partition2.2. 多个消费者组，多个partition三、Java实践-producer3.1. 引入依赖3.2. 导入配置3.3. kafka工具类3.4. 发送消息3.5. 消息序列
转载
2024-08-29 12:51:32
123阅读
kafka topic的制定，我们要考虑的问题有很多，比如生产环境中用几备份、partition数目多少合适、用几台机器支撑数据量，这些方面如何去考量？笔者根据实际的维护经验，写一些思考，希望大家指正。1.replicas数目 可以从上图看到，备份越多，性能越低，因为kafka的写入只写入主分区，备份相当于消费者从主分区pull数据，这样势必会造成性能的损耗，故建议在生产环境中使用
转载
2024-03-07 17:03:53
333阅读
在设计Kafka主题（Topic）时，确定分区（Partition）的数量是一个关键决策，它会直接影响到Kafka集群的性能、吞吐量和可伸缩性。以下是决定分区数量时需要考虑的几个关键因素：1. 吞吐量需求高吞吐量的应用可能需要更多的分区来并行处理数据。增加分区数量可以提高并发度，从而提高整体的处理能力。2. 并发消费者数量分区的数量也限制了可以并发消费Topic的消费者数量。每个消费者组中的消费者
转载
2024-07-02 14:03:26
137阅读
一、困难点建立topic的时候，可以通过指定参数 --replication-factor 设置备份数量。但是，一旦完成建立topic，则无法通过kafka-topic.sh 或者 命令修改replica数量。二、解决办法 实际上，我们可以考虑一种 “另类” 的办法：可以利用 kafka-reassign-partitions.sh 命令对所有分区进行重新分布，在做分区重新分布的时候，通过增加每个
转载
2024-03-07 10:52:29
489阅读
为什么需要关心topic的配置这些参数会影响topic的性能和行为。常见的参数配置1 、partition count一开始就要设置好partition的个数，不要在后面动态的增加partition，否则会破坏key和partition配置的对应关系。 粗略统计，每增加一个partition会给系统增加10MB/sec的吞吐量。更多的partition意味着；更好的并行性和吞吐量BUT 系统需要打
转载
2024-01-28 00:19:30
106阅读
一、首先我们要理解kafka partition内部消息有序，指的是什么有序？ 是消息有序，而不是内容有序，如果你想kafka内部的内容有序，则需要再往kafka发送消息的时候保证内容的发送顺序。1.kafka保证消息顺序配置 kafka producer：失败重试配置不重试： retries=0这个默认就是0max.in.flight.requests.per.connection，这里解释下这
转载
2024-04-24 11:39:07
52阅读
KafkaKafka是Apache下的分布式消息中间件，需要zookeeper的分布式管理才能使用 架构如下Partitionkafka的存储，就不得不提到分区，即partitions，创建一个topic时，同时可以指定分区数目，分区数越多，其吞吐量也越大，但是需要的资源也越多，同时也会导致更高的不可用性，kafka在接收到生产者发送的消息之后，会根据均衡策略将消息存储到不同的分区中每个parti
转载
2024-03-28 15:07:05
48阅读
##1． Kafka整体结构图Kafka名词解释和工作方式 Producer ： 消息生产者，就是向kafka broker发消息的客户端。 Consumer ： 消息消费者，向kafka broker取消息的客户端 Topic ： 可以理解为一个队列。 Consumer Group （CG）：这是kafka用来实现一个topic消息的广播（发给所有的consumer）和单播（发给任意一个
转载
2024-08-07 07:41:02
114阅读
前言好久没有更新AdminClient的博客，主要是一直在摸索怎么用的，官网写的太简略，只能一边研究官网，一边研究源码注释。而且KafkaAPI更新速度飞一样，版本兼容也是个问题，刚刚知道怎么用的，版本过时了又得看新的。而且有些功能API没有提供，就只能去钻研Scala源码，好在和Java差不了很多，虽然不会写，但是勉勉强强能读懂，对于笔者正在开发的项目来说真是崩溃了。所以等笔者把这些内容整理整理
转载
2024-03-01 09:57:58
241阅读
kafka 有几个重要的概念需要先了解一下broker:可以理解为kafka 所在的服务器zookeeper:分布式服务框架在kafka 中的作用主要负责保存topic ，partition 元数据，和对broker 的监控及治理，以及partition 的leader 选举（partition 可以有多个副本，但是只有一个处于工作状态，副本只是负责同步数据，当leader partition 死
转载
2024-05-29 09:17:16
34阅读
压缩（compression）
它秉承了用时间去换空间的经典 trade-off 思想具体来说就是用 CPU 时间去换磁盘空间或网络 I/O 传输量希望以较小的 CPU 开销带来更少的磁盘占用或更少的网络 I/O 传输怎么压缩？
Kafka 的消息层次都分为两层：消息集合（message set）以及消息（message）
一个消息集合中包含若干条日志项（record item），而日志项才是真正
转载
2024-04-17 11:48:34
61阅读
在 0.10 版本之前，Kafka 仅仅只是一个消息系统，主要处理 解耦、异步消息、流量削峰 等问题。 在 0.10 版本之后，Kafka 提供了连接器和流处理的能力，从分布式的消息系统逐渐成为一个流式的数据平台。分区模型Kafka 由多个 broker server (消息代理服务器) 组成，每条消息的类别用 topic (主题) 来表示Kafka 为每个 topic 维护了分布式的 parti
转载
2024-04-01 09:52:29
31阅读
前段时间通过网上查找和自己测试仔细研究了partition和customer关系以及工作中遇到的storm并行度调整的问题，认真梳理了一下现总结如下：一、先说kafka部分：produce方面：如果有多个分区，发送的时候按照key值hashCode%partitionNum哈希取模分区数来决定该条信息发往哪个partition, 这里可以自定义partition的分发策略，只要实现Partitio
转载
2024-06-26 12:58:40
45阅读
Topic和Partition的关系topic是在kafka中是一个逻辑上的概念partition是kafka中的最小的存储单位，消息最终都会进入partition中一个topic可以存在一个或者多个partitionpartition与消费者的消费方式和消息的消费顺序，以及集群下保证高可用都有着密不可分的联系。topic和partition的对应图：Partition与消费者的消费方式的关系消费
转载
2024-06-25 16:59:03
370阅读
kafka保证partition级别的消息有序kafka支持acks（0,1，all）三种级别只要有一个replicas存活，已经committed的message就不会丢失。consumer只能消费已经committed的message。可靠的系统是需要用高吞吐，低延迟和硬件花费来交换的。replication每一个kafka topic都会被分区到partitions级别，partition作
转载
2024-05-28 20:06:56
19阅读
基本框架对应概念1.producer： kafka 集群的终端或服务。2.broker：kafka 集群中包含的服务器。3.topic： kafka 集群的消息属于的类别，即 kafka 是面向 topic 的。4.partition： partition 是物理上的概念，每个 topic 包含一个或多个 partition。kafka 分配的单位是 partition。5.consumer：
转载
2024-04-15 06:26:05
55阅读
首先acks参数，是在kafkaProducer,也就是在生产者客户端里设置的也就是说，你往kafka写东西的时候，就可以设置这个参数。这个参数实际上有三种值可以设置，分别是0,1,和all.第一种选择是把参数设置成0我的kafkaProducer在客户端，只要把消息发送出去，不管那条数据有没有在哪怕Partition Leader上落到磁盘，就不管他了，直接认为这个消息发送成功。如果你采用这种设
转载
2024-02-08 03:42:26
32阅读
PartitionManager算是storm-kafka的核心类了，现在开始简单分析一下。还是先声明一下，metric部分这里不做分析。PartitionManager主要负责的是消息的发送、容错处理，所以PartitionManager会有三个集合 _pending：尚未发送的message的offset集合， 是个TreeSet<Long>()failed ： 发送失败
转载
2024-08-15 21:27:55
64阅读
