一：主题Topic主题（Topic）是kafka消息的逻辑划分，可以理解为是一个类别的名称；kafka通过topic将消息进行分类，不同的topic会被订阅该topic的消费者消费。当这个topic中的消息非常非常多，多到需要几T来存，因为消息是会被保存到log日志文件中的，这无疑是会出现一些问题。为了解决这个文件过大的问题，kafka提出了Partition分区的概念二：分区Partition2
转载
2024-08-06 18:54:09
96阅读
一 副本的作用 1.Kafka 副本作用：提高数据可靠性。2.Kafka 中副本分为：Leader 和 Follower。Kafka 生产者只会把数据发往 Leader， 然后 Follower 找 Leader 进行同步数据。读写由leader来完成，follower只备份，和leader同步数据，leader发生故障，follower顶上去。leader副本：可以理解为某个分区中，除了不是副本
转载
2024-03-16 19:19:07
126阅读
核心概念从概念上讲，topic只是一个逻辑概念，代表了一类消息，也可以认为是消息被发送到的地方。通常可以使用topic来区分实际业务。Kafka中的topic通常会被多个消费者订阅，因此出于性能考虑，kafka并不是topic-meaaage的两极结构，而是采用了topic-partition-message的三级结构来分散负载。从本质上说，每个kafka的topic都有若干个partition组
转载
2024-04-25 16:34:06
799阅读
一、kafka中的topic与partition分区首先需要了解kafka中基本的组成部分。在 kafka 中， topic 是一个存储消息的逻辑概念，可以认为是一个消息集合。每条消息发送到 kafka 集群的消息都有一个topic。物理上来说，不同的 topic 的消息是分开存储的，每个 topic 可以有多个生产者向它发送消息，也可以有多个消费者去消费其中的消息；partition分区是top
转载
2023-10-01 11:20:06
749阅读
什么是kafka kafka官方定义是一个分布式流处理平台，但是他更多是被用来当作一个分布式消息队列来使用。重要概念：borker: kafka集群可以有多个borker实例组成，每个实例称为borker。topic： 主题，主题是一个逻辑概念，可以理解为topic是一种类别。kafka吧收到的消息按topic进行分类。partition： 分区，分区是物理分区，一个主题中会有多个分
转载
2024-03-26 10:03:16
58阅读
文章目录1.Kafka 核心概念2. 生产消费模型讲解2.1 点对点2.2 发布、订阅模型3. 生产者实战讲解3.1 生产者投递数据到broker分区的策略3.2 生产者常见配置3.2 ProduceRecord 介绍4. 消费者实战讲解4.1 Consumer消费者机制和分区策略4.2 消费者常用配置5. Kafka数据文件存储-ISR核心讲解5.1 Kafka数据存储流程和log日志6. S
转载
2024-03-04 16:20:38
473阅读
概念：消费者组：Consumer Group ，一个Topic的消息能被多个消费者组消费，但每个消费者组内的消费者只会消费topic的一部分再均衡rebalance：分区的所有权从一个消费者转移到另一个消费者消费者通过被指派为群组协调器的broker(不同的群组可以有不同的协调器) 发送心跳来维持它们和群组的从属关系以及它们对分区的所有权关系。只要消费者以正常的时间间隔发送心跳，就被认为是活跃的，
转载
2024-05-31 16:44:43
58阅读
Kafka的分区，相当于把一个Topic再细分成了多个通道（对应 多个线程）部署的时候尽量做到一个消费者（线程）对应一个分区。 如何确定Kafka的分区数，key和consumer线程数，以及不消费问题解决怎么确定分区数？
Kafka官网上标榜自己是"high-throughput distributed messaging system"，即一个高吞吐量的分布式消息引擎。那么怎么
转载
2023-11-20 11:39:29
52阅读
一、Kafka压力测试 创建一个只有1个分区的topic，测试这个topic的producer吞吐量和consumer吞吐量，假设他们的值分别是Tp和Tc,单位可以是MB/s,然后假设总的目标吞吐量是Tt,那么分区数=Tt/max（Tp,Tc） 1）Kafka压测 用Kafka官方自带的脚本，对Ka ...
转载
2021-08-24 10:54:00
1895阅读
2评论
Topic PartitionsTopic 就是数据主题，一个逻辑概念，可以用来区分业务系统。Kafka中的Topics总是多订阅者模式，一个topic可以拥有一个或者多个消费者来订阅它的数据。Topic下的数据会被进一步分配到分区中（partitions），Partition 是最小的存储单元，掌握着一个 Topic 的部分数据。每个 Partition 都是一个单独的 log 文件，每条记录（
转载
2023-09-30 19:32:33
553阅读
1 Kafka的工具类1.1 从kafka消费数据的方法消费者代码def getKafkaDStream(ssc : StreamingContext , topic: String , groupId:String ) ={
consumerConfigs.put(ConsumerConfig.GROUP_ID_CONFIG , groupId)
val kafkaDStr
转载
2024-06-20 09:01:46
122阅读
zookeeper: 负责集群元数据管理、控制器的选举等操作producer: 将消息发送到 brokerbroker: 将收到的消息存储到磁盘中consumer: 负责从 broker 订阅并消费消息topic: 消息主题（逻辑概念），生产者和消费者都以 topic 为单位进行生产和消费partition: 分区（也称作 topic-partition 主题分区，topic 的物理概念），同一个
转载
2024-03-18 16:55:43
74阅读
1.若没有分区，一个topic对应的消息集在分布式集群服务组中，就会分布不均匀，即可能导致某台服务器A记录当前topic的消息集很多，若此topic的消息压力很大的情况下，服务器A就可能导致压力很大，吞吐也容易导致瓶颈。有了分区后，假设一个topic可能分为10个分区，kafka内部会根据一定的算法把10分区尽可能均匀分布到不同的服务器上，比如：A服务器负责topic的分区
转载
2024-03-21 11:49:13
109阅读
首先介绍下相关的概念producer 发送数据的一方consumer 消费数据的一方consumer group 消费者组,当消费者组中的某个消费者消费掉了分区中的某一条消息时,该组中的其他消费者不会在消费该条数据 消费者必须指定消费者组partition 使kafka能够横向扩展,一个topic可以有多个分区,在创建topic时 kafka根据内部的负载均衡算法 将分区均匀的分布在多个broke
转载
2024-03-14 06:47:12
179阅读
我现在使用的是librdkafka 的C/C++ 的客户端来生产消息，用flume来辅助处理异常的数据，，，但是在前段时间，单独使用flume测试的时候发现，flume不能对分区进行负载均衡！同一个集群中，一个broker的一个分区已经有10亿条数据，另外一台的另一个分区只有8亿条数据；因此，我对flume参照别人的做法，增加了拦截器；即在flume配置文件中 增加以下字段；-----
stage
转载
2024-06-19 09:03:06
110阅读
我现在使用的是librdkafka 的C/C++ 的客户端来生产消息，用flume来辅助处理异常的数据，，，但是在前段时间，单独使用flume测试的时候发现，flume不能对分区进行负载均衡！同一个集群中，一个broker的一个分区已经有10亿条数据，另外一台的另一个分区只有8亿条数据；因此，我对flume参照别人的做法，增加了拦截器；即在flume配置文件中 增加以下字段；-----stage_
转载
2024-06-25 18:11:14
54阅读
生产者发送数据可靠性保证图解 为了保证producer发送的数据，能可靠的发送到指定的topic，topic的每个partition收到producer发送的数据后，都需要向producer发送ack（acknowledgement 表示确认收到），如果producer收到ack，就会进行下一轮的发送，否则重新发送数据。两种数据同步方案，Kafka选择了第二种，原因如下： 1.同样为了容忍n台节点
转载
2024-03-20 09:47:40
63阅读
Kafka基本概念及术语1 Topic 主题。在Kafka中，使用一个类别属性来划分消息的所属类，划分消息的这个类称为topic。topic相当于消息的分类标签，是一个逻辑概念。 2 Partition 分区。topic中的消息被分割为一个或多个partition，其是一个物理概念，对应
转载
2023-08-21 18:58:05
122阅读
Kafka拓扑结构1.producer： 消息生产者，发布消息到 kafka 集群的终端或服务。 2.broker： kafka 集群中包含的服务器。 3.topic： 每条发布到 kafka 集群的消息属于的类别，即 kafka 是面向 topic 的。 4.partition： partition 是物理上的概念，每个 topic 包含一个或多个 partitio
转载
2024-02-09 16:58:36
56阅读
Kafka中的模块概念：Broker：Broker是Kafka的实例，每台服务器都有一个或多个Broker，Borker端不维护数据的消费状态，直接用磁盘存储数据，线性读写，提高效率。Producer：发布者，将消息推送给BrokerConsumer：消费者，从Broker端拉取消息Topic：发送到Broker的消息都是以Topic主题分类的Partition：Topic的分区，是物理上的概念C
转载
2024-03-19 13:03:59
150阅读
