1.什么是kafka？ Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 2.消息队列2.1 使用消息队列的好处 1）解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2）可恢复性系统的一部
转载
2024-03-26 21:22:05
45阅读
文章目录9.1 消息中间件MQ9.2 Kafka 是什么9.3 Kafka 架构9.4 为什么一个 Topic 要分成多个 Partition9.5 Kafka 如何处理旧数据9.5 副本同步9.6 Kafka 容灾9.7 Zookeeper 在 Kafka 中的作用 9.1 消息中间件MQ什么是消息中间件：消息中间件关注数据的发送和接收，主要解决的是分布式系统之间的消息传递问题。通过提供 消息
转载
2024-08-07 08:34:57
63阅读
10、消费者分区分配策略：什么是消费者组？Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。组内有多个消费者或者消费实例，它们共享一个ID，称为group ID。Consumer Group 下可以有一个或多个 Consumer 实例。这里的实例可以是一个单独的进程，也可以是同一进程下的线程。在实际场景中，使用进程更为常见一些。Group ID 是一个字符串，在一
转载
2024-02-26 21:30:49
1776阅读
kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。kafka对外使用topic的概念，生产者往topic里写消息，消费者从读消息。为了做到水平扩展，一个topic实际是由多个partition组成的，遇到瓶颈时，可以通过增加partition的数量来进行横向扩容。单个
转载
2024-02-26 13:30:55
196阅读
1-Kafka定义&作用Kafka 是一种高吞吐量的分布式发布订阅消息系统，用于数据的缓冲。具有高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性。作用一：消息系统。具备冗余存储、缓冲、异步通信、扩展性、可恢复性等功能。作用二：存储系统：Kafka有消息持久化和多副本机制。将消息持久化到磁盘，可以把它作为长期的数据存储系统来使用作用三：流式处理平台。Kafka 可以和流式处理框架进行集
转载
2024-03-29 11:19:51
185阅读
1. KAFKA 简介kafka：基于发布订阅模式的消息队列kafka优点：削峰，解耦，高并发，高性能，可热拓展。2. zookeeper & Kafka安装版本信息zookeeperscala：2.11kafka：0.11安装步骤下载Scala以及Kafka压缩包复制到虚拟主机指定文件夹下并执行解压操作# 先安装Scala
tar -zxvf scala-2.11.6.tgz
# 重命名
转载
2024-06-05 20:40:27
65阅读
原创：石头哥@大数据架构师 2021年8月2日 微信：nevian668899概念和作用1、Kafka Controller是Kakfa服务端Broker的概念，Broker集群有多台，但只有一台Broker可以扮演控制器的角色;2、某台Broker一旦成为Controller，它用于以下权力：完成对集群成员管理、主题维护和分区的管理，如集群broker信息、T
原创
精选
2022-01-15 23:36:25
2085阅读
上一篇博客中，我们初步了解了Kafka实质上是一个消息队列，具有异步、解耦、削峰的作用并且在mac环境下安装了Kafka相关环境，具体可以参考Kafka学习笔记(一):Kafka简介与mac下的环境配置。今天我们将以实战的方式深入理解 Kafka 集群的基本组件和专有术语 broker、topic、producer、consumer、partition等。从上节课的实验，我们了解了 Kafka 的
转载
2024-02-20 18:40:01
48阅读
Zookeeper 概述 Zookeeper是一个开源的分布式服务管理框架。存储业务服务节点元数据及状态信息，并负责通知再 ZooKeeper 上注册的服务几点状态给客户端 Zookeeper 工作机制 Zookeeper从设计模式角度来理解: 是一个基
转载
2024-06-06 15:05:12
43阅读
GroupCoordinator机制1 介绍：Kafka 的 Server 端主要有三块内容：GroupCoordinator、Controller 和 ReplicaManager，其中，GroupCoordinator 的内容是与 Consumer 端紧密结合在一起的，简单来说就是，GroupCoordinator 是负责进行 consumer 的 group 成员的rebalance与 of
转载
2024-05-05 23:34:49
77阅读
作者：朱小厮 “请你简述一下Kafka中的分区分配”，当面试官问你这个问题的时候，你会怎么回答？其实，这道题目里面就暗藏汹涌，因为Kafka中的分区分配在多处出现，而这个问题的表述方式是在潜意识里暗示你回答一种，这样在你自认为很完美的回答完这个问题之后，面试官会冷不丁的来一句：还有呢？当你回答完一个点的时候，面试官来一句还有呢，当你再补上一个的时候，他还是会来一句还有呢，就算你又补上第
转载
2024-08-07 08:38:09
12阅读
1、概念控制器组件（Controller），是 Apache Kafka 的核心组件。 Controller的主要作用是在Apache Zookeeper的帮助下管理和协调控制整个Kafka集群，管理元数据，管理集群状态。 集群中任意一台 Broker都能充当控制器的角色，在运行过程中，有且只有一个 Broker 成为控制器，行使其管理和协调的职责。2、集群元数据集群的元数据信息都保存在Contr
转载
2024-03-28 03:37:31
33阅读
kafka源码对 java 和 gradle 版本有适配要求，否则导入源码会编译不通过，笔者引用各版本如下。Kafka源码3.0java版本11grade版本7.4.1图解KafkaProducer流程源代码分析上图对 kafka 生产者初始化的整体流程进行了简单的梳理，接下来我们从代码层面对整体流程进行一个复原。源码导入idea后都会看到一个example工程包，这个包里面有生产者和消费者的例子
转载
2024-04-21 18:26:23
33阅读
1. 消息分区机制原理剖析1.1 分区概念Kafka有主题（Topic）的概念，它是承载真实数据的逻辑容器，而在主题之下还分为若干个分区，也就是说Kafka的消息组织方式实际上是三级结构：主题-分区-消息。主题下的每一条消息只会保存在某一个分区中，而不会在多个分区中被保存多份。官网上这张图非常清晰的展示了kafka的三级结构，如下图所示：1.2 分区的作用分区的作用就是提供负载均衡的能力，或者说对
转载
2024-03-25 17:54:02
33阅读
kafka高可用kafka的高可用表现在一个topic可以有多个分区，分配在不同的机器上。每个分区可以有多个副本，每个副本持有当前分区的所有数据。多个副本会选取一个作为leader，其他作为follower。生产者和消费者都会从leader操作数据。同时leader会把数据同步到follower上。假设某一台机器宕机了，上面刚好作为leader就没了。此时其他机器follower会感知到leade
转载
2024-04-03 15:32:44
78阅读
一， kafka中各组件的作用（1）zookeeper；负责保存broker集群元数据，并对控制器进行选举等操作。（2）producer；生产者，生产者负责创建消息，将消息发送到broker。（3）broker；一个独立的kafka服务器被称作broker，broker负责接受来自生产者的消息，为消息设置偏移量，并将消息存储在磁盘，broker为消费者提供服务，对读取分区的请求做出响应返回已经提交
转载
2024-06-03 14:46:36
98阅读
1. controller 选举每个kafka集群里的controller在某一个时刻只能由一个Broker担任，这个Broker是由集群里的所有Broker选举出来的， 随着时间的推移，Controller可能易主。选举原理： 选举时，每个Broker都尝试向zookeeper写入/controller，但只能有一个Broker成功，这个Broker节点就是Controller所在的节点，同时每
转载
2024-03-27 11:08:46
35阅读
Kafka启动都会创建KafkaController，然后会向zookeeper注册，第一个注册的节点就是Leader，其余都是follower。当KafkaController出现故障，不能继续管理集群，则那些KafkaController follower开始竞争成为新的LeaderKafkaController的启动过程是在startup方法中完成的：首先：注册一个SessionExpira
转载
2024-03-20 11:02:49
75阅读
topic到group质检是发布订阅的通信方式，即一条topic会被所有的group消费，属于一对多模式；group到consumer是点对点通信方式，属于一对一模式。 举例: 不使用group的话，启动10个consumer消费一个topic，这10个consumer都能得到topic的所有数据，
转载
2020-12-21 18:18:00
4795阅读
ACK的生成这向Kafka集群生成数据时Kafka集群给生产者响应策略，acks有三种取值：0、1、-1（all）。
当acks=0的时候，如果follow的数据和leader的数据不一致的时候leader挂掉，这个时候重新选择leader，follow还没来得及同步leader的数据就丢掉了；还有一种情况是当leader没挂也会丢数据，即当网络动荡的时候，数据在网络传输过程中丢掉，就算lead
