一.主题操作使用kafka-topics.sh工具可以执行主题的大部分操作（配置变更部分已被启用并被移动到kafka-configs.sh工具中）。我们可以用它创建、修改、删除和查看集群里的主题，要使用该工具的全部功能，需要通过 --zookeeper 参数提供zookeeper的连接字符串。1.创建主题创建一个名叫 my-topic 的主题，该主题拥有2个副本、8个分区。replication-
转载
2024-07-22 10:24:36
554阅读
搭建Kafka高可用集群此文以Kafka 2.8.0版本为例！如未指定，下述命令在所有节点执行！系统资源及组件规划节点名称系统名称CPU/内存网卡磁盘IP地址OS节点角色Kafka1kafka12C/4Gens33128G192.168.0.11CentOS7Kafka、ZooKeeperKafka2kafka22C/4Gens33128G192.168.0.12CentOS7Kafka、ZooK
转载
2024-04-06 10:15:39
553阅读
搭建准备搭建zookeeper集群。因为kafka是依赖于zookeeper的。 搭建流程见文章：Linux下配置Zookeeper集群1.下载kafka记得先启动zookeeper集群 下载地址： http://kafka.apache.org/downloads.htmlmdkir -p /usr/app/kafka
cd /usr/app/kafka
wget https://mirrors
转载
2024-03-21 08:48:32
104阅读
Kafka中的每个partition都由一系列有序的、不可变的消息组成，这些消息被连续的追加到partition中。partition中的每个消息都有一个连续的序号，用于partition唯一标识一条消息。Offset记录着下一条将要发送给Consumer的消息的序号。Offset从语义上来看拥有两种：Current Offset 和 Committed Offset。Current Offset
转载
2024-05-31 21:34:49
131阅读
系统运维的过程中，每一个细节都值得我们关注下图为我们的基本日志处理架构 所有日志由Rsyslog或者Filebeat收集，然后传输给Kafka，Logstash作为Consumer消费Kafka里边的数据，分别写入Elasticsearch和Hadoop，最后使用Kibana输出到web端供相关人员查看，或者是由Spark接手进入更深层次的分析。在以上整个架构中，核心的几个组件Kafk
转载
2024-06-01 04:36:58
282阅读
文章目录前言Group 状态机offset 那些事Topic __consumer_offsetsGroupCoordinator状态转移图Consumer 初始化Consumer poll 过程解析Consumer 初始化时 group 状态变化Consumer Rebalance 前言前段时间看一下 Kafka 的部分源码（0.10.1.0 版），对一些地方做了一些相应的总结。本文主要就 K
转载
2024-07-04 16:38:32
176阅读
最近工作中遇到需要使用kafka的场景，测试消费程序启动后，要莫名的过几十秒乃至几分钟才能成功获取到到topic的partition和offset，而后开始消费数据，于是学习了一下查看kafka broker里topic和consumer group状态的相关命令，这里记录一下。命令参考自《Kafka: The Definitive Guide》 Chapter 9 Administrating Kafka以下命令中使用的zookeeper配置地址为127.0.0.1:2181，bootstrap-
转载
2021-08-10 09:38:27
3485阅读
最近工作中遇到需要使用kafka的场景，测试消费程序启动后，要莫名的过几十秒乃至几分钟才能成功获取到到topic的partition和offset，而后开始消费数据，于是学习了一下查看kafka broker里topic和consumer group状态的相关命令，这里记录一下。命令参考自《Kafka: The Definitive Guide》 Chapter 9 Administrating Kafka以下命令中使用的zookeeper配置地址为127.0.0.1:2181，bootstrap-
转载
2022-02-13 14:14:33
3754阅读
这一节我们主要来分析joinGroup这块的代码，主要流程如图一。流程展示拆解JoinGroup协议客户端的代码我们就不拿出来说了，等后面说到关键点的时候再拿出来一起分析，这里目前只需要知道会发JoinGroupRequest请求给服务端，请求及返回数据样例如下，协议的结构见图二及图三。JoinGroupRequestData(groupId=‘mykafka-group’, sessionTim
1.预览1.1 消费者组（Consumer Group）一个consumer group可能有若干个consumer实例同一个group里面，topic的每条信息只能被发送到group下的一个consumer实例topic消息可以被发送到多个group为什么需要consumer group？consumer group是用于实现高伸缩性、高容错性的consumer机制。组内的多个实例可以同时读取消
转载
2024-02-26 20:25:20
76阅读
五、代码实现第一个Kafka程序创建我们的主题 kafka-topics.bat --zookeeper localhost:2181/kafka --create --topic hello-kafka --replication-factor 1 --partitions 4生产者发送消息 必选属性 创建生产者对象时有三个属性必须指定。 bootstrap.servers 该属性指定broke
转载
2024-06-21 08:53:51
52阅读
前言整理文档的时候发现还缺了有关操作Group ID的内容，这部分其实和ACL的操作是一起的，但是篇幅有限单独拿出来说，AdminClient对象里关于Group ID的操作还是挺多内容可以说说的，下面我们正式开始。查询所有Group ID首先我们先说下如何查询当前服务器上所有使用过的Group ID。这里要特别强调使用过，因为这个方法是无法查询到没有连接的Group ID的。假设我们新创建了一个
转载
2024-03-04 11:19:33
1839阅读
rebalance的第二个步骤是消费者向GroupCoordinator发送JoinGroupRequest，这里分析GroupCoordinator如何处理JoinGroupRequestdef handleJoinGroupRequest(request: RequestChannel.Request) {
import JavaConversions._
//解析JoinGr
转载
2024-06-11 14:04:30
98阅读
接下来我们来看下zookeeper存储的信息cd /opt/zookeeper/bin
./zkCli.sh
ls /
ls /kafka
ls /kafka/brokers
ls /kafka/brokers/ids
get /kafka/brokers/ids/0
get /kafka/brokers/ids/1
get /kafka/brokers/ids/20就是第一台机器1就是第二台机器
Kafka简介Kafka是一款流行分布式消息分布订阅系统，除Kafka之外还有MQ、Redis等。我们可以把消息队列视为一个管道，管道的两端分别是消息生产者(producer)和消息消费者(consumer)，消息生产者产生日志等消息后可以发送到管道中，这时消息队列可以驻留在内存或者磁盘上，直到消费者来把它读走为止。专业术语：Producer： 消息生产者，负责把产生的消息发送到Kafka服务器上
转载
2024-03-22 08:22:39
660阅读
问题描述：线上出现一台服务器特别慢，于是关闭了服务器上的kafka broker. 关闭后发现一些kafka consumer无法正常消费数据了, 日志错误：o.a.kakfa.clients.consumer.internals.AbstractCordinator Marking the coordinator (39.0.2.100) as dead.原因：经过一番排查，发现consumer
转载
2024-04-03 12:14:57
138阅读
Apache Kafka近日推出0.11版本。这是一个里程碑式的大版本，特别是Kafka从这个版本开始支持“exactly-once”语义(下称EOS， exactly-once semantics)。本文简要介绍一下0.11版本主要的功能变更，下面中的每一项都值得专门写篇文章好好聊聊。一、修改unclean.leader.election.enabled默认值Kafka社区终于下定决心要把这个参
一、AMQP 概述 AMQP(Advanced Message Queuing Protocol)，高级消息队列协议。JMS的消息模型，可能会有助于理解AMQP的消息模型。在JMS中，有三个主要的参与者：消息的生产者、消息的消费者以及在生产者和消费者之间传递消息的通道（队列或主题）。在JMS中，通道有助于解耦消息的生产者和消费者，但是这两者依然会与通道相耦合。与之不同的是
#kafka集群搭建教程#创建topic以及分区和副本数量./kafka-topics.sh --create --zookeeper 192.168.10.33:2181,192.168.10.34:2181 --topic test-topic --partitions 2 --replication-factor 2#发送消息sh kafka-console-producer.sh --br
转载
2024-03-01 23:11:52
126阅读
在新建一个Consumer时，我们可以通过指定groupId来将其添加进一个Consumer Group中。Consumer Group是为了实现多个Consumer能够并行的消费一个Topic，并且一个partition只能被一个Consumer Group里的一个固定的Consumer消费。1. Consumer Rebalance对于一个Consumer Group，可能随时都有Consum
转载
2024-06-22 07:52:30
160阅读
