启动Kafka运行环境启动zookeeper，在master、salve1和slave2上分别启动[root@master bin]# ./zkServer.sh start三个节点启动后，别忘了查看一下启动状态：[root@master bin]# ./zkServer.sh status
JMX enabled by default
Using config: /usr/local/src/z
转载
2024-04-29 09:19:55
1216阅读
这一节我们主要来分析joinGroup这块的代码，主要流程如图一。流程展示拆解JoinGroup协议客户端的代码我们就不拿出来说了，等后面说到关键点的时候再拿出来一起分析，这里目前只需要知道会发JoinGroupRequest请求给服务端，请求及返回数据样例如下，协议的结构见图二及图三。JoinGroupRequestData(groupId=‘mykafka-group’, sessionTim
转载
2024-11-02 18:55:27
225阅读
目录一、Kafka集群部署二、三台服务器信息三、生产者命令行操作3.1、查看操作生产者命令参数示例3.2、查看操作生产者命令参数详解3.3、生产者发送消息示例四、消费者命令行操作4.1、查看操作消费者命令参数示例4.2、查看操作消费者命令参数详解4.3、消费者消费news主题中的数据示例4.4、消费者消费news主题中所有的数据（包括历史数据）示例 一、Kafka集群部署二、三台服务器信息三台服
转载
2024-05-31 12:40:27
231阅读
如何管理kafka消费偏移量： 一、 kafka消息的位置至关重要，维护其消息偏移量对于避免消息的重复消费与遗漏消费,确保消息的Exactly-once。 kafka的消息所在的位置Topic、Partitions、Offsets三个因素决定。 Kafka消费者消费的消息位置还与consumer的group.id有关。 二、consumerOffsets与earlieastLeaderOffset
转载
2024-03-06 00:14:01
189阅读
目录目标相关概念环境启动zookeeper和kafka节点命令集锦查看kafka节点数量查看所有消费者组查看消费者组详情创建主题扩容分区查看主题详情查看所有主题删除主题发送消息监听&消费消息目标熟悉kafka各个组件的功能。通过命令的方式验证kafka各个组件之间的关联关系。相关概念Brokerkafka节点，多个broker组成kafka集群。Topic即主题，kafka通过Topic对
转载
2023-11-09 13:24:04
123阅读
一、kafka 基础概念1.Apach KafkaApach Kafka 是一款分布式流处理框架，用于实时构建流处理应用。作为企业级的消息引擎被广泛使用。2.生产者与消费者生产者（Producer）：也称为发布者，创建消息消费者（Consumer）：也称为订阅者，负责消费 or 读取消息3.主题与分区3.1 定义主题（topic）：Kafka中用于区分不同类别信息的类别名称。由producer指定
转载
2024-03-27 10:08:28
101阅读
Kafka集群搭建一. KafKa介绍①. KafKa 定义②. Kafka 基础架构二. Kafka集群安装①. 上传安装包②. 解压并修改名称③. 修改配置文件④. 配置环境变量⑤. 分发kafka文件到另外两台服务器上⑥. 查看并修改另外两台机器的配置文件broker.id⑦. 启动zk集群⑧. 后台启动kafka集群⑨. kafka 群起脚本⑩. 测试kafak群启动/停止脚本，kafk
转载
2024-02-26 21:25:39
83阅读
基本概念kafka中的重要角色 broker：一台kafka服务器就是一个broker，一个集群可有多个broker，一个broker可以容纳多个topic topic：可以理解为一个消息队列的名字 partition：分区，为了实现扩展性，一个topic可以分布到多个broker上，一个topic可以被分成多个partition，partition中的每条消息 都会被分配一个有序的i
转载
2024-03-05 14:20:23
128阅读
利用正交方式，来概括所有的生产消费模型，如下：单生产者P多生产者NP单消费者CCPCNP多消费者NCNCPNCNP 在kafka中，生产和消费可以概括为如上四种模型，分别是一、一个生产者，一个消费者二、一个生产者，多个消费者三、多个生产者，一个消费者四、多个生产者，多个消费者其中一个生产者，一个消费者，我们可以理解为单向数据传递，生产者将数据推送至队列中，消费者向队列中获取。其实在这里还
转载
2023-12-14 06:37:00
116阅读
目录生产者命令行操作消费者命令行操作Kafka生产者生产者消息发送流程：发送原理生产者重要参数列表生产者命令行操作1、查看操作生产者命令参数[atguigu@hadoop102 kafka]$ bin/kafka-console-producer.sh参数描述--bootstrap-server<String:server toconnect to>连接的Kafka Broker主机名
转载
2023-10-26 11:52:01
102阅读
fetch.min.bytes消费者从服务器获取记录的最小字节数，broker收到消费者拉取数据的请求的时候，如果可用数据量小于设置的值，那么broker将会等待有足够可用的数据的时候才返回给消费者，这样可以降低消费者和broker的工作负载，因为当主题不是很活跃的情况下，就不需要来来回回的处理消息，如果没有很多可用数据，但消费者的CPU 使用率却很高，那么就需要把该属性的值设得比默认值大。如果消
转载
2023-12-26 18:30:08
59阅读
Kafka简介Kafka是一款流行分布式消息分布订阅系统，除Kafka之外还有MQ、Redis等。我们可以把消息队列视为一个管道，管道的两端分别是消息生产者(producer)和消息消费者(consumer)，消息生产者产生日志等消息后可以发送到管道中，这时消息队列可以驻留在内存或者磁盘上，直到消费者来把它读走为止。专业术语：Producer： 消息生产者，负责把产生的消息发送到Kafka服务器上
转载
2024-03-22 08:22:39
660阅读
1 独立消费者案例（订阅主题）（1）需求：创建一个独立消费者，消费 first 主题中数据。 （2）分析：注意：在消费者 API 代码中必须配置消费者组 id。命令行启动消费者不填写消费者组 id 会被自动填写随机的消费者组 id。步骤： （1）创建包名：com.study.kafka.consumer （2）创建类：CustomConsumerpackage com.study.kafka.co
转载
2024-07-18 11:48:16
83阅读
一，组成部分概要 Producer：消息生产者 Consumer：消息消费者 Topic：特指kafka处理的消息源的不同分类  
转载
2024-02-19 22:05:00
74阅读
kafka消息队列有两种消费模式，分别是点对点模式和订阅/发布模式。具体比较可以参考Kafka基础–消息队列与消费模式。下图是一个点对点的Kafka结构示意图，其中有以下几个部分：producer：消息生产者consumer：消息消费者Topic：消息主题partition：主题内分区Brokers：消息服务器Groups：消费者组下面聊一聊为什么Kafka需要有这些组成部分，不就是生产者生产消息
转载
2024-03-15 13:49:34
53阅读
kafka0.9版本之前，offset存储在zookeeper，0.9版本以及之后，默认offset存储在kafka的一个内置的topic中。除此之外，kafka还可以选择自定义存储offset。offset的维护是相当繁琐的，因为需要考虑到消费者的Rebalance。当有新的消费者加入消费者组、已有的消费者推出消费者组或者锁订阅的主题的分区发生变化，就会触发到分区的重新分区，重新分区的过程叫做R
转载
2024-03-16 17:10:58
154阅读
Kafaka面向数据流的生成转换消费的流处理平台 Kafaka基本概念Producer：消息和数据的生产者，向Kafka的一个topic发布消息的进程/代码/服务Consumer：消息和数据的消费者，订阅数据Topic并且处理其发布消息的进程/代码/服务 Consumer Group：逻辑概念，对于同一个topic，会广播给不同的group，一个group中，只有一个sonsu
转载
2024-04-19 17:44:31
42阅读
目录Kafka基础架构Kafka的命令行操作 Kafka基础架构Producer消息生产者，负责将数据推送给 broker 的 topicConsumer消息消费者，负责从 broker 的 topic 中拉取数据，并自己进行处理Consumer Groupconsumer group 是 kafka 提供的可扩展且具有容错性的消费者机制一个消费者组可以包含多个消费者一个消费者组有一个唯一的 I
转载
2024-03-22 10:57:45
868阅读
几个基本概念： Kafka是一个分布式流数据系统，使用Zookeeper进行集群的管理。与其他消息系统类似，整个系统由生产者、Broker Server和消费者三部分组成，生产者和消费者由开发人员编写，通过API连接到Broker Server进行数据操作。我们重点关注三个概念： Topic，是Kafka下消息的类别，类似于RabbitMQ中的
转载
2024-02-20 22:19:19
85阅读
生产者工作流程 从创建一个ProducerRecord对象开始，ProducerRecord对象需要包含目标主题和要发送的内容，可以选择是否指定键或分区。在发送ProducerRecord对象时，生产者要把键值对象序列化成字节数组。接下来，数据被传给分区器。如果之前在ProducerRecord对象里指定了分区，那么分区器就不会做任何事情，直接把指定的分区返回。，如果没有指定分区，那么分区
转载
2024-03-29 10:58:34
39阅读
