提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、Kafka官方下载地址二、修改配置二、单机实例简单测试 前言安装Kafka之前要确保自己电脑上面的java环境已经配置好，要不然会抛出找不到java的错误。一、Kafka官方下载地址http://kafka.apache.org/downloads。下载文件 下载完后解压到自己的呆=电脑上，这里我解压到了D盘二、修改
转载
2024-03-22 10:43:25
156阅读
生产者基本操作启动生产者Kafka 自带了 一个 kafka-console producer.sh 脚本，通过执行该脚本可 在终端调用 Kafka生产者向 Kafka 发送消息 。该脚本运行时需要 broker-list topic 两个必传参数，分别用来指定 Kafka 的代理地址列 以及消息被发送的目标主题。kafka-console- producer.sh --broker-list s
转载
2023-08-22 08:49:02
39阅读
## 如何解决“kafka消费者导致hadoop一直处在安全模式”
### 1. 问题描述
在实际开发中，有时候我们会遇到这样的情况：当kafka消费者和hadoop集群同时运行时，hadoop集群会一直处于安全模式，导致无法正常工作。这种情况通常是由于权限问题或者资源竞争引起的。下面我将指导你如何解决这个问题。
### 2. 解决流程
首先让我们来看一下解决这个问题的流程，具体步骤如下：
原创
2024-03-10 04:45:20
59阅读
一、ActiveMQActiveMQ是Apache软件基金会的开源产品，支持AMQP协议、MQTT协议（和XMPP协议作用类似）、Openwire协议和Stomp协议等多种消息协议。并且ActiveMQ完整支持JMS API接口规范，Apache也提供多种其他语言的客户端，例如：C、C++、C#、Ruby、Perl。二、ActiveMQ的简单使用1. 安装和启动ActiveMQ2. 消息生产者代码
Kafka是一款开源的消息引擎系统1.消息队列(MQ)1.1什么是消息队列消息队列不知道大家看到这个词的时候，会不会觉得它是一个比较高端的技术。消息队列，一般我们会简称它为MQ（Message Queue）.消息队列是一种帮助开发人员解决系统间异步通信的中间件，常用于解决系统解耦和请求的削峰平谷的问题。队列（Queue）： Queue 是一种先进先出的数据结构，容器消息（Message）：不同应用
转载
2024-06-05 00:51:43
17阅读
主题和日志对于每个主题，Kafka群集都会维护一个分区日志，如下所示：每个分区（Partition）都是有序的(所以每一个Partition内部都是有序的)，不变的记录序列，这些记录连续地附加到结构化的提交日志中。分区中的每个记录均分配有一个称为偏移的顺序ID号，该ID 唯一地标识分区中的每个记录。每个消费者保留的唯一元数据是该消费者在日志中的偏移量或位置。此偏移量由使用者控制：通常，使用者在读取
转载
2024-08-07 07:51:53
36阅读
Kafka集群搭建及生产者消费者案例本文搭建的集群是采3台机器，分别是server01，server02，server03。linux系统是centos6.7。kafka需要配合zookeeper使用，在安装kafka之前，需要先安装zookeeper集群，关于安装zookeeper集群，可以参考：Zookeeper集群环境搭建一、Kafka集群搭建1.1 下载kafka安装包进入kafka的官方
转载
2024-02-05 16:27:22
64阅读
消费者poll消息得过程（poll的意思是从broker拿消息，并不代表拿到就消费成功了）消费者建立了与broker之间的⻓连接，开始poll消息。默认一次poll 500条消息props.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, 500 );可以根据消费速度的快慢来设置，因为如果两次poll的时间如果超出了30s的时间间隔，kafka会认为其消费能力
转载
2023-11-28 21:55:41
180阅读
1）Producer ：消息生产者，就是向 kafka broker 发消息的客户端； 2）Consumer ：消息消费者，向 kafka broker 取消息的客户端； 3）Consumer Group （CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者
转载
2024-03-05 17:44:54
148阅读
Kafka有一些重要概念，有一些刚开始学的同学会混淆，还有一部分使用Kafka很久的同学也有可能会忘了。那今天分享一波Kafka的重点概念，让大家对 Kafka有个整体的认识和感知或者重温一下，后面还会详细的解析每一个概念的作用以及更深入的原理。Producer：消息生产者，向 Kafka Broker 发消息的客户端。Consumer：消息消费者，从 Kafka Broker 取消息的客户端。C
转载
2024-04-25 10:48:03
105阅读
概念入门消费者、消费组消费者： 消费者从订阅的主题topic消费消息，消费消息的偏移量保存在Kafka的名字是__consumer_offsets 的主题中。消费者还可以将⾃⼰的偏移量存储到Zookeeper，需要设置offset.storage=zookeeper。推荐使⽤Kafka存储消费者的偏移量。因为Zookeeper不适合⾼并发。消费组： 多个从同一个主题topic消费消息的消费者，可以
转载
2023-11-09 13:23:58
182阅读
#kafka为什么有高吞吐量1 由于接收数据时可以设置request.required.acks参数，一般设定为1或者0，即生产者发送消息0代表不关心kafka是否接收成功，也就是关闭ack；1代表kafka端leader角色的patation（多个patation，并且每个会有多个副本）接收到数据则返回成功不管副本patation的状态。2 由于消费者的消费情况不归kafka消息管理引擎维护，而
转载
2024-02-17 12:31:47
31阅读
一.消费端丢失消息我们知道消息在被追加到Partition的时候会被分配一个offset。offset表示当前消费的Partition的所在位置，Kafka通过offset可以保证消息在分区内的顺序性。当消费者拉取到分区的某个消息之后，消费者会自动提交offset。但是会出现一个问题：当消费者刚拿到这个消息准备的时候，突然挂掉了，消息实际上没有被消费，但是offset已经被自动提交了。解决方法：关
转载
2024-03-22 09:11:42
112阅读
kafka篇二11、讲一讲 kafka 的 ack 的三种机制12、消费者如何不自动提交偏移量，由应用提交？13、消费者故障，出现活锁问题如何解决？14、如何控制消费的位置15、kafka 分布式（不是单机）的情况下，如何保证消息的顺序消费?16、kafka 的高可用机制是什么？17、kafka 如何减少数据丢失18、kafka 如何不消费重复数据？比如扣款，我们不能重复的扣。 11、讲一讲 k
转载
2024-03-31 09:16:27
134阅读
生产者客户端APIProperties props = new Properties();
props.put("bootstrap.servers", "192.168.6.187:9092，192.168.6.188：9092，192.168.6.229：9092");
props.put("acks", "all");
props.put("retries", 0);
props.p
转载
2024-03-17 09:52:40
52阅读
Kafka知识盘点【壹】_生产者Kafka知识盘点【贰】_broker 1.消费者组生产环境上，kafka都是配置消费者组来进行topic消息的消费。对于一个消费者组，会有多个消费者实例，同一个topic的消息只会发送到一个消费者组的其中一个消费者实例上消费，但是同一个topic可以被多个消费者组订阅。kafka的消息消费是基于拉模式的，即消费者不断调用poll()方法，获取订阅topi
转载
2024-03-10 21:35:08
81阅读
Kafka核心总结5.1Kafka消费端的Rebalance我们知道，一个topic能被若干个消费者进行消费，若干个消费者组成一个Consumer Group消费组，一条消息只能被消费组中的一个消费者消费，但是可以被不同消费组中的不同消费者消费。
Rebalance是一个消费组的所有消费者就如何消费订阅topic的所有分区达成共识的过程，在Rebalance过程中，所有的Consumer实例都会停
转载
2024-05-28 10:39:54
48阅读
消费者组是 Kafka 分布式消息处理的一个重要特征，用于管理消费者并促进扩展应用程序的能力。它们将任何一个主题的消费者组合在一起，并且主题内的分区被分配给这些消费者。当组的参与者发生变化时，消费者组rebalance可能由许多因素触发，这会导致在消费者之间重新分配分区。在rebalance期间，消息处理暂停，影响吞吐量。在本文中，将介绍消费者组的角色、消费者组rebalance以及导致rebal
转载
2024-04-02 22:31:37
123阅读
系列目录kafka原理和实践（一）原理：10分钟入门kafka原理和实践（二）spring-kafka简单实践kafka原理和实践（三）spring-kafka生产者源码kafka原理和实践（四）spring-kafka消费者源码kafka原理和实践（五）spring-kafka配置详解kafka原理和实践（六）总结升华 ==============正文分割线========
转载
2024-04-19 10:55:39
103阅读
摘要在这一篇文章中，我将向你介绍消费者的一些参数。这些参数影响了每次poll()请求的数据量，以及等待时间。在这之后，我将向你介绍Kafka用来保证消费者扩展性以及可用性的设计——消费者组。在消费者组的介绍中，我将重点放在了Rebalance的过程上，因为这是一个很重要又经常发生，还会导致消费者组不可用的操作。 1 消费者参数配置对于一个消费者来说，他要做的事情只有一件，那就是使用poll()来拉
转载
2024-05-22 09:53:06
151阅读
