数据
NetworkClient类，方法poll，检查metadata是否需要更新
方法：
/**
* Add a meta
原创
2023-04-20 16:30:12
303阅读
简介由于挺多时候如果不太熟系kafka消费者详细的话，很容易产生问题，所有剖析一定的原理很重要。Kafka消费者图解消费方式消费者总体工作流程消费者组初始化流程 消费者详细消费流程 消费者重要参数 bootstrap.servers 向 Kafka 集群建立初始连接用到的 host/port 列表。key.deserializer&va
转载
2024-03-17 11:45:10
53阅读
hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段，而是一个或者多个伪列。意思是说在表的数据文件中实际上并不保存分区列的信息与数据。
下面的语句创建了一个简单的分区表：
create table partition_test
(member_id string,
参考apache kafka系列之在zookeeper中存储结构 kafka在zookeeper中的存储结构 Kafka Documentation#ZooKeeper Directories
原创
2022-10-28 14:04:47
73阅读
什么是Metadata？ Topic/Partion与broker的映射关系：每一个Topic的每一个Partion的Leader、Follower的信息。它存在哪里？持久化在Zookeeper中；运行时存储在Broker的内存中。1 Metadata的2种更新机制周期性的更新: 每隔一段时间更新一次。，这个通过 Metadata的lastRefreshMs, lastSuccessfulRefr
转载
2024-04-27 12:19:46
88阅读
kafka外网访问配置：1 启动advertised.listeners配置异常:java.lang.Ill
转载
2021-07-13 09:39:31
453阅读
kafka外网访问配置：1 启动advertised.listeners配置异常:java.lang.IllegalArgumentException: requirement failed: advertised.listeners cannot use the nonroutable meta-address 0.0.0.0. Use a routable IP address. at
转载
2022-04-02 13:40:52
793阅读
kafka外网访问配置： 1 启动advertised.listeners配置异常: java.lang.Illroutable meta-address 0.0....
原创
2023-05-08 10:37:01
152阅读
Kafka Topic xxx not present in metadata bug问题排查异常堆栈17343C60D7EF4C23A2EE4E973F22AAAD] ERROR [] o.s.k.s.LoggingProducerListener error:254 - Exception thrown when sending a message with key='null' and pa
转载
2024-03-28 10:50:43
728阅读
org.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed since the group has already rebalanced and assigned the partitions to another member. This means that the ti
转载
2024-03-22 08:53:26
127阅读
在kafka中，获取数据是采用的拉取(pull)模式，为什么会这样选择，我们可以对比下推送(push)和拉取(pull)有何不同。 在推送(push)系统中： 1.数据从节点推送到消费者(consumer)的速率是由节点来控制的，根据消费者的消费速率来最大化的推送数据给消费者，但是一旦生产者产生数据推送给节点的速率远大于消费者处理数据的速率，那么节点推送给消费者的消息就
转载
2024-03-01 13:50:15
57阅读
今天中午小编收到项目Jenkins报错异常，异常具体情况如下[ERROR] Failed to execute goal org.apache.maven.plugins:maven-install-plugin:2.4:install (defa
原创
2022-07-29 11:38:27
1850阅读
在第一次搭建kafka集群遇到了很多的错误，在网上搜索了很多，在这里，我把我搭建kafka环境遇到的问题汇总一下。1. kafka启动后秒退。2.升级jdk为jdk-8u181后，再次启动kafka，依然闪退。3.修改好之后重新启动kafka，发现其中有一台节点的kafka没有闪退，其他两台会存在1分钟之后依然退出。修改好之后，再次启动，一切正常，kafka也不会闪退了 1. kafka启动后秒
转载
2024-03-19 13:22:48
105阅读
The leader epoch in the request is older than the epoch on the broker--Partition $topicPartition marked as failed说明
原创
2022-10-06 22:56:28
4506阅读
Kafka保证exactly once原理1 从producer角度考虑幂等性Kafka producer新增了幂等性的传递选项，该选项保证重传不会在 log 中产生重复条目。 为实现这个目的, broker 给每个 producer 都分配了一个 ID ，并且 producer 给每条被发送的消息分配了一个序列号来避免产生重复的消息。 同样也是从 0.11.0.0 版本开始, producer
转载
2024-04-03 12:32:00
10阅读
错误背景我用KafkaTools工具连接kafka 连不上,报timeout expired while fetching topic metadata这个错误,然后四处百度,
原创
2022-07-04 11:12:32
1445阅读
问题查看error.log报错日志如下：!在这里插入图片描述(https://s4.51cto.com/images/blog/202112/14155102_61b84ce6cb38f51227.png?xossprocess=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shado
原创
2021-12-14 15:51:21
1386阅读
Kafka在0.11.0.0之前的版本中只支持At Least Once和At Most Once语义，尚不支持Exactly Once语义。但是在很多要求严格的场景下，如使用Kafka处理交易数据，Exactly Once语义是必须的。我们可以通过让下游系统具有幂等性来配合Kafka的At Least Once语义来间接实现Exactly Once。但是：该方案要求下游系统支持幂等操作，限制了K
转载
2024-04-12 08:56:29
104阅读
1. 概述所谓的消息交付可靠性保障，是指 Kafka 对 Producer 和 Consumer 要处理的消息提供什么样的承诺。常见的承诺有以下三种：最多一次（at most once）：消息可能会丢失，但绝不会被重复发送。至少一次（at least once）：消息不会丢失，但有可能被重复发送。精确一次（exactly once）：消息不会丢失，也不会被重复发送。目前，Kafka 默认提供的交付
转载
2024-04-10 14:10:17
47阅读
Kafka Rest Proxy特点与使用Metadata可以使用对相应URL的GET请求读取有关群集的大多数Metadata 信息，如：brokers, topics, partitions, configs等。 Producers区别于Java Client，Kafka-rest不会对外公开Producer对象，而是通过一个Producers Pool来处理每一个生产消息的请求。如此
转载
2024-04-10 09:37:26
171阅读
