1. kafka offset 存储1.1 去zookeeper依赖比较广为人知的Kafka offset存储方式为zookeeper，在0.8版本时，默认依然是zk，但是此时其实已经出现另外一种offset存储方式了，Kafka以“consumer group + topic + partition”为组合key，记录一份消费信息，存储在默认的”__consumer_offset”的Topic中
转载
2024-08-07 08:59:11
59阅读
1 概述1.1 消息分区微观分区信息： 宏观分区信息： 如何保证消息消费的顺序性？1）同一分区内的消息是有序的；2）设置消息key，相同key的消息会发到同一个分区。1.2 生产者发送消息消息没有Key——轮询；消息有Key——根据key选择分区。 1.3 消费模型推拉（push/poll）模型，kafka选择了拉，由消费者主动获取消息 并记录消费进度。 老
转载
2024-03-20 19:34:28
909阅读
Kafka如何保证全局有序？ 可回答：1）Kafka消费者怎么保证有序性？2）Kafka生产者写入数据怎么保证有序？3）Kafka可以保证 数据的局部有序，如何保证数据的全局有序？4）Kafka消息的有序性 问过的一些公司：快手x3，360x2，安恒信息，京东，京东(2021.07)，重庆富民银行(2021.09) 参考答案： 1、设置Key值，指定分区 kafka分区是存在K和V的，K就是分区，
转载
2024-03-15 20:16:31
191阅读
大部分内容是翻译至Kafka The Definitive Guide，有翻译不好的地方请见谅，想深入学习的小伙伴，建议去看一下这本书，因为理解问题翻译错误的地方希望指出，我会及时改进。KEY TEAMS Messages and Batches：kafka内的数据单位称为message。 message类似于一行或一条记录.kafka所关心的message数据只是一些简单的byte数组，kafk
转载
2024-03-15 11:00:21
64阅读
目录1.Mysql2.CHAR 与 VARCHAR 的区别？3.能说下myisam 和 innodb的区别吗？4.你能说下事务的基本特性和隔离级别吗？5.并发问题 – 脏读、不可重复读、幻读?6.事务的隔离级别？7.说说自增主键、UUID？8.mysql 的约束分类？9.drop、delete 与 truncate 的区别：10.隐式事务、显式事务？11.存储过程12.你们数据量级多大？分库分表怎
转载
2024-05-15 10:08:02
50阅读
大规模使用 Apache Kafka 的20个最佳实践快速了解Kafka的概念与架构Kafka是一种高效的分布式消息系统。在性能上，它具有内置的数据冗余度与弹性，也具有高吞吐能力和可扩展性。在功能是，它支持自动化的数据保存限制，能够以“流”的方式为应用提供数据转换，以及按照“键-值(key-value)”的建模关系“压缩”数据流。要了解各种最佳实践，您需要首先熟悉如下关键术语：• Message(
转载
2024-03-29 07:05:05
255阅读
在上一章中SpringBoot整合RabbitMQ，已经详细介绍了消息队列的作用，这一种我们直接来学习SpringBoot如何整合kafka发送消息。kafka简介kafka是用Scala和Java语言开发的，高吞吐量的分布式消息中间件。高吞吐量使它在大数据领域具有天然的优势，被广泛用来记录日志。kafka架构分析 注1：图中的红色箭头表示消息的流动过程，蓝色表示分区备份，绿色表示ka
转载
2024-03-23 16:54:01
114阅读
一 消费进展保存位置 位移提交的内容最终会保存到 Kafka 的内部主题_consumer_offsets 中 了消费位移对应的消息内容格式，上面是消息的 key ，下面是消息的 value可以看到 key value 中都包含了 version 宇段，这个用来标识具体的 key value 的版本信息，不同的版本对应的内容格式可能并不相同 。就目前版本而言， key 和 value的
转载
2023-10-20 18:26:54
310阅读
Kafka使用key-value键值对格式的配置，这些配置即可以在进程启动时，根据指定的properties文件加载，也可以通过编程的方式，在程序中动态指定；根据集群中角色的不同分为6种配置： broker配置：broker实例使用的默认配置； topic配置：某个topic所使用的配置，如果显式指定，则覆盖broker实例的同名默认配置； producer配置：针对producer实例； co
转载
2024-03-27 10:39:47
38阅读
文章目录9.1 消息中间件MQ9.2 Kafka 是什么9.3 Kafka 架构9.4 为什么一个 Topic 要分成多个 Partition9.5 Kafka 如何处理旧数据9.5 副本同步9.6 Kafka 容灾9.7 Zookeeper 在 Kafka 中的作用 9.1 消息中间件MQ什么是消息中间件：消息中间件关注数据的发送和接收，主要解决的是分布式系统之间的消息传递问题。通过提供 消息
转载
2024-08-07 08:34:57
63阅读
1 什么是kafkApache kafka是消息中间件的一种，在开始学习之前，先简单的解释一下什么是消息中间件。举个例子，生产者消费者，生产者生产鸡蛋，消费者消费鸡蛋，生产者生产一个鸡蛋，消费者就消费一个鸡蛋，假设消费者消费鸡蛋的时候噎住了（系统宕机了），生产者还在生产鸡蛋，那新生产的鸡蛋就丢失了。再比如生产者很强劲（大交易量的情况），生产者1秒钟生产100个鸡蛋，消费者1秒钟只能吃50个鸡蛋，那
Kafka可以作为消息中间件，在企业应用很广泛。当前的企业应用的子系统是非常多的，一个应用，可能就包含了MySQL, Redis, WebApp, DB…，多个子系统，而不同系统之间的API是有差异的，Kafka就是作为中心，负责与每个子系统的对接。关键术语消息（message） 消息是Kafka的数据单元，是键值对（key value）构成，key作为元数据，是可选的，一般用来划分消息所在的分区
转载
2024-03-22 10:24:41
99阅读
kafka producer发送消息的时候，可以指定key，这个key的作用是为消息选择存储分区，key可以为空，当指定key且不为空的时候，kafka是根据key的hash值与分区数取模来决定数据存储到那个分区，那么当key为null的时候，kafka又是如何存储的呢？可能很多人都会说随机选择一个分区进行存储，但是具体是怎么实现的呢？虽然可以这么说，但是还不够严谨，下面通过kafka的源码来解读
转载
2024-02-27 21:14:50
206阅读
一个消息被分区以后，消息就会被放到一个缓存里面，我们看一下里面具体的细节。默认缓存块的大小是 32M，这个缓存块里面有一个重要的数据结构：batches，这个数据结构是 key-value 的结果，key 就是消息主题的分区，value 是一个队列，里面存的是发送到对应分区的批次，Sender 线程就是把这些批次发送到服务端01 生产者高级设计之自定义数据结构生产者把批次信息用 batches 这
转载
2024-04-02 09:25:11
87阅读
1Kafka消费模式 从kafka消费消息，kafka客户端提供两种模式: 分区消费，分组消费。分区消费对应的就是我们的DirectKafkaInputDStream分组消费对应的就是我们的KafkaInputDStream消费者数目跟分区数目的关系:1)，一个消费者可以消费一个到全部分区数据2)，分组消费，同一个分组内所有消费者消费一份完整的数据，此时一个分区数据只能被一个消费者消费
转载
2024-03-16 15:39:33
67阅读
Kafka的存储机制及可靠性一、Kafka的存储机制1、segment1.1、.log1.2、.index1.3、命名规则2、读取数据二、可靠性保证1、AR1.1、ISR1.2、OSR1.3、LEO1.4、HW1.5、HW截断机制2、生产者可靠性级别3、leader选举4、Kafka可靠性的保证 一、Kafka的存储机制Kafka通过topic来分主题存放数据，主题内有分区，分区可以有多个副本，
转载
2024-03-15 10:29:26
83阅读
Apache Kafka 企业级消息队列2.Apache Kafka是什么是什么？有什么用？怎么用？2.1简介1） Apache Kafka 是一个消息队列（生产者消费者模式）2） Apache Kafka 目标：构建企业中统一的、高通量的、低延时的消息平台。3） 大多的是消息队列（消息中间件）都是基于JMS标准实现的，Apache Kafka 类似于JMS的实现。ActiveMQ2.2作用(重点
转载
2024-08-07 08:35:56
57阅读
我们向kafka里发送消息的时候，kafka有多个分区，是如何将数以百万的消息发送到各个分区的，如果其中的分区节点出现了问题？这个时候又会如何？当我们在new一个produceRecord的时候，最常见的是直接 topic+value还有一种是topic+key+value查源码kafkaProduce.java里这三行代码决定了分配的分区在哪里？前面两行都相似byte[] serializedK
转载
2024-04-05 14:13:17
66阅读
Kafka使用Replica对象表示一个分区的副本:
class Replica(val brokerId: Int,//副本所在的brokerID
val partition: Partition,//副本对应的分区
time: Time = SystemTime,
转载
2024-04-07 00:03:15
60阅读
本文主要讲解 Kafka 是什么、Kafka 的架构包括工作流程和存储机制，以及生产者和消费者。 最终大家会掌握 Kafka 中最重要的概念，分别是 Broker、Producer、Consumer、Consumer Group、Topic、Partition、Replica、Leader、Follower，这是学会和理解 Kafka 的基础和必备内容。定义Kafka 是一个分布式的基于发布/
转载
2024-08-06 21:16:46
62阅读
