简介生产消费消息投递语义文件组织常用配置项简介kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。kafka对外使用topic的概念，生产者往topic里写消息，消费者从读消息。为了做到水平扩展，一个topic实际是由多个partition组成的，遇到瓶颈时，可以通过增
转载
2024-08-07 07:38:38
162阅读
1.体系架构Producer：生产者Consumber：消费者Broker：服务代理节点（kafka实例）2.消息存储主题（Topic）：kafka消息以topic为单位进行归类，逻辑概念分区（Partition）：Topic-Partition为一对多分区在存储层面可看做是一个可追加的日志文件消息在追加到分区时会分配一个特定的偏移量（offset）作为在此分区的唯一标示kafka通过offset
kafka 的默认配置比较简单，但想把其端口暴露给外网（指定端口），则有一些额外的注意情况 kafka 的版本，0.8和0.10 的配置不同，这里以0.10.0.0 为主, 没有用集群，一台机做测试zookeeper安装与启动kafka 的安装包里自带有zookeeper,不过这里还是自行下载. 这里采用3.4.8版本 下载及安装请参考http://zookeeper.apache.org/doc
转载
2024-05-21 17:19:07
595阅读
目录一、准备工作二、终端命令生产者命令消费者命令三、Java实践搭建项目异步发送-无回调异步发送-有回调同步发送 一、准备工作进入实战之前先熟悉一下topic的相关命令，使用终端命令查询创建一个新topic，用于后期实战；特别注意：以下命令全部依据kafka文件目录中操作； 如果尚未安装kafka，请移步《centos7系统安装kafka》查看操作主题命令参数 命令：./bin/kafka-to
转载
2024-03-24 13:32:17
226阅读
Kafka-消费模型kafka的消费者高阶和低阶API有什么区别?High Level Consumer API不需要自己管理offset 默认实现最少一次消息传递语义（At least once） comsumer数量 大于 partiton数量， 浪费。 comsumer数量 小于 partiton数量， 一个comsumer对应多个partiton 最好partiton数目是consumer
Kafka可以作为消息中间件，在企业应用很广泛。当前的企业应用的子系统是非常多的，一个应用，可能就包含了MySQL, Redis, WebApp, DB…，多个子系统，而不同系统之间的API是有差异的，Kafka就是作为中心，负责与每个子系统的对接。关键术语消息（message） 消息是Kafka的数据单元，是键值对（key value）构成，key作为元数据，是可选的，一般用来划分消息所在的分区
转载
2024-03-22 10:24:41
99阅读
1. kafka offset 存储1.1 去zookeeper依赖比较广为人知的Kafka offset存储方式为zookeeper，在0.8版本时，默认依然是zk，但是此时其实已经出现另外一种offset存储方式了，Kafka以“consumer group + topic + partition”为组合key，记录一份消费信息，存储在默认的”__consumer_offset”的Topic中
转载
2024-08-07 08:59:11
59阅读
Kafka如何保证全局有序？ 可回答：1）Kafka消费者怎么保证有序性？2）Kafka生产者写入数据怎么保证有序？3）Kafka可以保证 数据的局部有序，如何保证数据的全局有序？4）Kafka消息的有序性 问过的一些公司：快手x3，360x2，安恒信息，京东，京东(2021.07)，重庆富民银行(2021.09) 参考答案： 1、设置Key值，指定分区 kafka分区是存在K和V的，K就是分区，
转载
2024-03-15 20:16:31
191阅读
1 概述1.1 消息分区微观分区信息： 宏观分区信息： 如何保证消息消费的顺序性？1）同一分区内的消息是有序的；2）设置消息key，相同key的消息会发到同一个分区。1.2 生产者发送消息消息没有Key——轮询；消息有Key——根据key选择分区。 1.3 消费模型推拉（push/poll）模型，kafka选择了拉，由消费者主动获取消息 并记录消费进度。 老
转载
2024-03-20 19:34:28
909阅读
kafka producer发送消息的时候，可以指定key，这个key的作用是为消息选择存储分区，key可以为空，当指定key且不为空的时候，kafka是根据key的hash值与分区数取模来决定数据存储到那个分区，那么当key为null的时候，kafka又是如何存储的呢？可能很多人都会说随机选择一个分区进行存储，但是具体是怎么实现的呢？虽然可以这么说，但是还不够严谨，下面通过kafka的源码来解读
转载
2024-02-27 21:14:50
206阅读
一个消息被分区以后，消息就会被放到一个缓存里面，我们看一下里面具体的细节。默认缓存块的大小是 32M，这个缓存块里面有一个重要的数据结构：batches，这个数据结构是 key-value 的结果，key 就是消息主题的分区，value 是一个队列，里面存的是发送到对应分区的批次，Sender 线程就是把这些批次发送到服务端01 生产者高级设计之自定义数据结构生产者把批次信息用 batches 这
转载
2024-04-02 09:25:11
87阅读
Kafka使用Replica对象表示一个分区的副本:
class Replica(val brokerId: Int,//副本所在的brokerID
val partition: Partition,//副本对应的分区
time: Time = SystemTime,
转载
2024-04-07 00:03:15
60阅读
本文主要讲解 Kafka 是什么、Kafka 的架构包括工作流程和存储机制，以及生产者和消费者。 最终大家会掌握 Kafka 中最重要的概念，分别是 Broker、Producer、Consumer、Consumer Group、Topic、Partition、Replica、Leader、Follower，这是学会和理解 Kafka 的基础和必备内容。定义Kafka 是一个分布式的基于发布/
转载
2024-08-06 21:16:46
62阅读
Kafka使用key-value键值对格式的配置，这些配置即可以在进程启动时，根据指定的properties文件加载，也可以通过编程的方式，在程序中动态指定；根据集群中角色的不同分为6种配置： broker配置：broker实例使用的默认配置； topic配置：某个topic所使用的配置，如果显式指定，则覆盖broker实例的同名默认配置； producer配置：针对producer实例； co
转载
2024-03-27 10:39:47
38阅读
最近在学习kafka，参考官网上的文档，概括kafka的主要设计点，希望能帮助大家对kafka的设计有一个大概的了解，没说清楚的地方，或者不对的地方希望大家指出，相互帮助学习，4. kafka设计简介1 2 &
RocketMQ 所有主题的消息都会写入到 commitlog 文件中，然后基于 commitlog 文件构建消息消费队列文件(Consumequeue)，消息消费队列的组织结构按照 /topic/{queue} 进行组织。从集群的视角来看如下图所示：RocketMQ 默认采取的是主从同步，当然从RocketMQ4.5引入了多副本机制，但其副本的粒度为 Commitlog 文件，上图中不同 mas
大部分内容是翻译至Kafka The Definitive Guide，有翻译不好的地方请见谅，想深入学习的小伙伴，建议去看一下这本书，因为理解问题翻译错误的地方希望指出，我会及时改进。KEY TEAMS Messages and Batches：kafka内的数据单位称为message。 message类似于一行或一条记录.kafka所关心的message数据只是一些简单的byte数组，kafk
转载
2024-03-15 11:00:21
64阅读
目录一、基本术语二、Kafka 基本命令三、易混淆概念四、Kafka的特性五、Kafka的使用场景六、Kakfa 的设计思想七、Kafka 配置文件设置八、新消费者九、Kafka该怎么用十、Kafka和RabbitMQ对比十一、Zookeeper 前记前一段时间，在项目中用到消息队列，我们选择了 Kafka 作为中间件。我负责研究学习，并集成到项目中去，下面就是我在学习中记录的一些知识点
作者：青蛙小白1.配置helm chart repo kafka的helm chart还在孵化当中，使用前需要添加incubator的repo：
helm repo add incubator http://storage.googleapis.com/kubernetes-charts-incubator 。
肉身在国内需要设置azure提供的镜像库地址:
hel
RabbitMQ - 死信队列死信的概念死信的来源死信实战死信之TTl死信之最大长度死信之消息被拒 死信的概念先从概念解释上搞清楚这个定义，死信，顾名思义就是无法被消费的消息，字面意思可以这样理 解，一般来说，producer 将消息投递到 broker 或者直接到queue 里了，consumer 从 queue 取出消息 进行消费，但某些时候由于特定的原因导致 queue 中的某些消息无法被
