准备工作：1. 准备3台机器，IP地址分别为：192.168.0.10，192.168.0.11，192.168.0.122. 下载kafka稳定版本，我的版本为：kafka_2.9.2-0.8.1.1.tgz 3. 分别解压放入到想安装的目录下，我的目录为:/home/www 解压命令为： tar -xzf kafka_2.9.2-0.8.1.1.tgz 搭建zookeeper集群
转载
2024-08-21 11:31:49
46阅读
(一) 生产者Producer生产者客户端由两个线程协调运行。其中主线程创建消息，并经过拦截器、序列化器、分区器作用后缓存到消息累加器; 消息累加器中的ProducerBatch是一个双端队列，消息添加时从尾部进入，Sender读取消息时从头部取出。ProducerBatch包含链多个ProducerRecord，这样使字节的使用更加紧凑，同时发送时减少了网络请求的次数以提升整体的吞吐量。Reco
转载
2024-04-19 13:13:16
48阅读
前言最近在研读Kafka源码，发现它大量使用了ArrayDeque数据集合。这个集合类是java.util里提供的双端队列/栈，非线程安全，但是性能很好，非常值得研究一下。// RecordAccumulator
private final ConcurrentMap<TopicPartition, Deque<ProducerBatch>> batches;
// Sel
转载
2024-06-03 18:59:02
51阅读
一、Producer整体架构Kafka Producer端的架构整体也是一个生产者-消费者模式Producer线程调用send时，只是将数据序列化后放入对应TopicPartition的Deque尾部的ProducerBatch数据结构中Sender线程每次扫描所有Deque的尾部，得到需要发送的readyNodes，并确认所有的readyNodes都已建立好连接。遍历readyNodes，再遍历
转载
2024-03-07 12:21:16
30阅读
一 BufferPool 上一篇已经整理了ProducerBatch，本文继续看BufferPool。ByteBuffer的创建和释放时比较消耗资源的，池化的目的是降低创建和销毁时间，提升执行效率，即将原来的创建和销毁时间降为从池中获取和归还入池的时间。为了实现内存的高效利用，Kafka客户端使用BufferPool来实现ByteBuffer的复用。在package org.
转载
2024-09-09 14:00:23
82阅读
kafka分享生产者配置属性介绍配置参数配置参数释义默认值bootstrap.servers指定Kafka集群所需的broker地址清单“”metadata.max.age.ms强制刷新元数据时间，毫秒默认300000，5分钟batch.size指定ProducerBatch内存区域的大小默认16kbacks指定分区中必须有多少个副本收到这条消息，才算消息发送成功默认值1，字符串类型linger.
转载
2024-02-25 08:20:10
34阅读
当消息经过交换器被路由之后，在投递到队列的过程中，发生错误，就会触发发送方确认机制，返回Nack给生产者 发送方确认的三种实现方式一、一般确认1.1.创建生产者ProducerConfirm，设置发送方确认模式1.2.创建消费者ProducerConfirmConsumer1.3.先启动消费者1.4.再启动生产者1.5.查看生产者打印，确认成功二、批量确认2.1创建生产者ProducerBatch
Kafka 消息发送机制Kafka 在消息发送客户端采用了一个双端队列，引入了批处理思想，其消息发送机制如下图所示： 客户端通过调用 kafka 的消息发送者发送消息时，消息会首先存入到一个双端队列中，双端队列中单个元素为 ProducerBatch，表示一个发送批次，其最大大小受参数 batch.size 控制，默认为 16K。然后会单独开一个 Send 线程，从双端队列中获取一个发送批次，将消
转载
2024-07-13 05:32:46
15阅读
作者：石臻臻的杂货铺。在阅读本文之前, 希望你可以思考一下下面几个问题, 带着问题去阅读文章会获得更好的效果。发送消息的时候, 当Broker挂掉了,消息体还能写入到消息缓存中吗？当消息还存储在缓存中的时候, 假如Producer客户端挂掉了,消息是不是就丢失了?当最新的ProducerBatch还有空余的内存,但是接下来的一条消息很大,不足以加上上一个Batch中,会怎么办呢？那么创建Produ
转载
2024-10-21 22:46:31
55阅读
