目录

1 架构图

2 生产者

3 消费者


1 架构图

kafka的Consumer怎么设置编码 kafka consumerrecord_服务端

2 生产者

kafka的Consumer怎么设置编码 kafka consumerrecord_客户端_02

 

解读
ProducerRecord:每个消息是一个ProducerRecord对象,其中Topic和Value值必填,partition和key非必填。
过程
send()方法大致过程为:
设置序列化器->设置分区->放入队列缓存->等待时机push到broker
注:
不是直接发送给服务端,而是先在客户端把消息放入队列中, 然后由一个消息发送线程从队列中拉取消息,以批量的方式发送消息给服务端。 Kafka的记录收集器( RecordAccumulator)负责缓存生产者 客户端产生的消息,发送线程(Sender)负责读取记录收集器的批量消息,通过网络发送给服务端。为了保证客户端网络请求的快速响应,Kafka使用选择器( Selector) 处理网络连接和读写处理,使用 网络连接( NetworkClient)处理客户端网络请求。

3 消费者

kafka的Consumer怎么设置编码 kafka consumerrecord_java_03

Kafka使用消费组(consumer group)统一 了上面两种消息模型 。Kafka使用队列模型时,它可以将处理

工作平均分配给消费组中的消费者成员;使用发布订阅模式时,它可以将消息 广播给多个消费组。

采用多个消费组结合多个消费者,既可以线性扩展消息的处理能力,也允许消息被多个消费组订阅。

kafka的消费模式

kafka的Consumer怎么设置编码 kafka consumerrecord_kafka_04


 Kafka采用消费组保证了“一个分区只可被消费组中的一个消费者所消费” ,这意味着:

(1)在一个消费组中,一个消费者可以消费多个分区 。

(2)不同的消费者消费的分区一定不会重复,所有消费者一起消费所有 的分区 。

(3)在不同消费组中,每个消费组都会悄费所有的分区 。

(4)同一个消费组下消费者对分区是互斥的,而不同消费组之间是共享的。 

kafka的Consumer怎么设置编码 kafka consumerrecord_kafka_05

由图中,我们知道,kafka的消费者客户端不断德调用poll()方法去轮询,从Broker中拉取消息。
topic下的一个分区只能被同一个consumer group下的一个consumer线程来消费,但反之并不成立,即一个consumer线程可以消费多个分区的数据