一、生产者参数配置补充:参数设置方式:

|NO.Z.00025|——————————|BigDataEnd|——|Hadoop&kafka.V10|——|kafka.v10|生产者原理剖析.v02|_可选值

|NO.Z.00025|——————————|BigDataEnd|——|Hadoop&kafka.V10|——|kafka.v10|生产者原理剖析.v02|_可选值_02

二、补充参数:

参数名称

描述

retry.backoff.ms


在向一个指定的主题分区重发消息的时候,重试之间的等待时间。

比如3次重试,每次重试之后等待该时间长度,再接着重试。

在一些失败的场景,避免了密集循环的重新发送请求。

long型值,默认100。可选值:[0,...]

retries


retries重试次数当消息发送出现错误的时候,系统会重发消息。

跟客户端收到错误时重发一样。

如果设置了重试,还想保证消息的有序性,需要设置MAX_IN_FLIGHT_REQUESTS_PER_CONNECTION=1

否则在重试此失败消息的时候,其他的消息可能发送成功了


request.timeout.ms


客户端等待请求响应的最大时长。

如果服务端响应超时,则会重发请求,除非达到重试次数。

该设置应该比replica.lag.time.max.ms (a broker configuration)要大,

以免在服务器延迟时间内重发消息。int类型值,默认:30000,可选值:[0,...]



interceptor.classes


在生产者接收到该消息,向Kafka集群传输之前,由序列化器处理之前,

可以通过拦截器对消息进行处理。

要求拦截器类必须org.apache.kafka.clients.producer.ProducerInterceptor 接口。

默认没有拦截器。Map configs中通过List集合配置多个拦截器类名。


acks


当生产者发送消息之后,如何确认消息已经发送成功了。支持的值:acks=0:

如果设置为0,表示生产者不会等待broker对消息的确认,

只要将消息放到缓冲区,就认为消息已经发送完成。

该情形不能保证broker是否真的收到了消息,retries配置也不会生效,

因为客户端不需要知道消息是否发送成功。

发送的消息的返回的消息偏移量永远是-1。acks=1

表示消息只需要写到主分区即可,然后就响应客户端,而不等待副本分区的确认。

在该情形下,如果主分区收到消息确认之后就宕机了,

而副本分区还没来得及同步该消息,则该消息丢失。

acks=all 首领分区会等待所有的ISR副本分区确认记录。

该处理保证了只要有一个ISR副本分区存货,消息就不会丢失。

这是Kafka最强的可靠性保证,等效于acks=-1 。

batch.size


当多个消息发送到同一个分区的时候,生产者尝试将多个记录作为一个批来处理。

批处理提高了客户端和服务器的处理效率。

该配置项以字节为单位控制默认批的大小。

所有的批小于等于该值。

发送给broker的请求将包含多个批次,每个分区一个,并包含可发送的数据。

如果该值设置的比较小,会限制吞吐量(设置为0会完全禁用批处理)。

如果设置的很大,又有一点浪费内存,

因为Kafka会永远分配这么大的内存来参与到消息的批整合中。


client.id


生产者发送请求的时候传递给broker的id字符串。

用于在broker的请求日志中追踪什么应用发送了什么消息。

一般该id是跟业务有关的字符串。

compression.type


生产者发送的所有数据的压缩方式。默认是none,也就是不压缩。

支持的值:none、gzip、snappy和lz4。

压缩是对于整个批来讲的,所以批处理的效率也会影响到压缩的比例。

send.buffer.bytes


TCP发送数据的时候使用的缓冲区(SO_SNDBUF)大小。

如果设置为0,则使用操作系统默认的。


buffer.memory


生产者可以用来缓存等待发送到服务器的记录的总内存字节。

如果记录的发送速度超过了将记录发送到服务器的速度,

则生产者将阻塞max.block.ms的时间,此后它将引发异常。

此设置应大致对应于生产者将使用的总内存,

但并非生产者使用的所有内存都用于缓冲。

一些额外的内存将用于压缩(如果启用了压缩)以及维护运行中的请求。

long型数据。默认值:33554432,可选值:[0,...]


connectios.max.idle.ms

当连接空闲时间达到这个值,就关闭连接。long型数据,默认:540000

linger.ms


生产者在发送请求传输间隔会对需要发送的消息进行累积,然后作为一个批次发送。

一般情况是消息的发送的速度比消息累积的速度慢。

有时客户端需要减少请求的次数,即使是在发送负载不大的情况下。

该配置设置了一个延迟,生产者不会立即将消息发送到broker,

而是等待这么一段时间以累积消息,然后将这段时间之内的消息作为一个批次发送。

该设置是批处理的另一个上限:

一旦批消息达到了batch.size 指定的值,消息批会立即发送,

如果积累的消息字节数达不到batch.size 的值,可以设置该毫秒值,

等待这么长时间之后,也会发送消息批。该属性默认值是0(没有延迟)。

如果设置linger.ms=5 ,则在一个请求发送之前先等待5ms。

long型值,默认:0,可选值:[0,...]


max.block.ms


控制KafkaProducer.send() 和KafkaProducer.partitionsFor() 阻塞的时长。

当缓存满了或元数据不可用的时候,这些方法阻塞。

在用户提供的序列化器和分区器的阻塞时间不计入。

long型值,默认:60000,可选值:[0,...]


max.request.size


单个请求的最大字节数。

该设置会限制单个请求中消息批的消息个数,以免单个请求发送太多的数据。

服务器有自己的限制批大小的设置,与该配置可能不一样。

int类型值,默认1048576,可选值:[0,...]


partitioner.class


实现了接口org.apache.kafka.clients.producer.Partitioner 的分区器实现类。

默认值为:org.apache.kafka.

clients.producer.internals.DefaultPartitioner

receive.buffer.bytes


TCP接收缓存(SO_RCVBUF),如果设置为-1,则使用操作系统默认的值。

int类型值,默认32768,可选值:[-1,...]

security.protocol


跟broker通信的协议:

PLAINTEXT, SSL, SASL_PLAINTEXT, SASL_SSL. string类型值,

默认:PLAINTEXT


max.in.flight.requests.per.connection


单个连接上未确认请求的最大数量。达到这个数量,客户端阻塞。

如果该值大于1,且存在失败的请求,在重试的时候消息顺序不能保证。

int类型值,默认5。可选值:[1,...]


reconnect.backoff.max.ms


对于每个连续的连接失败,每台主机的退避将成倍增加,直至达到此最大值。

在计算退避增量之后,添加20%的随机抖动以避免连接风暴。

long型值,默认1000,可选值:[0,...]

reconnect.backoff.ms


尝试重连指定主机的基础等待时间。避免了到该主机的密集重连。

该退避时间应用于该客户端到broker的所有连接。

long型值,默认50。可选值:[0,...]


Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart

                                                                                                                                                   ——W.S.Landor