Property

Default

Description

group.id

 

用来唯一标识consumer进程所在组的字符串，如果设置同样的group  id，表示这些processes都是属于同一个consumer  group

zookeeper.connect

 

指定zookeeper的连接的字符串，格式是hostname：port，此处host和port都是zookeeper server的host和port，为避免某个zookeeper 机器宕机之后失联，你可以指定多个hostname：port，使用逗号作为分隔：

hostname1：port1，hostname2：port2，hostname3：port3

可以在zookeeper连接字符串中加入zookeeper的chroot路径，此路径用于存放他自己的数据，方式：

hostname1：port1，hostname2：port2，hostname3：port3/chroot/path

consumer.id

null

不需要设置，一般自动产生

socket.timeout.ms

30*100

网络请求的超时限制。真实的超时限制是   max.fetch.wait+socket.timeout.ms

socket.receive.buffer.bytes

64*1024

socket用于接收网络请求的缓存大小

fetch.message.max.bytes

1024*1024

每次fetch请求中，针对每次fetch消息的最大字节数。这些字节将会督导用于每个partition的内存中，因此，此设置将会控制consumer所使用的memory大小。这个fetch请求尺寸必须至少和server允许的最大消息尺寸相等，否则，producer可能发送的消息尺寸大于consumer所能消耗的尺寸。

num.consumer.fetchers

1

用于fetch数据的fetcher线程数

auto.commit.enable

true

如果为真，consumer所fetch的消息的offset将会自动的同步到zookeeper。这项提交的offset将在进程挂掉时，由新的consumer使用

auto.commit.interval.ms

60*1000

consumer向zookeeper提交offset的频率，单位是秒

queued.max.message.chunks

2

用于缓存消息的最大数目，以供consumption。每个chunk必须和fetch.message.max.bytes相同

rebalance.max.retries

4

当新的consumer加入到consumer  group时，consumers集合试图重新平衡分配到每个consumer的partitions数目。如果consumers集合改变了，当分配正在执行时，这个重新平衡会失败并重入

fetch.min.bytes

1

每次fetch请求时，server应该返回的最小字节数。如果没有足够的数据返回，请求会等待，直到足够的数据才会返回。

fetch.wait.max.ms

100

如果没有足够的数据能够满足fetch.min.bytes，则此项配置是指在应答fetch请求之前，server会阻塞的最大时间。

rebalance.backoff.ms

2000

在重试reblance之前backoff时间

refresh.leader.backoff.ms

200

在试图确定某个partition的leader是否失去他的leader地位之前，需要等待的backoff时间

auto.offset.reset

largest

zookeeper中没有初始化的offset时，如果offset是以下值的回应：

smallest：自动复位offset为smallest的offset

largest：自动复位offset为largest的offset

anything  else：向consumer抛出异常

consumer.timeout.ms

-1

如果没有消息可用，即使等待特定的时间之后也没有，则抛出超时异常

exclude.internal.topics

true

是否将内部topics的消息暴露给consumer

paritition.assignment.strategy

range

选择向consumer 流分配partitions的策略，可选值：range，roundrobin

client.id

group id value

是用户特定的字符串，用来在每次请求中帮助跟踪调用。它应该可以逻辑上确认产生这个请求的应用

zookeeper.session.timeout.ms

6000

zookeeper 会话的超时限制。如果consumer在这段时间内没有向zookeeper发送心跳信息，则它会被认为挂掉了，并且reblance将会产生

zookeeper.connection.timeout.ms

6000

客户端在建立通zookeeper连接中的最大等待时间

zookeeper.sync.time.ms

2000

ZK follower可以落后ZK leader的最大时间

offsets.storage

zookeeper

用于存放offsets的地点： zookeeper或者kafka

offset.channel.backoff.ms

1000

重新连接offsets channel或者是重试失败的offset的fetch/commit请求的backoff时间

offsets.channel.socket.timeout.ms

10000

当读取offset的fetch/commit请求回应的socket 超时限制。此超时限制是被consumerMetadata请求用来请求offset管理

offsets.commit.max.retries

5

重试offset commit的次数。这个重试只应用于offset  commits在shut-down之间。他

dual.commit.enabled

true

如果使用“kafka”作为offsets.storage，你可以二次提交offset到zookeeper(还有一次是提交到kafka）。在zookeeper-based的offset  storage到kafka-based的offset storage迁移时，这是必须的。对任意给定的consumer  group来说，比较安全的建议是当完成迁移之后就关闭这个选项

partition.assignment.strategy

range

在“range”和“roundrobin”策略之间选择一种作为分配partitions给consumer 数据流的策略； 循环的partition分配器分配所有可用的partitions以及所有可用consumer  线程。它会将partition循环的分配到consumer线程上。如果所有consumer实例的订阅都是确定的，则partitions的划分是确定的分布。循环分配策略只有在以下条件满足时才可以：（1）每个topic在每个consumer实力上都有同样数量的数据流。（2）订阅的topic的集合对于consumer  group中每个consumer实例来说都是确定的。