kafkatemplate 分区数量不均匀 kafka分区的目的是什么

2 简介

• PartitionStateMachine：定义如startup、shutdown公共方法及处理分区状态转换入口方法handleStateChanges的签名
• ZkPartitionStateMachine：PartitionSM目前唯一子类，实现分区状态机的主体逻辑功能。类似ZkReplicaStateMachine，重写了父类的handleStateChanges，和私有的doHandleStateChanges协作完成分区状态转换
• PartitionState接口及其实现对象：定义4类分区状态及相互流转关系
• PartitionLeaderElectionStrategy接口及其实现对象：定义4类分区Leader选举策略，发生Leader选举的4种场景
• PartitionLeaderElectionAlgorithms：分区Leader选举的算法实现。既然定义了4类选举策略，就一定有相应的实现代码，PartitionLeaderElectionAlgorithms就提供了这4类选举策略的实现代码。

3 类定义与字段

类似ReplicaSM：

类定义一样！尤其是ZkPartitionSM和ZKReplicaSM，所接收字段列表都一致。所以功能其实也差不多。

同理，ZkPartitionSM实例的创建和启动时机也和ZkReplicaSM完全相同：每个Broker进程启动时，会在创建KafkaController对象的过程中，生成ZkPartitionSM实例，而只有Controller组件所在Broker，才会启动分区状态机。

每个Broker启动时，都会创建对应分区状态机和副本状态机实例，但只有Controller所在的Broker才会启动它们。若Controller变更到其他Broker：

• 老Controller所在Broker要调用这些状态机的shutdown方法关闭它们
• 新Controller所在的Broker调用状态机的startup方法启动它们

4 分区状态

PartitionState定义了分区的状态空间及流转规则，以OnlinePartition态为例：

分区状态枚举

• NewPartition：分区被创建后被设置成这个状态，表明是全新的分区对象，Kafka认为是“未初始化”的初生牛犊子，因此不能竞选Leader
• OnlinePartition：分区正式提供服务时所处态
• OfflinePartition：分区下线后所处态
• NonExistentPartition：分区被删除，并且从分区状态机移除后所处态

分区状态转换规则

OnlinePartition和OfflinePartition都有一根箭头指向自己，表明OnlinePartition切换到OnlinePartition的操作是允许的。当分区Leader选举发生的时候，就可能出现。

5 分区Leader选举场景

分区Leader选举，PartitionStateMachine的特有功能。每个分区都得选举出Leader，才能正常提供服务。因此，对于分区，Leader副本很重要。所以必须熟悉Leader选举的流程实现。

Kafka定义了哪些推选策略，何时执行Leader选举？

5.1 PartitionLeaderElectionStrategy

分区Leader选举：为Kafka主题的某个分区推选Leader副本，当前分区Leader选举有如下场景：

5.2 PartitionLeaderElectionAlgorithms

针对以上场景，分区状态机的PartitionLeaderElectionAlgorithms定义如下方法分别负责为每种场景选举Leader副本：

• offlinePartitionLeaderElection；
• reassignPartitionLeaderElection；
• preferredReplicaPartitionLeaderElection；
• controlledShutdownPartitionLeaderElection。

其中属offlinePartitionLeaderElection最复杂：

该方法接收如下参数：

1.assignments

分区的副本列表：Assigned Replicas，AR。创建主题后，使用kafka-topics脚本查看主题时，可见Replicas列数据：主题下每个分区的AR。assignments参数类型是Seq[Int]，说明AR有序，不一定和ISR顺序相同

2.isr

保存了分区所有与Leader副本保持同步的副本列表。Leader副本自己也在ISR中。作为Seq[Int]类型的变量，isr自身也是有顺序的。

3.liveReplicas

保存该分区下所有存活状态的副本。

• 怎知副本是否存活？

根据Controller元数据缓存中的数据。所有在运行中的Broker上的副本，都认为是活的。

4.uncleanLeaderElectionEnabled

默认只要不是由AdminClient发起的Leader选举，该参数为false：Kafka不允许执行Unclean Leader选举。

Unclean Leader选举：在ISR列表为空时，Kafka选择一个非ISR副本作为新Leader。由于存在丢数据风险，Broker端参数unclean.leader.election.enable默认值为false，禁掉Unclean Leader选举。

2.4.0.0版本正式支持在AdminClient端为给定分区选举Leader：若Leader选举由AdminClient触发，默认开启Unclean Leader选举。

5.3 具体流程

顺序搜索AR列表，将第一个满足如下条件的副本作为新Leader返回：

• 该副本为存活状态，即副本所在Broker依然在运行中
• 该副本在ISR列表

若找不到这样的副本，检查是否开启Unclean Leader选举：

• 若开启，则降低标准，只要满足上面第一个条件
• 若未开启，则本次Leader选举失败，无新Leader被选出

其它选举策略几乎相同，都是从AR或给定副本列表中寻找存活状态的ISR副本。

所以Kafka为分区选举Leader就是：AR列表（或给定副本列表）中首个处于存活状态，且在ISR列表的副本。

6 分区状态转换

PartitionSM的工作原理。

handleStateChanges

入口方法签名：

1. 调用doHandleStateChanges执行分区状态转换

包含确认哪些Broker属于下一步的相关Broker，给Broker发送哪些请求
2. Controller给相关Broker发送请求，告知它们这些分区的状态变更