前言:一个topic可以有很多个partition,而这些partition在整个集群中可以直观地看成一个二维坐标系，横轴代表集群中的不同机器，纵轴代表同一台机器上不同磁盘目录。
上一篇文章<非jvm语言如何定制kafka api>分析了partition如何在机器间分配,相当于我们已知横轴，那么我们怎么理解纵轴呢？也就是上一篇文章末尾说的剩下的事情交给kafka内部处理，这一节我们就来分析下kafka内部是如何处理。
首先看下PartitionStateMachine(分区状态机)的registerTopicChangeListener函数：zkUtils.zkClient.subscribeChildChanges(BrokerTopicsPath,topicChangeListener)，BrokerTopicsPath就是topic的存放路径，也就是说这里调用topicChangeListener来监听着zookeeper中topic路径的变化。
再来看看TopicChangeListener的处理逻辑，TopicChangeListener里先对topic进行验证，然后在zookeeper中为每个partition注册一个PartitionModificationsListener监听数据变化，然后就是调用分区状态机和副本状态机处理新partition和新副本，我们再来看看分区状态机的handleStateChanges处理逻辑，里面先遍历partitions进行初始化，initializeLeaderAndIsrForPartition包括parition leader选取、partition的state写入zookeeper和新增request（addLeaderAndIsrRequestForBrokers）到brokerRequestBatch中，最后通过controller.sendRequest把ApiKeys.LEADER_AND_ISR请求发送到leader broker上。
另一边则通过KafkaRequestHandler调用KafkaApis的handle方法处理各种类型的request,这些request类型包括发数据、读数据、元数据读取、offset读取、offset提交等，我们具体看ApiKeys.LEADER_AND_ISR最终在broker的对数据盘的处理，LogManager.scala的createLog具体代码如下：
def createLog(topicAndPartition: TopicAndPartition, config: LogConfig): Log = {
logCreationOrDeletionLock synchronized {
var log = logs.get(topicAndPartition)
// check if the log has already been created in another thread
if(log != null)
return log
// if not, create it
val dataDir = nextLogDir()
val dir = new File(dataDir, topicAndPartition.topic + "-" + topicAndPartition.partition)
dir.mkdirs()
log = new Log(dir,
config,
recoveryPoint = 0L,
scheduler,
time)
logs.put(topicAndPartition, log)
info("Created log for partition [%s,%d] in %s with properties {%s}."
.format(topicAndPartition.topic,
topicAndPartition.partition,
dataDir.getAbsolutePath,
{import JavaConversions._; config.originals.mkString(", ")}))
log
}
}
private def nextLogDir(): File = {
if(logDirs.size == 1) {
logDirs(0)
} else {
// count the number of logs in each parent directory (including 0 for empty directories
val logCounts = allLogs.groupBy(_.dir.getParent).mapValues(_.size)
val zeros = logDirs.map(dir => (dir.getPath, 0)).toMap
var dirCounts = (zeros ++ logCounts).toBuffer
// choose the directory with the least logs in it
val leastLoaded = dirCounts.sortBy(_._2).head
new File(leastLoaded._1)
}
}
上面两个函数就是partition在磁盘中实际做的事情，相信大家在这里都会一眼看出这些代码逻辑，没错就是非常简单的逻辑。新的partition到来先去查找磁盘目录nextLogDir，而查找的逻辑就是寻找磁盘目录中partition segment目录数最少的磁盘或者当目录数相同情况下取排序后的第一个磁盘，因此在一般在使用过程中我们会发现kafka机器中的所有已分配磁盘的partition segment目录数基本相差不大。
总的来说纵轴上kafka内部所做的事情就是topic listener监听zookeeper路径的变化然后构建request向broker发请求，KafkaApis负责接收请求、在磁盘中创建数据目录并返回结果。
以上就是kafka partition在机器磁盘间的分布分析，如有分析错误请批评指出。
