前言:一个topic可以有很多个partition,而这些partition在整个集群中可以直观地看成一个二维坐标系,横轴代表集群中的不同机器,纵轴代表同一台机器上不同磁盘目录。
     上一篇文章<非jvm语言如何定制kafka api>分析了partition如何在机器间分配,相当于我们已知横轴,那么我们怎么理解纵轴呢?也就是上一篇文章末尾说的剩下的事情交给kafka内部处理,这一节我们就来分析下kafka内部是如何处理。
    首先看下PartitionStateMachine(分区状态机)的registerTopicChangeListener函数:zkUtils.zkClient.subscribeChildChanges(BrokerTopicsPath,topicChangeListener),BrokerTopicsPath就是topic的存放路径,也就是说这里调用topicChangeListener来监听着zookeeper中topic路径的变化。
    再来看看TopicChangeListener的处理逻辑,TopicChangeListener里先对topic进行验证,然后在zookeeper中为每个partition注册一个PartitionModificationsListener监听数据变化,然后就是调用分区状态机和副本状态机处理新partition和新副本,我们再来看看分区状态机的handleStateChanges处理逻辑,里面先遍历partitions进行初始化,initializeLeaderAndIsrForPartition包括parition leader选取、partition的state写入zookeeper和新增request(addLeaderAndIsrRequestForBrokers)到brokerRequestBatch中,最后通过controller.sendRequest把ApiKeys.LEADER_AND_ISR请求发送到leader broker上。
    另一边则通过KafkaRequestHandler调用KafkaApis的handle方法处理各种类型的request,这些request类型包括发数据、读数据、元数据读取、offset读取、offset提交等,我们具体看ApiKeys.LEADER_AND_ISR最终在broker的对数据盘的处理,LogManager.scala的createLog具体代码如下:

def createLog(topicAndPartition: TopicAndPartition, config: LogConfig): Log = { 

     logCreationOrDeletionLock synchronized { 

       var log = logs.get(topicAndPartition) 

        

       // check if the log has already been created in another thread 

       if(log != null) 

         return log 

        

       // if not, create it 

       val dataDir = nextLogDir() 

       val dir = new File(dataDir, topicAndPartition.topic + "-" + topicAndPartition.partition) 

       dir.mkdirs() 

       log = new Log(dir, 

                     config, 

                     recoveryPoint = 0L, 

                     scheduler, 

                     time) 

       logs.put(topicAndPartition, log) 

       info("Created log for partition [%s,%d] in %s with properties {%s}." 

            .format(topicAndPartition.topic, 

                    topicAndPartition.partition, 

                    dataDir.getAbsolutePath, 

                    {import JavaConversions._; config.originals.mkString(", ")})) 

       log 

     } 

   } 

   private def nextLogDir(): File = { 

     if(logDirs.size == 1) { 

       logDirs(0) 

     } else { 

       // count the number of logs in each parent directory (including 0 for empty directories 

       val logCounts = allLogs.groupBy(_.dir.getParent).mapValues(_.size) 

       val zeros = logDirs.map(dir => (dir.getPath, 0)).toMap 

       var dirCounts = (zeros ++ logCounts).toBuffer 

      

       // choose the directory with the least logs in it 

       val leastLoaded = dirCounts.sortBy(_._2).head 

       new File(leastLoaded._1) 

     } 

   }


    上面两个函数就是partition在磁盘中实际做的事情,相信大家在这里都会一眼看出这些代码逻辑,没错就是非常简单的逻辑。新的partition到来先去查找磁盘目录nextLogDir,而查找的逻辑就是寻找磁盘目录中partition segment目录数最少的磁盘或者当目录数相同情况下取排序后的第一个磁盘,因此在一般在使用过程中我们会发现kafka机器中的所有已分配磁盘的partition segment目录数基本相差不大。
    总的来说纵轴上kafka内部所做的事情就是topic listener监听zookeeper路径的变化然后构建request向broker发请求,KafkaApis负责接收请求、在磁盘中创建数据目录并返回结果。
  以上就是kafka partition在机器磁盘间的分布分析,如有分析错误请批评指出。