一:数据格式与数据存储

1.总结

  存储在磁盘文件中(index+log)

  顺序读写的

  基于offset偏移量来管理数据的(主要是读操作)

  由分区器根据key值决定数据分布到哪个分区,默认使用hash

 

2.发送的消息格式

  054 kafka内部机制_数据分布

 

3.log消息格式

  054 kafka内部机制_偏移量_02

  054 kafka内部机制_数据_03

 

 

4.存储机制

  054 kafka内部机制_数据_04

 

二:分布式机制

1.总结

  一个分区可以存在多个备份分区

  只有一个分区是leader,leader分区提供数据的读写

  一个broker上可能存在多个leader

  

 

2.机制

  054 kafka内部机制_数据_05

 

3.副本的复制

  054 kafka内部机制_数据分布_06

 

4.leader选举

  054 kafka内部机制_kafka_07

  -----------------------------------------------------------------------------------------------------------------------------------------

  054 kafka内部机制_数据_08

  Leader:这个意思是leader在broker的Id为2上。

 

三:kafka消息产生机制,消费机制

1.产生机制

  054 kafka内部机制_数据_09

 

2.消费机制

  054 kafka内部机制_数据分布_10

  ----------------------------------------------------------------------------------------------------------------------------

  054 kafka内部机制_偏移量_11