Kafka简介:



基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。



参考:​​https://www.jianshu.com/p/734cf729d77b​

1.1 概述


1.2 消息系统介绍


1.3 点对点消息传递模式


1.4 发布-订阅消息传递模式


 


二、Kafka的优点


2.1 解耦


2.2 冗余(副本)


2.3 扩展性


2.4 灵活性&峰值处理能力


2.5 可恢复性


2.6 顺序保证


2.7 缓冲


2.8 异步通信


 


三、常用Message Queue对比


3.1 RabbitMQ


3.2 Redis


3.3 ZeroMQ


3.4 ActiveMQ


3.5 Kafka/Jafka


 


四、Kafka中的术语解释


4.1 概述


4.2 broker


4.3 Topic


4.3 Partition


4.4 Producer


4.5 Consumer


4.6 Consumer Group


4.7 Leader


4.8 Follower