一.单机吞吐量ActiveMQ：万级，吞吐量比RocketMQ和Kafka要低了一个数量级RabbitMQ：万级，吞吐量比RocketMQ和Kafka要低了一个数量级RocketMQ：10万级，RocketMQ也是可以支撑高吞吐的一种MQKafka：10万级别，这是kafka最大的优点，就是吞吐量高。一般配合大数据类的系统来进行实时数据计算、日志采集等场景二.topic数量对吞吐量的影响Rocke
转载
2024-04-08 12:47:37
44阅读
数据可靠性• RocketMQ支持异步实时刷盘，同步刷盘，同步复制，异步复制 • 卡夫卡使用异步刷盘方式，异步复制/同步复制总结：RocketMQ的同步刷盘在单机可靠性上比Kafka更高，不会因为操作系统Crash，导致数据丢失。Kafka同步Replication理论上性能低于RocketMQ的同步Replication，原因是Kafka的数据以分区为单位组织，意味着一个Kafka实例...
转载
2021-11-23 15:50:19
244阅读
Kafka、RabbitMQ以及RocketMQ的调研对比 一般国内常用的MQ技术有四种实现，ActiveMQ、Kafka、RabbitMQ、RocketMQ，但是其中 ActiveMQ主要是几年以前较多公司使用，现在几乎国内用的公司都很少了。 （1）Kafka的优势和劣势 先来说Kafka，首先Kafka的吞吐量几乎是行业里最优秀的，在常规的机器配置下，一台机器 可以达到每秒
转载
2024-03-19 02:06:05
42阅读
当业务需要系统间调用解耦时，MQ 是一个很好的方案，目前选择最多的当属Kafka和阿里的RocketMQ, 两种中间件都可以使用，都是备选方案，摆在面前，怎么选择？方法论-评估和选择备选方案的方法按优先级选择，即架构师综合当前的业务发展情况、团队人员规模和技能、业务发展预测等因素，将质量属性按照优先级排序，首先挑选满足第一优先级的，如果方案都满足，那就再看第二优先级……以此类推。RocketMQ
转载
2024-04-24 15:02:38
35阅读
系统一直使用的Kafka用来消费业务流水，最近在群里听到反馈说希望转到Rocketmq，支持更多的业务功能，因此去了解了一下，发现相比之下Kafka确实应用场景太少了，基本就是消费日志，相比之下Rockmq有很多优秀的特性，下面具体介绍一下。Kafka首先介绍一下Kafka，Kafka是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统，比较常用于日志收集系统，和消
转载
2024-03-21 10:18:14
34阅读
Broker差异主从差异: kafka的master/slave是基于partition维度的，而rocketmq是基于broker维度的；kafka的master/slave是可以切换的，而rocketmq不行，当rocketmq的master宕机时，读能被路由到slave上，但写会被路由到此topic的其他broker上。刷盘： rocketmq支持同步刷盘，也就是每次消息都等刷入磁盘后再返回
转载
2024-05-17 14:50:41
99阅读
一、优缺点1、RabbitMQ RabbitMQ 2007年发布，是一个在AMQP(高级消息队列协议)基础上完成的，可复用的企业消息系统，是当前最主流的消息中间件之一。 RabbitMQ优点：由于erlang语言的特性，mq 性能较好，高并发；吞吐量到万级，MQ功能比较完备健壮、稳定、易用、跨平台、支持多种语言、文档齐全；开源提供的管理界面非常棒，用起来很好用社区活跃度高； RabbitM
转载
2024-04-01 14:17:08
51阅读
淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之后，Kafka无限消息堆积，高效的持久化速度吸引了我们，但是同时发现这个消息系统主要定位于日志传输，对于使用在淘宝交易、订单
转载
2024-06-20 10:15:06
66阅读
消息性能对比：Kafka和RocketMQ都是磁盘消息队列的模式，对于同一个消费组，一个分区只支持一个消费线程来消费消息。过少的分区，会导致消费速度大大落后于消息的生产速度。所以在实际生产环境中，一个Topic会设置成多分区的模式，来支持多个消费者Kafka的每个Topic、每个分区都会对应一个物理文件。当Topic数量增加时，消息分散的落盘策略会导致磁盘IO竞争激烈成为瓶颈。而RocketMQ所
转载
2024-03-26 13:08:22
56阅读
Kafka vs RocketMQ——单机系统可靠性 引言前几期的评测中，我们对比了Kafka和RocketMQ的吞吐量和稳定性，本期我们要引入一个新的评测标准——软件可靠性。何为“可靠性”？先看下面这种情况：有A，B两辆越野汽车，在城市的周边地区均能很好应对泥泞的路况。当一同开去穿越西藏，A车会因为西藏本地的汽油不达标，导致油路受阻无法点火，而B车顺利完成了穿越。因此我们说，B车的可靠性比A
转载
2024-07-29 10:48:36
39阅读
文章目录一、rocketMQ二、Kafka三、应用场景对比四、RocketMQ和Kafka对比1. 吞吐量对比五、为什么阿里会自研RocketMQ？六、分布式消息队列RocketMQ与Kafka架构上的巨大差异之1 -- 为什么RocketMQ要去除ZK依赖？参考 一、rocketMQRocketMQ联合创始人：选择MQ时，要注意的有哪些？ 参考URL: RocketMQ 是一个来自阿里巴巴的分
转载
2024-04-09 11:28:03
99阅读
系统架构对比Kafka RocketMQ 数据存储Kafka一个topic后面分为多个partition，每个partition对应一个日志文件跟一个索引文件RocketMQ一个topic可分为多个ConsumeQueue，每个ConsumeQueue存储的是每个消息在commitlog这个文件的地址，但是消息存在于commitlog中数据可靠性RocketMQ支持异步实时刷盘
转载
2024-03-27 09:59:53
67阅读
1、适用场景 kafka适合日志处理 rocketmq适合业务处理 结论：两者没有区别，根据具体业务定夺 2、性能 kafka单机写入TPS号称在百万条/秒 rocketmq大约在10万条/秒 结论：追求性能方面，kafka单机性能更高 3、可靠性 kafka使用异步刷盘方式，异步Replication rocketmq支持异步/同步刷盘，异步/同步Replication 结论：rocketmq所
转载
2024-03-19 11:14:11
838阅读
在双十一过程中投入同样的硬件资源，Kafka 搭建的日志集群单个Topic可以达到几百万的TPS，而使用RocketMQ组件的核心业务集群，集群TPS只能达到几十万TPS，这样的现象激发了我对两者性能方面的思考。温馨提示：TPS只是众多性能指标中的一个，我们在做技术选型方面要从多方面考虑，本文并不打算就消息中间件选型方面投入太多笔墨，重点想尝试剖析两者在性能方面的设计思想。1、文件布局1.1 Ka
转载
2024-06-20 10:07:12
41阅读
第一梯队: KafKa ~ Disque ~ NSQ第二梯队: RocketMQ ~ RabbitMQ第三梯队: 消息队列选型 Sep 27, 2015 什么是消息队列 顾名思义，消息队列就是用存放消息的队列结构，简称MQ。那什么是消息呢？广义上来说，所有的网络通信都可以看做是消息的传递。在通信的过程中，添加一个队列缓冲，可以使得许多问题变得非常容易解决。 图：不使用消息队列的网络架构 图：使用
转载
2024-06-25 08:14:55
70阅读
Kafka、RabbitMQ以及RocketMQ调研起初当我们准备引入消息队列的时候，一共发现业界内使用很多的有四种MQ，分别是ActiveMQ、Kafka、RabbitMQ、RocketMQ。由于ActiveMQ目前并不是很活跃了，就直接没去深入对比了，前几年这个MQ用的还是比较多的，我在2015年之前在金融机构的项目基本都是基于ActiveMQ来做的。所以，我们今天就对Kafka、Rabbit
转载
2024-03-26 09:41:41
41阅读
文章目录rabbitMQ和kafkakafka和rocketMQrabbitMq和rocketMQMQ选型消息队列常使用的注意事项如何保证系统的高可用如何保证消息不会丢失rabbitmqrocketMq rabbitMQ和kafka语言 kafka使用scala写的，rabbitmq使用erlang写的，rocketMQ使用java写的消费模型 RabbitMQ中pull和push都有实现，ka
转载
2024-02-27 07:19:44
31阅读
目录一、选择消息队列产品的基本原则1、开源2、流行3、靠谱二、常见的消息队列产品1、RabbitMQ1.1 特点及优势1.2 可能存在的不足2、RocketMQ3. Kafka4. 其它消息队列三、小结作为程序员，你一定听过"没有银弹"。银弹这个词，是来源于欧洲中世纪的传说，就是狼人这种妖怪，一般的子弹打不死它，必须用银子做成的子弹才能杀死它。后来银弹这个词就被用来形容那些特效的、一用就灵的方法。
转载
2024-04-01 14:42:53
118阅读
方法论-评估和选择备选方案的方法按优先级选择，即架构师综合当前的业务发展情况、团队人员规模和技能、业务发展预测等因素，将质量属性按照优先级排序，首先挑选满足第一优先级的，如果方案都满足，那就再看第二优先级……以此类推。RocketMQ 和 Kafka 到底有什么区别？（1） 适用场景Kafka适合日志处理；RocketMQ适合业务处理。结论：平手，根据具体业务定夺。（2） 性能Kafka单机写入
转载
2024-02-26 17:23:02
36阅读
特性ActiveMQRabbitMQRocketMQKafka单机吞吐量万级，吞吐量比RocketMQ和Kafka要低一个数量级万级，吞吐量比RocketMQ和Kafka要低一个数量级10万级，RocketMQ也是可以支撑高吞吐的一个MQ10万级，这是kafka最大的优点就是吞吐量高。一般配合大数据类的系统来进行实时数据计算、日志采集等场景topic数量对吞吐量的影响 top
转载
2024-02-26 20:25:24
43阅读
