测试目的
对比Kafka、RabbitMQ、RocketMQ发送小消息(124字节)的性能。这次压测我们只关注服务端的性能指标,所以压测的标准是:
不断增加发送端的压力,直到系统吞吐量不再上升,而响应时间拉长。这时服务端已出现性能瓶颈,可以获得相应的系统最佳吞吐量。
测试场景
在同步发送场景中,三个消息中间件的表现区分明显:
Kafka的吞吐量高达17.3w/s,不愧是高吞吐量消息中间件的行业老大。这主要取决于它的队列模式保证了写磁盘的过程是线性IO。此时broker磁盘IO已达瓶颈。
RocketMQ也表现不俗,吞吐量在11.6w/s,磁盘IO
%util已接近100%。RocketMQ的消息写入内存后即返回ack,由单独的线程专门做刷盘的操作,所有的消息均是顺序写文件。
RabbitMQ的吞吐量5.95w/s,CPU资源消耗较高。它支持AMQP协议,实现非常重量级,为了保证消息的可靠性在吞吐量上做了取舍。我们还做了RabbitMQ在消息持久化场景下的性能测试,吞吐量在2.6w/s左右。
测试结论
在服务端处理同步发送的性能上,Kafka>RocketMQ>RabbitMQ。
作为专业的阿里云消息队列测试小组,不禁想问,阿里云的MQ和Kafka相比,哪家强?
阿里云消息队列 Kafka VS Apache Kafka
阿里云消息队列 MQ 推出 Kafka
企业级消息服务(MQ-Kafka),全面融合 Kafka 开源生态,兼容 Kafka
API,做到无缝迁移,打造更安全、更可靠、更易运维的 Kafka 企业级消息服务。
测试小组此次也对Apache
Kafka和消息队列 Kafka 企业级消息服务在性能、可用性、可靠性等方面做了如下对比:
对比项
Apache Kafka(开源)
阿里云 MQ-Kafka
安全防护
×
√
主子账号支持
×
√
性能(常规)
非常好
非常好
性能(万级Topic情况下)
低
非常好
性能(海量消息堆积情况下)
低
非常好
可靠性
一般
非常好,99.99999999%
可用性
好
非常好,99.99%,Always Writable
全链路消息轨迹
×
√
消息堆积查询
×
√
消息回溯
×
√
服务支持
用户自己运维
阿里云平台统一运维