消息队列如何选择？Kafka、Pulsar、RabbitMQ还是...

文章目录

• ​​一、各消息队列的简介​​

• ​​1.1、ActiveMQ​​
• ​​1.2、Kafka​​
• ​​1.3、RabbitMQ​​
• ​​1.4、RocketMQ​​
• ​​1.5、Pulsar​​

• ​​二、AMQP协议​​
• ​​三、消息队列对比​​
• ​​四、消息队列选择建议​​

公众号：MCNU云原生，欢迎搜索关注，更多干货，第一时间掌握！

消息队列是当代分布式系统架构中非常重要的一部分，在应用解耦、流量削峰、异步通信等方面有非常多的应用场景。目前最为我们所熟知的消息队列有：ActiveMQ、Kafka、RabbitMQ、Pulsar和RocketMQ，他们都有哪些优势和劣势， 我们应该如何选择呢？相信这是摆在很多开发者面前的问题。

本文试图对这些广为人知的消息队列进行各方面的比对，为开发者提供选择参考。

一、各消息队列的简介

1.1、ActiveMQ

Apache ActiveMQ是一个开源的、基于Java的消息代理（message broker）软件，实现了Java Message Service (JMS) 规范，同时支持多种协议和编程语言。它可以在分布式系统中作为消息传递的中间件，为不同的应用程序提供异步通信机制。

ActiveMQ使用一种称为“发布-订阅”的消息模式，其中消息发布者发布消息到特定的主题（Topic）中，订阅者可以从这些主题中接收消息。此外，ActiveMQ还支持“点对点”模式，其中每个消息发送到特定的队列（Queue），只有一个消费者可以从队列中接收并处理这个消息。

ActiveMQ支持多种协议，包括OpenWire、STOMP、MQTT和AMQP等，这使得它可以与不同的编程语言和平台集成，并提供了广泛的灵活性和可扩展性。此外，ActiveMQ还提供了许多高级功能，如事务、持久化、负载均衡、故障转移和安全性等，以满足各种企业级应用程序的需求。

总之，ActiveMQ是一个功能强大、可靠性高、可扩展性强的消息代理软件，广泛应用于企业级系统、分布式系统、物联网（IoT）和云计算等领域。

1.2、Kafka

Kafka是由Apache软件基金会旗下的一个分布式流处理平台和消息队列系统，可以处理大规模的数据流和实时消息流。主要用于大规模数据处理和流式处理场景，特别是在日志处理领域，应用非常广泛。Kafka 通过高效的分区和副本机制保证了高可用性和数据可靠性。它也提供了非常丰富的生态系统，支持海量数据的实时处理，是大数据领域当之无愧的“靓仔”。

Kafka最初是由LinkedIn开发，作为一种可扩展、高可靠性的消息传递系统而设计。它具有以下主要特点：

1. 分布式系统：Kafka是一个分布式系统，可以在多个节点上部署，提供高可用性和可扩展性。
2. 高吞吐量：Kafka能够处理每秒数百万条消息，因此非常适合处理大量的实时数据流。
3. 持久性存储：Kafka可以持久性地存储数据，这意味着即使在数据传输中断或系统崩溃时，数据也不会丢失。
4. 多副本备份：Kafka允许在多个节点上备份数据，从而保证数据的高可用性和容错性。
5. 支持流处理：Kafka可以与流处理框架（如Apache Spark和Apache Storm）结合使用，实现实时数据分析和处理。
6. 可扩展性：Kafka可以在需要时增加节点，以满足不断增长的数据处理需求。

1.3、RabbitMQ

RabbitMQ是一种开源的消息队列软件，可以用于构建高效、可扩展的分布式系统。它是一种基于AMQP（高级消息队列协议）的消息代理，支持多种编程语言，并提供了丰富的特性和插件，使得它可以应用于各种场景。

RabbitMQ的基本概念是生产者（producer）、消费者（consumer）、消息队列（queue）和交换机（exchange）。生产者将消息发送到交换机，交换机根据预先定义的路由规则将消息发送到对应的队列中，消费者从队列中获取消息进行处理。RabbitMQ还支持多种交换机类型，包括direct、fanout、topic和headers等，可以根据需求灵活选择使用。

除了基本的消息传递功能，RabbitMQ还提供了许多高级功能，如消息确认机制、消息持久化、消息优先级、消息过期时间等，以及针对性能和可靠性优化的各种参数配置。

RabbitMQ的应用场景非常广泛，包括微服务架构、异步任务处理、实时数据处理、日志处理、监控告警等领域。它已经被广泛应用于企业级应用系统和互联网公司中，如GitHub、华为云、微软等。

1.4、RocketMQ

RocketMQ是一种分布式消息中间件，由阿里巴巴集团开发并开源。它是一种高吞吐量、高可用性、可扩展性强的消息队列系统，可用于支持各种应用场景，如大规模在线服务、实时数据处理、日志收集、数据缓存等。

RocketMQ支持发布/订阅模式和点对点模式，并提供了丰富的消息传递特性，如延迟消息、事务消息、批量消息、顺序消息等。RocketMQ还提供了各种高级功能，如消息过滤、消息追踪、动态扩展、消息重试等。

RocketMQ的架构非常灵活和可扩展，由四个核心组件组成：NameServer、Broker、Producer和Consumer。NameServer用于管理Broker的元数据信息，Broker用于存储和传递消息，Producer负责向Broker发送消息，Consumer负责从Broker中获取消息进行消费。

RocketMQ在性能方面表现非常优异，它能够支持每秒百万级别的消息吞吐量，同时也提供了丰富的监控和管理工具，帮助用户更好地管理和监控消息队列系统。

目前，RocketMQ已经成为了阿里巴巴集团内部的消息中间件标准，并且在国内外的许多企业中得到了广泛应用。

1.5、Pulsar

Pulsar是一种开源的分布式消息中间件系统，由Apache Software Foundation维护和支持。它是一种高度可扩展、高性能、多租户、灵活的消息系统，支持多种消息传递模式和协议，包括发布/订阅、队列、Kafka协议等。

Pulsar的架构基于分层的设计，由三个核心组件组成：Broker、ZooKeeper和BookKeeper。Broker负责接收、存储和路由消息，ZooKeeper用于管理Broker和集群的元数据信息，BookKeeper用于存储消息的副本和保证数据可靠性。

Pulsar支持多租户，可以将多个租户的消息隔离开来，并为每个租户提供独立的资源和安全保障。此外，Pulsar还支持动态扩展、多数据中心部署、消息级别的容错和故障转移等高级功能。

Pulsar在性能方面表现出色，它可以支持每秒数百万条消息的吞吐量，同时也提供了丰富的管理和监控工具，如Pulsar Manager和Prometheus等，帮助用户更好地管理和监控消息队列系统。

Pulsar的应用场景非常广泛，包括实时数据处理、消息传递、日志收集、事件驱动架构等。目前，Pulsar已经被许多企业和组织广泛采用，如Yahoo、Tencent、Salesforce等。

二、AMQP协议

我想特别再提一下QMQP协议，因为这是消息队列的标准协议，有举足轻重的地位，然而目前有些消息队列支持，有些却不完全支持。

AMQP（Advanced Message Queuing Protocol）是一种开放标准的消息队列协议，它旨在提供高级的消息传递功能，如消息路由、消息确认、事务处理和安全性等。

AMQP协议由多个组件组成，包括生产者、消费者、交换器、队列和代理服务器。生产者向交换器发布消息，交换器负责将消息路由到特定的队列中。消费者可以从队列中接收消息，并向交换器发送确认消息。

AMQP协议的一个重要特性是它的可互操作性，即不同供应商的AMQP实现可以相互通信。这种互操作性是通过AMQP协议的严格定义和规范来实现的，确保了不同实现之间的兼容性。

AMQP协议也提供了高级的消息传递功能，如事务处理和安全性。事务处理功能允许消息的生产者和消费者以原子操作的方式处理消息，确保消息的可靠性和一致性。安全性功能包括消息加密和身份验证等，确保消息的保密性和完整性。

目前，AMQP协议已经得到了广泛的应用，许多消息队列系统如RabbitMQ、ActiveMQ、Qpid等都支持AMQP协议，而Kafka与Pulsar则不支持标准AMQP。以Kafka为例，Kafka没有交换器或队列的概念，因此也没有类似于AMQP中的路由和转发机制。

不过虽然Kafka不支持AMQP协议，但它提供了自己的API和协议，支持多种编程语言和客户端库，方便开发者使用Kafka进行消息传递。同时，许多消息队列系统和中间件都可以通过适配器或转换器来支持Kafka协议，使得Kafka在实际应用中得到了广泛的应用。

三、消息队列对比

	ActiveMQ	RabbitMQ	RocketMQ	Kafka	Pulsar
单机吞吐量	较低(万级)	一般（万级）	高（十万级）	高（十万级）	高（十万级）
开发语言	Java	Erlang	Java	Java/Scala	Java
维护者	Apache	Spring	Apache （Alibaba）	Apache （Confluent）	Apache （StreamNative）
Star数量	2.1K	10.4K	18.8K	24.3K	12.4K
Contributor	126	246	438	991	600
社区活跃度	低	高	较高	高	高
消费模式	P2P、Pub-Sub	direct、topic、Headers、fanout	基于Topic和MessageTag的的Pub-Sub	基于Topic的Pub-Sub	基于Topic的Pub-Sub，支持**独占（exclusive）、共享（shared）、灾备（failover）、key共享（key_shared）**4种模式
持久化	支持（小）	支持（小）	支持（大）	支持（大）	支持（大）
顺序消息	不支持	不支持	支持	支持	支持
性能稳定性	好	好	一般	较差	一般
集群支持	主备模式	复制模式	主备模式	Leader-Slave每台既是master也是slave，集群可扩展性强	集群模式，broker无状态，易迁移，支持跨数据中心
管理界面	一般	较好	一般	无	无
计算和存储分离	不支持	不支持	不支持	不支持	支持
AMQP支持	支持	支持	支持	不完全支持	不完全支持

注：作为 LShift 和 CohesiveFT 于 2007 年成立的合资企业，RabbitMQ 于 2010 年 4 月被 VMware 旗下的SpringSource 收购。

四、消息队列选择建议

综上所述，选择哪一种消息中间件需要根据具体的应用场景和需求来决定。

ActiveMQ作为老牌的消息队列，吞吐量比较低，也缺少大规模吞吐量场景的验证、社区活跃度也很低，数据持久化的支持一般，目前渐渐被淘汰，已经不是主流了，不太建议选择了。

RabbitMQ和RocketMQ社区比较活跃，吞吐量比较高，支持AMQP，稳定性也比较好，如果你的场景是应用需要可靠性消息传递和较高的并发，那么这两者是比较好的选择。

要注意，rabbitMQ是使用Erlang语言开发的，而RocketMQ则使用Java语言开发，所以如果是需要深度研究掌握的话，要考虑团队中是否有Erlang工程师，如果不具备相关的人才储备的话，更建议选择RocketMQ。当然，如果只是小团队简单使用，则rabbitMQ是一个挺好的选择。

如果是大数据领域的实时计算、日志采集等场景，则选择Kafka和Pulsar都是一个不错的选择，Kafka经历了超大规模应用的验证，社区活跃度很高，性能也非常高，几乎是全世界这个领域的事实性的标准。

Pulsar作为新兴的分布式消息传递系统，可扩展性强、性能高、社区活跃度也很高，最重要的是支持存储和计算分离，这在云原生下是非常出色的一项能力，并且天然支持跨数据中心的容灾，目前的应用也越来越广泛，如果集群对于持久化要求高，数据级别是超大规模，对于机器成本敏感，且支持多数据中心容灾，则建议选择Pulsar。