对于Kafka与RabbitMQ、ActiveMQ协议，它们具体的区别如下： activemq： activemq支持主从复制、集群。但是集群功能看起来很弱，只有failover功能，即我连一个失败了，可以切换到其他的broker上。这一点貌似不太科学。假设有三个broker，其中一个上面没有consumer，但另外两个挂了，消息会转到这个上
转载
2024-05-31 01:25:49
14阅读
Understanding When to use RabbitMQ or Apache Kafka https://content.pivotal.io/rabbitmq/understanding-when-to-use-rabbitmq-or-apache-kafka Performance
转载
2018-07-04 09:38:00
128阅读
2评论
Kafka和RabbitMQ都是流行的消息中间件系统，用于实现分布式系统中的消息传递。它们有一些相同点和不同点，下面是它们的主要相同点和不同点：相同点：消息传递：Kafka和RabbitMQ都支持异步消息传递，可以在分布式系统中传递消息。可靠性：两者都提供了持久化机制，保证消息的可靠性传递。高吞吐量：Kafka和RabbitMQ都具有高吞吐量的特性，能够处理大量的消息。可扩展性：两者都支持水平扩展
前言开源社区有好多优秀的队列中间件，比如RabbitMQ和Kafka，每个队列都貌似有其特性，在进行工程选择时，往往眼花缭乱，不知所措。对于RabbitMQ和Kafka，到底应该选哪个？RabbitMQ架构
RabbitMQ是一个分布式系统，这里面有几个抽象概念。broker：每个节点运行的服务程序，功能为维护该节点的队列的增删以及转发队列操作请求。master queue：每个队列都分为一个
转载
2021-09-15 17:26:32
341阅读
MQ选型？Kafka： 优点： 吞吐量⾮常⼤，性能⾮常好，集群⾼可⽤。 缺点：会丢数据，功能⽐较单⼀。 使⽤场景：⽇志分析、⼤数据采集。RabbitMQ： 优点： 消息可靠性⾼，功能全⾯。 缺点：吞吐量⽐较低，消息积累会严重影响性能。erlang语⾔不好定制。 使⽤场景：⼩规模场景。RocketMQ： 优点：⾼吞吐、⾼性能、⾼可⽤，功能⾮常全⾯。 缺点：开源版功能不如云上商业版。官⽅⽂档和周边⽣态
转载
2024-05-15 10:22:17
2073阅读
Pulsar与Kafka一样是分布式消息中间件Pulsar特性：1.线性扩展。能够丝滑的扩容到成百上千个节点(Kafka扩容需要占用很多系统资源在节点间拷贝数据，而Plusar完全不用)2.高吞吐。每秒数百万消息3.低延迟。在大规模的消息量下依然能够保持低延迟(< 5ms)4.持久化机制。Plusar的持久化机制构建在Apache BookKeeper之上，提供了写与读之前的IO隔离5.基于
转载
2024-03-15 09:47:16
58阅读
经常有人问我有个 xx 需求，我应该用 Kafka 还是 RabbitMQ ？这个问题很常见，而且很多人对二者的选择也把握不好。所以我决定写篇文章来详细说一下：Kafka 和 RabbitMQ 的区别，适用于什么场景？同时，这个问题在面试中也经常问到。下面我会通过 6 个场景，来对比分析一下 Kafka 和 RabbitMQ 的优劣。一、消息的顺序有这样一个需求：当订单状态变化的时候，把订单状态变
转载
2024-07-18 08:55:47
39阅读
- [3.1 Kafka](#31__Kafka_52)
+ [四、总结与展望](#_59)一、系统设计与组件构成1.1 RocketMQRocketMQ的系统设计更偏向于队列模型，提供了丰富的消息队列语义，如顺序消息、事务消息和定时消息等。它主要由NameServer、Broker、Producer和Consumer组成。NameServer负责服务注册与发现，Broker负责存储消息，Prod
关于ActiveMQ、RocketMQ、RabbitMQ、Kafka一些总结和区别
消息队列
为什么写这篇文章?博主有两位朋友分别是小A和小B:小A，工作于传统软件行业(某社保局的软件外包公司)，每天工作内容就是和产品聊聊需求，改改业务逻辑。再不然就是和运营聊聊天，写几个SQL，生成下报表。又或者接到客服的通知，某某功能故障了，改改数据，然后下班部署上线。每天过的都是这种生活，技术零成长。小B，工
目录1 MQ面试1.1 问题引入1.2 面试题剖析1.2.1 为什么使用消息队列1.2.1.1 解耦1.2.1.2 异步1.2.1.3 削峰1.2.1.4 消息总线1.2.1.5 延时任务1.2.1.6 广播消费1.2.1.6.1 消息推送1.2.1.6.2 缓存同步1.2.1.7 分布式事务1.2.1.7.1 传统XA事务方案：性能不足1.2.1.7.2 基于普通消息方案：一致性保障困难1.2.
转载
2024-10-11 16:19:52
171阅读
在双十一过程中投入同样的硬件资源，Kafka 搭建的日志集群单个Topic可以达到几百万的TPS，而使用RocketMQ组件的核心业务集群，集群TPS只能达到几十万TPS，这样的现象激发了我对两者性能方面的思考。
温馨提示：TPS只是众多性能指标中的一个，我们在做技术选型方面要从多方面考虑，本文并不打算就消息中间件选型方面投入太多笔墨，重点想尝试剖析两者在性能方面的设计思想。
Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点？特性ActiveMQRabbitMQRocketMQKafka单机吞吐量万级，比 RocketMQ、Kafka 低一个数量级同 ActiveMQ10 万级，支撑高吞吐10 万级，高吞吐，一般配合大数据类的系统来进行实时数据计算、日志采集等场景topic 数量对吞吐量的影响 topic 可以达到几百
转载
2024-09-27 19:26:27
63阅读
概述本篇是IoT MQ系列的第一篇，本篇主要从以下几个维度介绍下IoT MQ：IoT MQ和Kafka，RocketMQ，RabbitMQ这些消息队列有什么区别目前IoT的传输协议有哪些，有什么区别，如何选择合适的协议作为基础协议？IoT MQ的适用场景有哪些？IoT MQ到底是什么东东IoT MQ（Internet of things message queue）主要用来传输各种物联网设备的消息
转载
2024-03-23 09:39:05
149阅读
7月25日，阿里云消息队列 Kafka正式商业化。在全面兼容Apache Kafka生态的基础上，消息队列Kafka还具备了超易用，超高可用可靠性，扩缩容不操心，全方位安全诊断，数据安全有保障的特点，彻底解决Apache Kafka稳定性不足的长期痛点。阿里云消息队列 Kafka的正式商业化，进一步提升了 Kafka 对大数据生态的价值，提高了开发者在大数据生态下的开发效率。据介绍，阿
在双十一过程中投入同样的硬件资源，Kafka 搭建的日志集群单个Topic可以达到几百万的TPS，而使用RocketMQ组件的核心业务集群，集群TPS只能达到几十万TPS，这样的现象激发了我对两者性能方面的思考。温馨提示：TPS只是众多性能指标中的一个，我们在做技术选型方面要从多方面考虑，本文并不打算就消息中间件选型方面投入太多笔墨，重点想尝试剖析两者在性能方面的设计思想。1、文件布局1.1 Ka
转载
2021-06-07 11:01:53
213阅读
2评论
在双十一过程中投入同样的硬件资源，Kafka搭建的日志集群单个Topic可以达到几百万的TPS，而使用RocketMQ组件的核心业务集群，集群TPS只能达到几十万TPS，这样的现象激发了我对两者性能方面的思考。温馨提示：TPS只是众多性能指标中的一个，我们在做技术选型方面要从多方面考虑，本文并不打算就消息中间件选型方面投入太多笔墨，重点想尝试剖析两者在性能方面的设计思想。1、文件布局1.1Kafk
转载
2021-06-06 11:42:29
236阅读
最全MQ消息队列有哪些？目前在业界有哪些比较知名的消息引擎呢？如下图所示这里面几乎完全列举了当下比较知名的消息引擎，包括： ZeroMQ 推特的Distributedlog ActiveMQ：Apache旗下的老牌消息引擎 RabbitMQ、Kafka：AMQP的默认实现。 RocketMQ Artemis：Apache的ActiveMQ
转载
2024-09-08 23:41:02
69阅读
在官方文档详细列出了kafka-python的API接口https://kafka-python.readthedocs.io/en/master/apidoc/KafkaConsumer.html对于生成者我们着重于介绍一个send方法，其余的方法提到的时候会说明，在官方文档中有许多可配置参数可以查看，也可以查看上一篇博文中的参数。#send方法的详细说明，send用于向主题发送信息
send(
转载
2024-09-22 20:52:09
40阅读
1. 实验环境CPU:4 内存：8G ip:192.168.0.187开启iptables防火墙 关闭selinux java >=1.5 使用yum方式安装的java,提前配置好JAVA_HOME环境变量vim /etc/profile.d/java.sh
#!/bin/bash
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openj
转载
2024-04-24 15:28:02
120阅读
谢邀。首先我比较同意 @Alex 的观点。另外如果方便的话可以把这张图的出处发一下~~关于exactly-once语义(下称EOS)，有太多的误解甚至是“歪曲”了，很多框架(也包括Kafka Streams:-)都宣称自己实现了与Kafka的exactly once语义。实际上，在KIP-98引入之前，这几乎是不可能的。KIP-98正式引入了幂等性producer和事务才使得流处理框架+Kafka
转载
2023-09-27 17:02:31
199阅读
