编者注：作者是Java开发工程师@青云。MQ初窥门径全称(message queue)消息队列,一个用于接收消息、存储消息并转发消息的中间件应用场景用于解决的场景，总之是能接收消息并转发消息用于异步处理，比如A服务做了什么事情，异步发送一个消息给其他B服务。用于削峰，有些服务(秒杀)，请求量很高，服务处理不过来，那么请求先放到消息队列里面，后面按照能力处理，相当于蓄水池。应用解耦、消息通讯等等总之
消息性能对比：Kafka和RocketMQ都是磁盘消息队列的模式，对于同一个消费组，一个分区只支持一个消费线程来消费消息。过少的分区，会导致消费速度大大落后于消息的生产速度。所以在实际生产环境中，一个Topic会设置成多分区的模式，来支持多个消费者Kafka的每个Topic、每个分区都会对应一个物理文件。当Topic数量增加时，消息分散的落盘策略会导致磁盘IO竞争激烈成为瓶颈。而RocketMQ所
转载
2024-03-26 13:08:22
56阅读
DeveloperWorks发表了一篇新的关于apache Qpid的文章，是上一篇文章的续篇，介绍了Qpid的一些高级特性，包括负载均衡、集群、HA，RDMA存取等。
【参考】
Apache Qpid：一个AMQP的开源实现
转载
精选
2012-01-07 21:13:45
7690阅读
通过上一篇文章，我们已经大致了解怎么使用 Akka，期待细致用法。这篇文章将介绍如何用 Akka-testkit 对 Akka 程序进行测试。并行程序是最难调试的程序类型之一，因此做好测试是相当重要的事情。为了减轻 Akka 的程序的测试难度, Akka 官方专门开发了一个测试工具包 Akka-testkit。 1 Actor 的测试需求 &
作者 | 晓磊
编辑 | 张婵
消息队列是一种帮助开发人员解决系统间异步通信的中间件，常用于解决系统解耦和请求的削峰平谷的问题。本文从 Kafka 和 RocketMQ 的对比介绍了作者对消息队列的看法。
前言
消息队列是一种帮助开发人员解决系统间异步通信的中间件，常用于解决
转载
2024-09-23 17:30:40
63阅读
pulsar最初由Yahoo开发，并于2016年底开源，现在是Apache软件基金会的一个孵化器项目。Pulsar在Yahoo的生产环境运行了三年多，助力Yahoo的主要应用，如Yahoo Mail、Yahoo Finance、Yahoo Sports、Flickr、Gemini广告平台和Yahoo分布式键值存储系统Sherpa。pulsar和kafka最显而易见的区别是，pulsar支持多租户，
1)TPS比较：Kafka最高，RabbitMq 次之， ActiveMq 最差。2)吞吐量对比：kafka具有高的吞吐量，内部采用消息的批量处理，zero-copy机制，数据的存储和获取是本地磁盘顺序批量操作，具有O(1)的复杂度，消息处理的效率很高。rabbitMQ在吞吐量方面稍逊于kafka，他们的出发点不一样，rabbitMQ支持对消息的可靠的传递，支持事务，不支持批量的操作；基于存储的可
转载
2024-03-27 10:38:47
53阅读
想了解SparkStreaming 和Kafka Stream的区别，首先我们需要先了解一下Spark Streaming和Kafka Stream.什么是Spark Streaming？Spark Streaming是核心Spark API的扩展，可让其用户执行实时数据流的流处理。它从Kafka，Flume，Kinesis或TCP套接字等来源获取数据。可以使用复杂的算法对这些数据进行进一步处理，
Pulsar与Kafka一样是分布式消息中间件Pulsar特性：1.线性扩展。能够丝滑的扩容到成百上千个节点(Kafka扩容需要占用很多系统资源在节点间拷贝数据，而Plusar完全不用)2.高吞吐。每秒数百万消息3.低延迟。在大规模的消息量下依然能够保持低延迟(< 5ms)4.持久化机制。Plusar的持久化机制构建在Apache BookKeeper之上，提供了写与读之前的IO隔离5.基于
转载
2024-03-15 09:47:16
58阅读
Qpid Qpid-server
mq
qpid
原创
2019-08-20 15:22:47
1300阅读
导语随着大数据时代的到来，各大互联网公司对于数据的重视程度前所未有，各种业务对数据的依赖也越来越重。有一种观点认为大数据存在“3V”特性：Volume, Velocity, Variety。这三个“V”表明大数据的三方面特征：量大，实时和多样。这三个主要特征对数据采集系统的影响尤为突出。多种多样的数据源，海量的数据以及实时高效的采集是数据采集系统主要面对的几个问题。我们想要在数据上创造价值，首先要
转载
2024-07-04 05:23:50
167阅读
前段时间浪尖推荐过一套奈学的pulsar课程，很多粉丝问浪尖pulsar到底值不值得学习，会不会替代kafka。浪尖个人2018年的时候就接触了pulsar，而且贡献了一点点代码到社区里，解决了一个和flink整合的bug。今天是整理一篇文章来简单介绍下pulsar。1. pulsar的架构首先，我们先看下pulsar官网给出的pulsar架构，如下图：从架构图中，pulsar集群主要四大模块：1
转载
2024-05-15 02:44:46
90阅读
kafka介绍kafka是apache开源的消息队列顶级项目之一，在大数据场景下使用较多，由linkedin开源，目前社区活跃，全球较多组织开始使用kafka来进行数据交换。rabbitmq介绍RabbitMQ是流行的开源消息队列系统，用erlang语言开发。RabbitMQ是AMQP（高级消息队列协议）的标准实现。kafka和rabbitmq全面对比分析 实际场景选择在
转载
2024-03-28 22:14:36
17阅读
随着互联网的高速发展，用户规模与业务并发量开始急剧增加，海量的请求需要接收和存储，业务需要中间件来实现削峰填谷；业务也在不断发展，企业内部的系统数量也在不断地增长，不同语言开发出来的系统需要统一的事件驱动；大数据、AI已经成为很多业务中不可或缺的技术，它们都需要统一的数据源。越来越多的场景离不开消息队列，稍具规模的业务，消息队列都是“标配”。有的人可能会问，现在消息队列已经非常成熟了，我们可以使用
转载
2024-08-07 10:28:59
137阅读
一、确定调优目标1、常见的非功能性要求一.性能（performance）
最重要的非功能性需求之一。大多数生产环境对集群性能都有着严格的要求。不同的系统对于性能有着不同的诉求。比如对数据库系统来说，最重要的性能是请求的响应时间（response time）。用户总是希望一条查询或更新操作的整体响应时间越短越好；而对kafak而言，性能一般指的是吞吐量和延时两个方面
1>.吞吐量（th
转载
2024-02-08 14:41:07
138阅读
目录一、为什么选择Kafka开始？二、Kafka三、Kafka的消息模型 一、为什么选择Kafka开始？MQ的本质就是“一发一存一消费”。 1. Kafka和RocketMQ是目前最热门的两种消息中间件，应用最广泛。 2. 从MQ的历程来看，Kafka比RocketMQ更早诞生，并且阿里团队在实现RocketMQ，充分借鉴了Kafka的设计思想。 3. Kafka其实
转载
2024-03-16 01:00:02
144阅读
消息中间件，MQ message queue 一般在比较复杂的软件设计中会引入消息中间件来进行相关功能的支撑，那么消息中间件的作用是什么？一般主流经常使用的kafka和rabbitmq二者有什么区别，在我们项目中何时该使用kafka，何时使用rabbitmq? MQ的原始概念其实可以理解为如下流程： 生产者发送消息到MQ -> MQ保存消息 -> 消费者消费消息 后面各个厂商在这上面扩
转载
2024-04-04 19:20:04
101阅读
中间件
原创
2023-05-08 13:44:02
120阅读
Kafka、RocketMQ、RabbitMQ 对比
消息
转载
2023-01-05 20:43:56
548阅读
