原创不易，转载请注明出处 文章目录前言1.消息流程介绍2.源码解析2.1 并发消费2.2 顺序消费 前言我们在《RocketMQ源码解析之消息消费者(pullMessage)》一文中介绍了消息消费者push模式拉取消息的流程，消息从broker拉取回来之后，将消息放入对应的ProcessQueue的treeMap中，接着就是提交消费请求了，本文主要是介绍下RocketMQ提供的2种消费模式（并发消
转载
2024-09-14 09:42:52
207阅读
文章目录消费者分类PushConsumer使用方式内部原理适用场景SimpleConsumer使用方式适用场景PullConsumer使用建议 消费者分类对比项PushConsumerSimpleConsumerPullConsumer接口方式使用监听器回调接口返回消费结果，消费者仅允许在监听器范围内处理消费逻辑。业务方自行实现消息处理，并主动调用接口返回消费结果。业务方自行按队列拉取消息，并可
转载
2024-10-11 14:01:19
82阅读
RocketMQ 最新版PushConsumer配置参数详解1、Push消费模式下的配置2、consumerGroup3、messageModel4、consumeFromWhere5、allocateMessageQueueStrategy6 、consumeMessageBatchMaxSize7 、pullBatchSize8 、pullInterval9、 offsetStore10、co
转载
2024-03-17 14:05:08
571阅读
分布式消息队列特性 分布式消息系统作为实现分布式系统可扩展、可伸缩性的关键组件，需要具有高吞吐量、高可用等特点。而谈到消息系统的设计，就回避不了两个问题：消息的顺序问题 消息的重复问题 可靠消息事务 RocketMQ作为阿里开源的一款高性能、高吞吐量的消息中间件，它是怎样来解决这两个问题的？RocketMQ 有哪些关键特性？其实现原理是怎样的？概览 关键特性以及其实现原理 顺序消息 消息有序指的是
转载
2024-08-05 20:10:55
138阅读
本文主要介绍RocketMQ中Topic、Tag、GroupName的概念、设计初衷以及使用方法。一.Topic首先看看官方的定义： Topic是生产者在发送消息和消费者在拉取消息的类别。Topic与生产者和消费者之间的关系非常松散。具体来说，一个Topic可能有0个，一个或多个生产者 向它发送消息；相反，一个生产者可以
转载
2023-09-29 11:49:07
1419阅读
消费进度保存机制概述OffsetStore接口核心方法消费进度持久化定时持久化位点不定时持久化位点消费者关闭时持久化位点信息(重要!!!) 概述在消费者启动时 会 同时启动 位点管理器，位点具体是如何管理？ RocketMQ 设计了 远程位点管理 和 本地位点管理 两种位点管理方式 集群消费时，位点 由客户端 提交给 Broker保存，具体实现代码在RemoteBrokerOffsetStore
转载
2024-10-09 11:24:29
2阅读
1. 前言秒杀本质上属于短时突发性高并发访问问题，业务特点如下：定时触发，流量在瞬间突增秒杀请求中常常只有部分能够成功秒杀商品数量往往有限，不能超卖，但能接受少卖不要求立即返回真实下单结果本文主要讲解秒杀场景中 RocketMQ 实战使用，不详细讲解秒杀其他业务流程。下面是秒杀流程图：想要了解具体实现的，参见详细代码：大佬源码2. 秒杀业务概述通过对秒杀核心业务流程进行异步化，我们能够将主流程分为
转载
2024-09-18 12:13:29
73阅读
最近对 RocketMQ 的存储结构学习了一下，写一篇总结记录一下自己对其的一个研究和理解。 先简单说一下 RocketMQ 的总体架构。RocketMQ 的总体架构 RocketMQ由四个组件构成，分别是Producer、Consumer、Broker 和 NameServer。Producer：生产者，负责消息的生产和发送。与 NameServer 集群的一个节点建立长连接，定期从 NameS
转载
2024-06-28 10:42:57
143阅读
# 如何实现“RocketMQ 消费组”Java 示例
RocketMQ 是一个强大的分布式消息队列，常用于高吞吐量的消息传递需求。本文将指引你完成使用 Java 实现 RocketMQ 消费组的过程，适合对 RocketMQ 的基础和 Java 开发有一定了解的新手。
## 流程概述
在实现 RocketMQ 消费组的过程中，有几个主要步骤。以下是简单的流程表格，展示了从创建消费者到消费消
【引言】关于RocketMQ的安装教程和Spring Boot的集成，在前面的两篇博客中做了相关总结。本篇博客主要总结RocketMQ中的相关组件，这也是了解其原理必须要知道的理论知识。【核心概念】生产者（Producer）生产者是指将由业务系统产生的消息发送到brokers中。RocketMQ提供了多种发送消息的模式：同步的、异步的和单向的。生产组（Producer Group）具有相同角色的生
转载
2024-02-20 21:15:06
60阅读
文章目录一、消息消费实现二、消息消费过程1、消息拉取2、消息消费1）提交消费请求2）消费消息三、总结 一、消息消费实现 消息消费有2种实现，分别为：并发消费实现（ConsumeMessageConcurrentlyService）和顺序消费实现（ConsumeMessageOrderlyService）。本次以并发消费实现为切入进行探讨消息的消费流程。二、消息消费过程1、消息拉取 1）在消息
目录1、消费者分组（ConsumerGroup）2、模型关系3、内部属性3.1 消费者分组名称3.2 投递顺序性3.3 消费重试策略3.4 订阅关系4、行为约束5、使用建议 1、消费者分组（ConsumerGroup）消费者分组是 Apache RocketMQ 系统中承载多个消费行为一致的消费者的负载均衡分组。和消费者不同，消费者分组并不是运行实体，而是一个逻辑资源。在 Apache Rock
转载
2023-10-07 20:21:24
264阅读
Ribbon介绍Spring Cloud Ribbon是一个基于HTTP和TCP的客户端负载均衡工具，它基于Netflix Ribbon实现。主要功能是提供客户端的软件负载均衡算法，将Netflix的中间层服务连接在一起。Ribbon客户端组件提供一系列完善的配置项如连接超时，重试等。简单的说，就是在配置文件中列出Load Balancer（简称LB）后面所有的机器，Ribbon会自动的帮助你基于
转载
2024-04-16 16:15:42
37阅读
目录前言场景问题消息中间件方案RocketMq事务方案RocketMq回查回查判断业务是否成功总结前言在系统变的复杂后，分布式、微服务等架构技术，就要考虑到应用在系统中了。尤其数据量大了后，就需要对数据库进行拆分。如：注册的用户数据，量大了后，就需要考虑分库分表一旦数据库进行了分拆，那就出现很多头疼的问题，其中之一就是事务问题。那我们就来看看问题是怎么出现的？场景先来上个图 进行数据
1、抛出问题一个新的消费组订阅一个已存在的Topic主题时，消费组是从该Topic的哪条消息开始消费呢？首先翻阅DefaultMQPushConsumer的API时，setConsumeFromWhere(ConsumeFromWhere consumeFromWhere)API映入眼帘，从字面意思来看是设置消费者从哪里开始消费，正是解开该问题的”钥匙“。ConsumeFromWhere枚举类图如
转载
2024-04-10 10:17:38
196阅读
RocketMQ在集群模式下，同一个消费组内，一个消息队列同一时间只能分配给组内的某一个消费者，也就是一条消息只能被组内的一个消费者进行消费，为了合理的对消息队列进行分配，于是就有了负载均衡。接下来以集群模式下的消息推模式DefaultMQPushConsumerImpl为例，看一下负载均衡的过程。消费者负载均衡首先，消费者在启动时会做如下操作：从NameServer更新当前消费者订阅主题的路由信
转载
2024-09-10 12:15:08
44阅读
一、如何选择消息消费的方式—Pull or Push？1.1 MQ中Pull和Push的两种消费方式对于任何一款消息中间件而言，消费者客户端一般有两种方式从消息中间件获取消息并消费： （1）Push方式：由消息中间件（MQ消息服务器代理）主动地将消息推送给消费者；采用Push方式，可以尽可能实时地将消息发送给消费者进行消费。但是，在消费者的处理消息的能力较弱的时候(比如，消费者端的业务
转载
2023-10-07 19:59:45
309阅读
目录一、消息消费1. 消费UML图2. 提交消息3. 消费消息二、消息确认（ACK）1. 消费端处理消费结果2. Broker端处理消费ACK请求三、消费进度管理1. 广播模式消费进度存储2. 集群模式消费进度存储四、参考资料一、消息消费1. 消费UML图 PUSH模式消息拉取机制参考《RocketMQ5
转载
2024-01-10 13:19:53
388阅读
1 拉消息流程回顾在学习消息是如何被消费的原理之前，我们去回顾之前拉取消息的流程。 首先，消费者实现类DefaultMQPushConsumerImpl里面有Rebalance对象，其触发的时机是在客户端实例里面的RebalanceService服务，RebalanceService有自己的线程资源，每二十秒执行一次doRebalance方法，该方法会调用RebalanceImpl的doRebal
转载
2024-05-16 11:00:25
147阅读
前序
问题引出：
假设现在有这么一个业务，上游系统通过消息队列，发送一个订单的状态操作信息，上游先发生操作订单价格乘以2倍，再操作订单价格减去10元，但是系统发送的两条消息时间相差不大，下游系统如何接受消息，并且需要严格保证订单状态的操作顺序性？
针对这个问题，我们来介绍下ro
转载
2023-10-13 20:20:22
191阅读
