在企业实践RocketMQ时基本上80%都是不消费问题，而由于消费进度问题导致不消费的问题又是最难确认的和排查的。RocketMQ的消费进度分为本地消费进度管理和远程消费进度管理，分别对应的消费模式是广播消费和集群消费。本文选自《RocketMQ分布式消息中间件：核心原理与最佳实践》一书，带你层层揭秘RocketMQ如何管理消费进度。 什么是消费进度消费进度，也就是由Brok
转载
2024-04-16 21:51:38
122阅读
说在前面
管理请求 GET_CONSUME_STATS 获取消费者状态
源码解析
进入到这个方法org.apache.rocketmq.broker.processor.AdminBrokerProcessor#getConsumeStats获取消费者状态
private RemotingCommand getConsumeStats(ChannelHandlerContext ctx
RocketMQ消费者中有一个consumeFromWhere属性，该属性从语义上来看就是说该消费者从队列的哪里开始消费，并且可以通过setConsumeFormWhere方法去进行设置，可设置的有三个值，分别是CONSUME_FROM_LAST_OFFSET，CONSUME_FROM_FIRST_OFFSET,CONSUME_FORM_TIMESTAMP，按照语义上来理解就是从队列的最后开始消费
消息发送生产者向消息队列里写入消息，不同的业务场景需要生产者采用不同的写入策略。比如同步发送、异步发送、Oneway发送、延迟发送、发送事务消息等。 默认使用的是DefaultMQProducer类，发送消息要经过五个步骤：1）设置Producer的GroupName。 2）设置InstanceName，当一个Jvm需要启动多个Producer的时候，通过设置不同的 InstanceName来区分
转载
2024-06-22 13:16:48
68阅读
Broker注册在Broker的启动函数中，添加了定时向NameServer进行注册的任务，在启动后延迟10秒向NameServer进行注册，之后定时发送心跳包，关于发送周期，首先从Broker配置的周期与60000毫秒中选出最小的那个值，然后再与10000毫秒对比，选出最大的那个，所以最长10秒钟执行一次心跳发送：public class BrokerController {
publi
前言RocketMQ对于JAVA程序员来说应该都不陌生，RocketMQ是一款由阿里巴巴开源出来的一款消息中间件，各个大厂基本上都在用的这么一个中间件，其优点自不必言说，所以今天就不给大家来剖析RocketMQ了。我们来分享点不一样的，相信大家在用RocketMQ时或多或少都会遇到一些问题，而比较常见的就是当其报错或配置一个参数时，往往一些新手就会懵逼这是啥意思呀，不知道如何处理。所以小编在这里整
转载
2024-03-12 17:59:05
242阅读
文章目录1. 消息重试1.1 如何让消息进行重试1.2 重试消息如何处理2. 死信队列、死信消息3. 消息去重/消息幂等（防止消息重复消费）4. 定时消息（延迟消息）5. 顺序消息6. 消息过滤7. 回溯消费8. 事务消息 1. 消息重试首先对于广播模式的消息， 是不存在消息重试的机制的，即消息消费失败后，不会再重新进行发送，而只是继续消费新的消息。而对于普通的消息，当消费者消费消息失败后，可以
转载
2024-09-08 22:46:31
74阅读
消息队列（Message Queue），顾名思义，是队列这种数据结构的一种实现。今天我们对其进行详细的了解一、什么是消息队列消息队列是一种队列，是一种存储消息的中间件，我们可以把他看成是一种存储消息的容器。提到队列，就不得不说元素的进出顺序，先进先出。消息队列也遵循这个原则。生产者如果按照123的顺序进行消息的发送，那消费者必定要通过123的顺序进行接收。即时在多个消费者订阅同一主题的消息时，我们
转载
2024-01-01 12:51:07
1092阅读
最近对 RocketMQ 的存储结构学习了一下，写一篇总结记录一下自己对其的一个研究和理解。 先简单说一下 RocketMQ 的总体架构。RocketMQ 的总体架构 RocketMQ由四个组件构成，分别是Producer、Consumer、Broker 和 NameServer。Producer：生产者，负责消息的生产和发送。与 NameServer 集群的一个节点建立长连接，定期从 NameS
转载
2024-06-28 10:42:57
143阅读
RocketMQ 最新版PushConsumer配置参数详解1、Push消费模式下的配置2、consumerGroup3、messageModel4、consumeFromWhere5、allocateMessageQueueStrategy6 、consumeMessageBatchMaxSize7 、pullBatchSize8 、pullInterval9、 offsetStore10、co
转载
2024-06-20 18:44:04
820阅读
本文基于RocketMQ 4.7.1版本rocketmq提供了两个类用于消费消息，分别是DefaultMQPullConsumer和DefaultMQPushConsumer，下面分别介绍如何使用这两个类。 文章目录一、DefaultMQPushConsumer二、DefaultMQPullConsumer 一、DefaultMQPushConsumerpublic static void mai
转载
2023-10-18 21:02:38
990阅读
对于消息队列的通信模型，目前市面上主流的消息队列产品主要有两种形式，一种按照队列的数据结构设计出来的“队列模型”，另一则是在其基础上演化出来的“发布-订阅模型”，而RocketMQ采用的是发布订阅的方式。一、通信模型发布订阅，看成是生产者-消费者模型的一种形式就可以了。消息发送给到订阅了这个消息的消费者，那么势必系统需要知道生产者和消费者之间的关系。RocketMQ提供了Broker这个组件做为消
转载
2024-04-16 17:31:15
327阅读
重要的知识点，禁止并发消费，加锁这样就不会多线程同时访问一个队列造成无序。consumer会平均分配queue的数量进行消费的，一个consumer同时可以消费一个队列的多个消息，要保证顺序消费就要加锁的。一个消费者是一个线程池。第一步：还原为最简单的代码第二步：在队头或者队尾部消费只是初次启动第一次有效，第二次重启的时候以后都是按照上一次的消费点往后消费的。代码：consumer.setCons
转载
2024-03-12 15:25:31
751阅读
RocketMQ 消费者核心配置consumeFromWhere 配置这个配置基本不用改，采用默认配置即可。CONSUME_FROM_FIRST_OFFSET： 初次从消息队列头部开始消费，即历史消息（还储存在 broker 的）全部消费一遍，后续再启动接着上次消费的进度开始消费。CONSUME_FROM_LAST_OFFSET： 默认策略，初次从该队列最尾开始消费，即跳过历史消息，后续再启动接着
转载
2023-11-09 08:45:47
168阅读
消费者启动RebalanceService负载均衡服务。 一个消息队列仅能被一个消费者消费，但一个消费者可以同时消费多个消息队列。这就涉及到如何将多个消息队列分配给等多个消费者的问题。RebalanceService来专门处理多个消息队列和消费者的对应关系，并且提供了多个不同的消费者负载均衡策略，即如何分配消息队列给这些消费者。有三种情况会触发Consumer进行负载均衡或者说重平衡：Rebala
转载
2024-06-27 08:37:23
498阅读
目录说明均衡过程queue均衡入口均衡过程均衡规则： 说明关于RocketMQ Consumer消费消息的过程，内容较多，为了能将消费过程中涉及的关键技术讲全、讲明白，所以这一部分，根据消费过程的主要处理内容，我将分三个小部分进行： 1、queue的均衡：针对topic的queue，如何分配给不同的Consumer进行消费，分配的算法有哪些。 2、消息的拉取：拉取消息的过程及消息处理。 3、消息
转载
2024-03-15 08:40:07
78阅读
在公司的技术分享中，就有聊到rocketmq的消费模式，特此总结一下。在说消费之前，这里先说一下rocketmq中group的概念吧，一个group代表的是逻辑相同的一组实例，最可以表达这个概念的是我们将一个项目部署多个实例，那么这个项目的集群就可以称之为一个group。说完group，再来说说广播消费，在这种模式下，rocketmq会将消息发送给group中的每一个消费者，如果这种模式在公司的项
转载
2024-06-27 08:44:43
133阅读
RocketMQ 最新版PushConsumer配置参数详解1、Push消费模式下的配置2、consumerGroup3、messageModel4、consumeFromWhere5、allocateMessageQueueStrategy6 、consumeMessageBatchMaxSize7 、pullBatchSize8 、pullInterval9、 offsetStore10、co
转载
2024-03-17 14:05:08
571阅读
在今天的博文中，我将分享关于“RocketMQ消费者配置Java”的详尽指南，包括环境准备、分步指南、配置详解、验证测试、优化技巧和排错指南。希望这个内容能够帮助你更好地理解如何配置和使用RocketMQ的消费者。
## 环境准备
在开始之前，让我们先确定我们所需的环境配置和要求。
### 软硬件要求
| 项目 | 要求 |
|-------
1. 使用场景在淘宝购物车下单时，涉及到购物车系统和交易系统，这两个系统之间的数据最终一致性可以通过分布式事务消息的异步处理实现。在这种场景下，交易系统是最为核心的系统，需要最大限度地保证下单成功。而购物车系统只需要订阅消息队列RocketMQ版的交易订单消息，做相应的业务处理，即可保证最终的数据一致性。2. 执行流程事务消息发送步骤如下：生产者将半事务消息发送至消息队列RocketMQ服务端。服
转载
2024-10-08 13:55:55
74阅读
