概述消息的消费是一个先从Broke拉到client端，再consume的过程
客户端有一个PullMessageService线程拉取消息，然后把消息放到缓存中（红黑树结构），然后启动 ConsumeMessageService线程消费这些消息，这个过程会使用Consumer启动时注册的Listener消费，@1：PullMessageService#runwhile (!this.isStopp
转载
2023-07-16 22:32:02
344阅读
一、概念顺序消费可以从业务层次分为两种：全局顺序消息、局部顺序消息全局顺序消息：顾名思义，就是产生消息的顺序和消费消息的顺序一致，比如用户订单，大致分为：创建订单、支付、打包待发货、已发货、用户签收，业务上处理订单时必须按照先后次序来生产、消费消息，不能出现已经消费了支付消息，然后消费创建订单消息局部顺序消息：只要保证同一个订单（相同订单号）生产和消费的先后次序即可保证全局消息顺序方案：创建只有一
转载
2024-06-08 22:08:47
148阅读
1. RocketMQ消费者核心配置讲解consumeFromWhere配置 1. CONSUME_FROM_FIRST_OFFSET：初次从消息队列头部开始消费，即历史消息(还存在broker的)，全部消费一遍，后续再启动接着上次消费的进度开始消费 2. CONSUME_FROM_LAST_OFFSET：默认策略，初次从该队列最尾开始消费，即跳过历史消息，后续再启动接着上次消费的进度开始消费 3
转载
2024-01-17 07:59:45
698阅读
RocketMQ入门手册RocketMQ是一个分布式、队列模型的开源消息中间件，前身是MetaQ，是阿里研发的一个队列模型的消息中间件，后开源给apache基金会成为了apache的顶级开源项目，具有高性能、高可靠、高实时、分布式特点，同时，广泛应用于多个领域，包括异步通信解耦、企业解决方案、金融支付、电信、电子商务、快递物流、广告营销、社交、即时通信、移动应用、手游、视频、物联网、车联网等。具有
转载
2024-08-22 22:30:05
115阅读
分享知识 传递快乐因为需要处理死信队列问 RocketMQ官方死信队列配置，将死信队列配置到服务中，代码配置啥的都没问题，可就
原创
2022-11-01 11:57:38
1066阅读
1.安装及启动 a.在官网 rocketmq.apache.org/release_notes/release-notes-4.4.0/ 下载并解压RocketMQ b.配置环境变量： 变量名：ROCKETMQ_HOME 变量值：E:\java\rocketmq-4.4.0 （RocketMQ路径） c.启动NAMESERVER： 在MQ的 bin 目录下执行：start
转载
2024-06-21 12:51:07
48阅读
1.概述消费者：当消费者监听消费消息失败时，该消息同步写入broker，业务码RequestCode.CONSUMER_SEND_MSG_BACK；broker：processor收到CONSUMER_SEND_MSG_BACK请求后，更改主题为%RETRY%consumergroup，并设置延迟级别；commitlog写入消息时，若重试次数>16，则设置死信队列，只有写权限，无读权限，将不
转载
2024-08-22 07:10:01
154阅读
[list][*][b]优先级队列[/b][/list] [color=red]只有当消费者不足，不能及时进行消费的情况下，优先级队列才会生效[/color] RabbitMQ3.5以后已经集成了rabbitmq_priority_queue
[quote][url]http://www.rabbitmq.com/community-plugins.html[/url][/quote] 验证方式
转载
2024-09-09 00:43:05
34阅读
一 机器部署1、机器组成7台机器，均为16G内存 每台服务器均有4个CPU，2核 2、运行环境配置3、刷盘方式每台机器master机器均采用异步刷盘方式 二 性能评测1、评测目的 测试rocketmq是否存在消息堆积场景。 2、评测
转载
2024-06-17 13:35:46
164阅读
Kafka是一种流行的消息中间件系统，常用于在分布式系统中实现可靠的异步通信。在Kafka中，Producer产生消息，Consumer消费消息。但有时候我们可能需要实现一种场景，即Kafka中的消息不被真正消费，只是被保存在队列中。下面我将为你介绍如何实现Kafka不消费消息的方法。
### 实现Kafka不消费消息的步骤
| 步骤 | 操作 |
| --- | ---- |
| 1 | 创
原创
2024-05-17 14:07:11
121阅读
# 如何实现“redistream 不消费”
## 概述
在Redis中，redistream是一种数据结构，可以用来实现消息队列的功能。本文将教你如何实现redistream不消费的功能，即只读取消息而不对消息进行消费。
## 流程
下面是实现redistream不消费的流程：
| 步骤 | 操作 |
|------|------|
| 1 | 创建redistream |
| 2 | 读
原创
2024-06-01 06:52:12
41阅读
1. 背景RocketMQ 的消费可以算是 RocketMQ 的业务逻辑中最复杂的一块。这里面涉及到许多消费模式和特性。本想一篇文章写完，写到后面发现消费涉及到的内容太多，于是决定分多篇来写。本文作为消费系列的第一篇，主要讲述 RocketMQ 消费涉及到的模式和特性，也会概括性地讲一下消费流程。我将 RocketMQ 的消费流程大致分成 4 个步骤重平衡消费者拉取消息Broker 接收拉取请求后
转载
2024-02-22 22:53:59
169阅读
Kafka是最前沿的开源MQ之一，阿里的RocketMQ也借鉴了不少Kafka的思想。2011年领英发了篇文章描述Kafka的设计，我这先学习初版。新版最重要的改变就是exactly once，众所周知，at least once很容易，retry即可; 而exactly once则很难, 它必须同时维护幂等性。
Reference:
http://
notes.stephenh
转载
2024-03-22 08:39:59
128阅读
1. 前言Consumer启动后会立即触发一次「重平衡」操作，给自己分配MessageQueue，对于新分配的MessageQueue会提交拉取请求，开始拉取消息进行消费。应用在消费消息时，返回消费状态CONSUME_SUCCESS或RECONSUME_LATER，如果消息消费失败，消息并不会丢失，Broker会在稍后一段时间重新投递该消息，如果超过16次都消费失败，Broker会认为Consum
转载
2024-02-03 06:40:09
91阅读
RocketMq顺序消费源码阅读RocketMq顺序消费顺序消费顺序消费需要什么 RocketMq顺序消费最近在做需求时候发现，有场景是需要严格的顺序消费的，比如订单需要先下单，然后取消，其他的操作，如果不是业务的正常顺序进行消费的时候，可能会出现取消的消息先被消费到，结果导致查询不到数据的情况。下面我们一起看一下什么是顺序消费。顺序消费顺序消费，表示我们可以按照业务逻辑的顺序，定制顺序，同时顺
转载
2024-01-21 00:02:01
124阅读
RocketMQ的消息发送方式主要含syncSend()同步发送、asyncSend()异步发送、sendOneWay()三种方式，sendOneWay()也是异步发送，区别在于不需等待Broker返回确认，所以可能会存在信息丢失的状况，但吞吐量更高，具体需根据业务情况选用。 一个队列只会被消费组内的一个消费者消费，即如果topic相同，但是有多个consumerGroup，可能有A、B
转载
2023-08-25 23:45:22
292阅读
目录开篇先抛几个问题源码学习引用实例consumer启动过程解析1、校验consumer的配置2、实例化mQClientFactory3、设置reblance相关属性4、设置pullAPIWrapper的消息过滤钩子5、设置consumer的offsetStore6、设置consumer的consumeMessageService7、注册当前的consumer8、mQClientFactory.s
转载
2024-06-05 12:42:49
147阅读
问题RocketMQ重复消费问题RocketMQ线程过高问题线上场景场景一：重复消费场景：生产有这么一种场景，我们在RocketMQ中对一个topic创建了16个tag，不同总类的信息放到不同的tag中，在消费端每个tag对应三个线程组成group去消费消息。消费服务在线上是集群部署，是使用docker进行部署的。问题1：tag中的消息发生了稳定的重复性消费。排查：首先我们发现重复消费的次数和线上
转载
2023-09-06 20:27:37
108阅读
主要讲述rocketmq的消费流程，ack机制以及消费失败的处理问题。1 rocketmq的消费流程public static void main(String[] args) throws InterruptedException, MQClientException {
/*
* Instantiate with specified consumer gro
转载
2024-04-28 16:09:35
34阅读
过期的数据才会被自动清除以释放磁盘空间。比如我们设置消息过期时间为2天，那么这2天内的所有消息都会被保存到集群中，数据只有超过了两天才会被清除。Kafka只维护在Partition中的offset值，因为这个offsite标识着这个partition的message消费到哪条了。Consumer每消费一个消息，offset就会加1。其实消息的状态完全是由Consumer控制的，Consumer可以
转载
2024-02-15 09:24:44
563阅读
