作者：张丰哲1. Java 性能优化：教你提高代码运行的效率2. 基于token的多平台身份认证架构设计3. Spring Boot整合JWT实现用户认证(附源码)4. Springboot启动原理解析接 RocketMQ实战(一)，RocketMQ实战(二)，本篇博客主要讨论的话题是：顺序消费、RMQ在分布式事务中的应用等。关于多Master多Slave的
转载
2024-07-01 10:10:39
107阅读
一、专业术语Producer 消费生产者，负责产生消息，一般由业务系统负责产生消息Consumer 消息消费者，负责消费消息，一般是后台系统负责异步消费Push Consumer Consumer的一种，应用通常向Consumer对象注册一个Listener接口，一旦收到消息，Consumer对象立刻回调Listener接口方法Pull Consumer Consumer的
转载
2024-01-22 10:51:38
307阅读
一、rocketMq目前设计1. 目前已有功能概况 架构模式 RocketMQ 与大部分消息中间件 样，采用发布订阅模式，基本的参与组件主要包括 消息发送者、消息服务器(消息存储)、消息消费、路由发现 顺序消息 支持严格有序 消息过滤 支持消息过滤，从broker端或者从消费者端过滤，推荐从broker端过滤 消息存储 持久化存储，性能极高 消息高可用性 broker双主双从及以上的集群
转载
2024-08-22 15:34:05
83阅读
一、RocketMq有3中消息类型1.普通消费2. 顺序消费3.事务消费顺序消费场景在网购的时候，我们需要下单，那么下单需要假如有三个顺序，第一、创建订单 ，第二：订单付款，第三：订单完成。也就是这个三个环节要有顺序，这个订单才有意义。RocketMQ可以保证顺序消费。rocketMq实现顺序消费的原理 produce在发送消息的时候，把消息发到同一个队列（queue）中,消费者注册消息
消息消费有两种模式：集群、广播集群：topic下的同一条消息，只允许一个消费者消费广播：topic下的同一条消息将被所有订阅该topic的消费者消费一次此外，RocketMQ支持局部顺序消费，也就是保证一个消息队列上的消息顺序消费，不支持全局顺序消费，如果你的场景很特别，要求消息顺序消费，那么可以将该topic下的队列数设置为1，牺牲高可用；消息消费分为推和拉两种模式，我们这里来看一下推模式的消息
转载
2024-04-03 12:38:39
102阅读
使用场景如果消息过多，每次发送消息都和MQ建立连接，无疑是一种性能开销，批量消息可以把消息打包批量发送，批量发送消息能显著提高传递小消息的性能。批量消息概述批量发送消息能显著提高传递小消息的性能。限制是这些批量消息应该有相同的topic，而且不能是延时消息。此外，这一批消息的总大小不应超过4MB，如果超过可以有2种处理方案：1.将消息进行切割成多个小于4M的内容进行发送2.修改4M的限制改成更大可
转载
2024-06-28 11:09:01
377阅读
目录架构模型基本概念rocketmq的特点消息存储机制刷盘机制主从复制机制负载均衡机制消息重试机制死信队列机制消息幂等机制 架构模型rocketmq各模块之间的关系模型 topic、broker、queue之间的关系模型基本概念Producer 负责生产消息的生产者，同一类的生产者组成一个生产者组(producer group)Consumer 负责消费消息的消费者，同一类的消费者组成一个消费者
转载
2024-02-12 19:58:03
766阅读
RoketMQ一个消费者能消费多个queue，但是一个queue只能被一个消费者消费 多个pod部署同一个服务，这需要某台pod拉去消息？同一个consumergroup的不同的consumer消费相同的topic？肯定是不同的queue，如何指定queue来存msg呢？指定对应的consumer读这个msg，有个tag的概念参考文献：://jianshu./p/345aa
转载
2024-03-15 11:57:18
0阅读
Rocketmq选型Rocket是一个专业的队列服务，性能优于Rabbitmq，优势是性能和并发，源于Kafka的扩展版，增强了数据的可靠性。Rocketmq的队列类型普通队列，广播队列、顺序队列，分区顺序2、同步机制Rocketmq使用主从同步模式，同步分为同步和异步模式，这和mysql类似。3、Rocketmq管理命令rocketmq也可以通过web管理，坑中有说 创建topicbi
转载
2024-10-21 18:36:49
262阅读
一、介绍1. 消息消费模式有两种模式：广播模式与集群模式。2. 广播模式比较简单，每一个消费者需要拉取订阅 主题下所有队列的消息。3. 在集群模式下，同一个消费者组内有多个消息消费 者，同一个主题存在多个消费队列，消费者通过负载均衡的方式消费消息。4. 消息队列负载均衡，通常的作法是一个消息队列在同一个时间只允许被一个消费消费者消费，一个 消息消费者可以同时消费多个消息队列。二、PullMessa
一 机器部署1、机器组成 7台机器，均为16G内存每台服务器均有4个CPU，2核 2、运行环境配置3、刷盘方式每台机器master机器均采用异步刷盘方式 二 性能评测1、评测目的 测试queue接受消息负载均衡 2、评测指标 &nb
转载
2024-07-15 00:08:39
940阅读
原标题：玩转不同业务场景，这些RabbitMQ特性会是得力助攻我是在解决分布式事务的一致性问题时了解到的RabbitMQ，当时主要是要基于RabbitMQ来实现我们分布式系统之间对有事务可靠性要求的系统间通信。提到RabbitMQ，不难想到的几个关键字：消息中间件、消息队列。当时在大学学习操作系统这门课，消息队列不难想到生产者消费者模式。(PS：操作系统这门课程真的很好也很重要，其中的一些思想在我
转载
2024-07-01 10:02:28
96阅读
RocketMq顺序消费源码阅读RocketMq顺序消费顺序消费顺序消费需要什么 RocketMq顺序消费最近在做需求时候发现，有场景是需要严格的顺序消费的，比如订单需要先下单，然后取消，其他的操作，如果不是业务的正常顺序进行消费的时候，可能会出现取消的消息先被消费到，结果导致查询不到数据的情况。下面我们一起看一下什么是顺序消费。顺序消费顺序消费，表示我们可以按照业务逻辑的顺序，定制顺序，同时顺
转载
2024-01-21 00:02:01
124阅读
1. 前言Consumer启动后会立即触发一次「重平衡」操作，给自己分配MessageQueue，对于新分配的MessageQueue会提交拉取请求，开始拉取消息进行消费。应用在消费消息时，返回消费状态CONSUME_SUCCESS或RECONSUME_LATER，如果消息消费失败，消息并不会丢失，Broker会在稍后一段时间重新投递该消息，如果超过16次都消费失败，Broker会认为Consum
转载
2024-02-03 06:40:09
91阅读
RocketMQ的消息发送方式主要含syncSend()同步发送、asyncSend()异步发送、sendOneWay()三种方式，sendOneWay()也是异步发送，区别在于不需等待Broker返回确认，所以可能会存在信息丢失的状况，但吞吐量更高，具体需根据业务情况选用。 一个队列只会被消费组内的一个消费者消费，即如果topic相同，但是有多个consumerGroup，可能有A、B
转载
2023-08-25 23:45:22
292阅读
RocketMQ的组成Producer:生产消息（生产者）Broker:存储消息（服务器）Consumer:消费消息（消费者）RocketMQ的消息的订阅与发布订阅与发布时指某个生产者向某个Topic发送消息，消息的订阅是指某个消费者关注了某个topic中带有某些tag的消息，进而从该topic消费数据。实现的前提：消息的集合TopicTopic是订阅主题，RocketMQ中有多个Topic，但每
转载
2024-01-29 00:31:45
212阅读
概述消息的消费是一个先从Broke拉到client端，再consume的过程
客户端有一个PullMessageService线程拉取消息，然后把消息放到缓存中（红黑树结构），然后启动 ConsumeMessageService线程消费这些消息，这个过程会使用Consumer启动时注册的Listener消费，@1：PullMessageService#runwhile (!this.isStopp
转载
2023-07-16 22:32:02
344阅读
主要讲述rocketmq的消费流程，ack机制以及消费失败的处理问题。1 rocketmq的消费流程public static void main(String[] args) throws InterruptedException, MQClientException {
/*
* Instantiate with specified consumer gro
转载
2024-04-28 16:09:35
34阅读
问题RocketMQ重复消费问题RocketMQ线程过高问题线上场景场景一：重复消费场景：生产有这么一种场景，我们在RocketMQ中对一个topic创建了16个tag，不同总类的信息放到不同的tag中，在消费端每个tag对应三个线程组成group去消费消息。消费服务在线上是集群部署，是使用docker进行部署的。问题1：tag中的消息发生了稳定的重复性消费。排查：首先我们发现重复消费的次数和线上
转载
2023-09-06 20:27:37
108阅读
目录开篇先抛几个问题源码学习引用实例consumer启动过程解析1、校验consumer的配置2、实例化mQClientFactory3、设置reblance相关属性4、设置pullAPIWrapper的消息过滤钩子5、设置consumer的offsetStore6、设置consumer的consumeMessageService7、注册当前的consumer8、mQClientFactory.s
转载
2024-06-05 12:42:49
147阅读
