首先说下消息重复发送的原因:消息异常重复发送消费消息抛出异常重平衡清理长时间消费的消息消费者提交offset失败主从同步offset失败服务端持久化offset失败在说正面的失败原因前,我们先看下rocketmq前提的基础知识RocketMQ发送消费消息的基本原理(按照FIFO算法)生产者发送消息,通过负载均衡算法,选择发送给一个Broker下面的topic队列QUEUE,当中首先跟这个队列建立连
RocketMQ的架构原理了解RocketMQ的时候，首先我们需要看下RocketMQ大体上是怎么运行的，也就是它的基本原理，然后了解下RocketMQ是如何承载高并发访访问的，如何存储海量消息。RocketMQ集群化部署首先，如果RocketMQ部署在一台服务器上，即使这台服务器的性能再好，一般来说也就能支撑10w+的并发访问。那么此时如果有大量的系统都要往RocketMQ里高并发的写入消息，可
转载
2024-04-13 17:08:43
23阅读
rocketMQ中消息有以下几种普通消息：消息队列中没有特性的消息顺序消息：严格按照顺序发布和消费的消息，先发布的消息一定会先被消费，可以分为
全局顺序消息：所有消息严格按照先入先出的顺序来发布和消费分区顺序消息：消息根据sharding key进行区块分区，同一分区的消息严格按照先入先出的顺序进行发布和消费定时消息：发送消息时可以不立即投递，而是指定一个将来的时间点进行投递延时消息：发送消
转载
2024-02-26 17:39:01
89阅读
1. 前言Consumer启动后会立即触发一次「重平衡」操作，给自己分配MessageQueue，对于新分配的MessageQueue会提交拉取请求，开始拉取消息进行消费。应用在消费消息时，返回消费状态CONSUME_SUCCESS或RECONSUME_LATER，如果消息消费失败，消息并不会丢失，Broker会在稍后一段时间重新投递该消息，如果超过16次都消费失败，Broker会认为Consum
转载
2024-02-03 06:40:09
91阅读
1. 介绍全局有序 在RocketMQ中，如果使消息全局有序，可以为Topic设置一个消息队列，使用一个生产者单线程发送数据，消费者端也使用单线程进行消费，从而保证消息的全局有序，但是这种方式效率低，一般不使用。局部有序 假设一个Topic分配了两个消息队列，生产者在发送消息的时候，可以对消息设置一个路由ID，比如想保证一个订单的相关消息有序，那么就使用订单ID当做路由ID，在发送消息的时候，通过
转载
2024-03-22 14:03:39
1184阅读
之前的博客只是为了验证rmq安装是否成功，以及生产消费消息能否正常走通，如果是多个消费端消费生产者发送的消息会有什么样的效果？这个可以用代码校验一下，还是先了解两个比较常用的消费端的术语： 1.集群消费方式 一个ConsumerGroup中的Consumer实例平均分摊消费生产者发送的消息。例如某个Topic有九条消息，其中一个Consumer Group有三个实例（可能是3个进程，或者3台机器
目录开篇先抛几个问题源码学习引用实例consumer启动过程解析1、校验consumer的配置2、实例化mQClientFactory3、设置reblance相关属性4、设置pullAPIWrapper的消息过滤钩子5、设置consumer的offsetStore6、设置consumer的consumeMessageService7、注册当前的consumer8、mQClientFactory.s
转载
2024-06-05 12:42:49
147阅读
摘要局部顺序消费：可以保证路由到同一个队列的消息是被顺序消费的。全局顺序消费：让所有消息路由到同一个队列，这样就可以保证全局消费是顺序的。这两种顺序，只是Producer指定队列的地方不一样，其它的都一样的。示例先看个简单的，全局顺序消费。同一个topic的所有消息是顺序消费的。全局顺序消费Producerpublic class Producer {
public static voi
转载
2024-04-03 13:58:35
50阅读
一、RocketMq有3中消息类型1.普通消费2. 顺序消费3.事务消费顺序消费场景在网购的时候，我们需要下单，那么下单需要假如有三个顺序，第一、创建订单 ，第二：订单付款，第三：订单完成。也就是这个三个环节要有顺序，这个订单才有意义。RocketMQ可以保证顺序消费。rocketMq实现顺序消费的原理 produce在发送消息的时候，把消息发到同一个队列（queue）中,消费者注册消息
转载
2024-06-09 10:11:04
75阅读
rocketmq以Topic来管理不同应用的消息。对于生产者而言，发送消息时，需要指定消息的Topic，对于消费者而言，在启动后，需要订阅相应的Topic，然后可以消费响应的消息。在物理实现上，一个Topic由多个Queue组成，采用多个Queue的好处是，可以将Broker存储分布式化，提供系统性能。默认情况下一个Topic下会有4个队列。RocketMQ中，producer将消息发送给brok
转载
2024-03-01 10:43:02
247阅读
折腾了好长时间才写这篇文章，顺序消费，看上去挺好理解的，就是消费的时候按照队列中的顺序一个一个消费；而并发消费，则是消费者同时从队列中取消息，同时消费，没有先后顺序。RocketMQ也有这两种方式的实现，但是在实践的过程中，就是不能顺序消费，好不容易能够实现顺序消费了，发现采用并发消费的方式，消费的结果也是顺序的，顿时就蒙圈了，到底怎么回事？哪里出了问题？百思不得其解。经过多次调试，查看资料，de
转载
2024-03-28 10:07:23
265阅读
1 什么是消费幂等当出现消费者对某条消息重复消费的情况时，重复消费的结果与消费一次的结果是相同的，并且多次消费并未对业务系统产生任何负面影响，那么这个消费过程就是消费幂等的。幂等：若某操作执行多次与执行一次对系统产生的影响是相同的，则称该操作是幂等的。在互联网应用中，尤其在网络不稳定的情况下，消息很有可能会出现重复发送或重复消费。如果重复的消息可能会影响业务处理，那么就应该对消息做幂等处理。2 消
转载
2024-02-03 15:15:06
36阅读
RocketMQ官方对RocketMQ架构说明RocketMQ架构Producer：消息发布的角色，支持分布式集群方式部署。Producer通过MQ的负载均衡模块选择相应的Broker集群队列进行消息投递，投递的过程支持快速失败并且低延迟。Consumer：消息消费的角色，支持分布式集群方式部署。支持以push推，pull拉两种模式对消息进行消费。同时也支持集群方式和广播方式的消费，它提供实时消息
转载
2024-01-03 14:22:08
49阅读
目录RocketMQ的基本概念RocketMQ架构图 RocketMQ 四种集群部署方式broker如果配置集群：RocketMQ的一些重要问题broker内存和硬盘都满了怎么解决：broker集群动态扩容：topic拆分多个不同队列（rocketmq高吞吐的一个原因）：顺序消息的产生背景：解决消息顺序的核心思想：保证消息顺序图1：保证消息顺序图2（高吞吐量）：单版本rocketMQ如果
转载
2023-12-10 15:13:30
126阅读
消息的顺序消费在很多交易型的业务场景中都会被要求实现，而且，消息队列的顺序消费解决方案在很多互联网公司的面试中经常会被问到。索尔老师在使用了多个消息队列后发现，虽然每个消息队列都有各自的顺序消费解决方案，但是RocketMQ经过了多年电商的洗礼，其功能性的要求，已经设计的非常全面。这样的全面可以通过RocketMQ消息模型的架构设计得以体现。我们看看RocketMQ是怎么解决消息的顺序消费。一、R
转载
2024-03-21 12:57:08
135阅读
RocketMQ支持两种形式的消息消费者：PushConsumer：使用者向Consumer对象注册一个Listener，用户实现MessageListenerConcurrently或者MessageListenerOrderly，Consumer一旦收到消息，立即回调Listener接口方法。底层采用的是Pull长轮询+Broker挂起方式拉取消息。该模式强调实时性。PullConsume
转载
2024-03-28 11:54:08
220阅读
如何实现顺序消息？ 需要程序保证发送和消费的是同一个 Queuerocketmq默认发送的消息是进入多个消息队列，然后消费端多线程并发消费，所以默认情况，不是順序消费消息的；有時候，我们需要顺序消费一批消息，比如电商系统 订单创建、支付、完成操作，需要順序执行；RocketMQTemplate给我们提供了SendOrderly方法(有多個重载)，来实现发送顺序消息；包括以下：syncSendOrd
转载
2024-03-17 14:05:25
884阅读
实际上，RocketMQ是支持顺序消费的。 但这个顺序，不是全局顺序，只是分区顺序。要全局顺序只能一个分区。 之所以出现你这个场景看起来不是顺序的，是因为发送消息的时候，消息发送默认是会采用轮询的方式发送到不通的queue（分区）。如图： 而消费端消费的时候，是会分配到多个queue的，多个queue是同时拉取提交消费。 如图： 但是同一条queue里面，RocketMQ的确是能保证FIFO的
转载
2024-05-06 22:20:53
90阅读
摘要——异步下单和支付的流程引入MQ去做异步调用、流量消峰整体流程1.用户在商品页面点击购买按钮，前端发送请求到后台，获取一个本次订单的唯一token返回给前端【就是防重token，防止用户多次点击造成数据错乱】2.前端拿到后即跳转到订单详情界面，此界面为了展示用户已选的商品和总金额，后台需要根据商品的id去查询商品的信息和每个商品的价格以及总金额返回给前端做回显，这里前端界面需要设置一个定时器提
转载
2024-03-31 00:27:44
311阅读
点赞
# 使用 Python 实现 RocketMQ 集群消费的教程
## 引言
Apache RocketMQ 是一款开源的分布式消息中间件，具有高吞吐量、扩展性强和高可靠性等特点。在微服务架构中，RocketMQ 被广泛用于异步处理、解耦和流量控制等场景。
本篇文章旨在帮助初学者了解如何在 Python 中通过 RocketMQ 实现集群消费消息。我们将详细介绍整个流程并提供必要的代码示例。
