目录1、消息存储消息存储结构刷盘机制 1、同步刷盘2、异步刷盘2、高可用性机制1、消息消费高可用2、消息发送高可用3、消息主从复制1、同步复制2、异步复制3、负载均衡1、Producer负载均衡2、Consumer负载均衡1、集群模式2、广播模式4、消息重试1、顺序消息的重试2、无序消息的重试3、配置方式5、死信队列特性6、消费幂等处理方式1、消息存储消息生成者发送消息MQ收到消息，将消
转载
2024-07-12 05:13:13
2151阅读
一、主要场景事物消费需要先说说什么是分布式事务。比如经典的跨行转账：从工商银行转到建设银行，也就是我从工商银行扣除1000元之后，我的建设银行也必须加1000元。这样才能保证数据的一致性。假如工商银行转1000元之后，建设银行的服务器突然宕机，那么我扣除了1000，但是并没有在建设银行给我加1000，就出现了数据的不一致。因此加1000和减1000才行，减1000和减1000必须一起成功，一起失败
转载
2024-05-29 00:54:13
360阅读
介绍最简单的websocket使用 以及记录一下我使用springboot整合websocket遇到的一些问题网上有很多demo，下面推荐一个最简单的，方便大家理解： 只需要处理1个HTML文件+1个pom文件+2个JAVA文件一、Socket简介 Socket又称"套接字"，应用程序通常通过"套接字"向网络发出请求或者应答网络请求。Socket的英文原义是“孔”或“插座”，作为UNIX的进程通信
转载
2024-07-16 10:16:22
111阅读
Producer消息生产者，负责生产消息，一般由业务系统负责生产消息。一个消息生产者会把业务应用系统里产生的消息发送到Broker 服务器。RocketMQ 提供多种发送方式，同步发送、异步发送、顺序发送、单向发送。同步和异步方式均需要 Broker 返回确认信息，单向发送不需要。Consumer负责消费消息，一般是后台系统负责异步消费。一个消息
转载
2024-04-17 05:34:11
142阅读
RocketMQ 是笔者非常喜欢的消息队列，4.9.X 版本是目前使用最广泛的版本，但它的消费逻辑相对较重，很多同学学习起来没有头绪。这篇文章，笔者梳理了 RocketMQ 的消费逻辑，希望对大家有所启发。 1 架构概览在展开集群消费逻辑细节前，我们先对 RocketMQ 4.9.X 架构做一个概览。 整体架构中包含四种角色 :1、NameServer名字服务是是一个几乎无状态节点，可集群部署
转载
2024-10-08 14:28:11
156阅读
RocketMQ 消费者核心配置consumeFromWhere 配置这个配置基本不用改，采用默认配置即可。CONSUME_FROM_FIRST_OFFSET： 初次从消息队列头部开始消费，即历史消息（还储存在 broker 的）全部消费一遍，后续再启动接着上次消费的进度开始消费。CONSUME_FROM_LAST_OFFSET： 默认策略，初次从该队列最尾开始消费，即跳过历史消息，后续再启动接着
转载
2023-11-09 08:45:47
168阅读
SpringBoot整合RabbitMQ一、auto模式（自动ACK）二、none模式（无ACK）三、manual模式（手动ACK）四、消费者失败重试 一、auto模式（自动ACK）RabbitMQ默认是auto模式，当监听消费者方法正常执行完毕后，由Spring自动向RabbitMQ返回ack确认；如果出现异常，就给RabbitMQ返回nack消费失败。application.yml配置Rab
作者勇哥RocketMQ 是笔者非常喜欢的消息队列，4.9.X 版本是目前使用最广泛的版本，但它的消费逻辑相对较重，很多同学学习起来没有头绪。这篇文章，笔者梳理了 RocketMQ 的消费逻辑，希望对大家有所启发。1 架构概览在展开集群消费逻辑细节前，我们先对 RocketMQ 4.9.X 架构做一个概览。整体架构中包含四种角色 :1、NameServer名字服务是是一个几乎无状态节点，
前言RocketMQ对于JAVA程序员来说应该都不陌生，RocketMQ是一款由阿里巴巴开源出来的一款消息中间件，各个大厂基本上都在用的这么一个中间件，其优点自不必言说，所以今天就不给大家来剖析RocketMQ了。我们来分享点不一样的，相信大家在用RocketMQ时或多或少都会遇到一些问题，而比较常见的就是当其报错或配置一个参数时，往往一些新手就会懵逼这是啥意思呀，不知道如何处理。所以小编在这里整
转载
2024-03-12 17:59:05
242阅读
在Kubernetes（K8S）环境中使用Spring Boot和RocketMQ实现消息消费者是一种常见的实践方式。通过本文，你将学习如何在Kubernetes中部署一个Spring Boot应用作为RocketMQ的消费者，并从RocketMQ中接收消息。
### 流程概述
在实现"springboot rocketmq 消费者"的过程中，我们需要完成以下步骤：
| 步骤
原创
2024-04-29 11:29:09
129阅读
事件回放晚上8:40左右，测试反馈测试环境的业务不正常，经过排查，发送MQ都没有收到，但是生产者那边的MQ确实已经发出来了，rocketMq的控制台也能查到对应的这条消息。第一条发现：在查看消息详情的时候，发现这条消息对应的consumer的TREAD_TYPE是 NOT_CONSUMER_YET , NOT_CONSUMER_YET 表示这条消息确确实实存在，但是没有被消费。没有被消费的情况有
转载
2024-02-29 14:34:21
131阅读
实际上，RocketMQ是支持顺序消费的。 但这个顺序，不是全局顺序，只是分区顺序。要全局顺序只能一个分区。 之所以出现你这个场景看起来不是顺序的，是因为发送消息的时候，消息发送默认是会采用轮询的方式发送到不通的queue（分区）。如图： 而消费端消费的时候，是会分配到多个queue的，多个queue是同时拉取提交消费。 如图： 但是同一条queue里面，RocketMQ的确是能保证FIFO的
转载
2024-05-06 22:20:53
90阅读
对于消息队列的通信模型，目前市面上主流的消息队列产品主要有两种形式，一种按照队列的数据结构设计出来的“队列模型”，另一则是在其基础上演化出来的“发布-订阅模型”，而RocketMQ采用的是发布订阅的方式。一、通信模型发布订阅，看成是生产者-消费者模型的一种形式就可以了。消息发送给到订阅了这个消息的消费者，那么势必系统需要知道生产者和消费者之间的关系。RocketMQ提供了Broker这个组件做为消
转载
2024-04-16 17:31:15
327阅读
什么情况下的异步操作需要使用消息队列而不是多线程?消息队列和多线程两者并不冲突，多线程可以作为队列的生产者和消费者。 使用外部的消息队列时，第一是可以提高应用的稳定性，当程序fail后，已经写入外部消息队列的数据依旧是保存的，如果使用两步commit的队列的话，可以更加提高这个项目。用线程的话，会占用主服务器资源， 消息队列的话， 可以放到其他机器上运行， 让主服务器尽量多的服务其他请求。我个人认
转载
2024-03-28 10:03:40
236阅读
1. 介绍全局有序 在RocketMQ中，如果使消息全局有序，可以为Topic设置一个消息队列，使用一个生产者单线程发送数据，消费者端也使用单线程进行消费，从而保证消息的全局有序，但是这种方式效率低，一般不使用。局部有序 假设一个Topic分配了两个消息队列，生产者在发送消息的时候，可以对消息设置一个路由ID，比如想保证一个订单的相关消息有序，那么就使用订单ID当做路由ID，在发送消息的时候，通过
转载
2024-03-22 14:03:39
1184阅读
RocketMQ 常见面试题1、RocketMQ Broker中的消息被消费后会立即删除吗？不会，每条消息都会持久化到CommitLog中，每个Consumer连接到Broker后会维持消费进度信息，当有消息消费后只是当前Consumer的消费进度（CommitLog的offset）更新了。追问：那么消息会堆积吗？什么时候清理过期消息？ 默认72小时后会删除不再使用的CommitLog文件检查这个
一、消费者（一）消费者类型消费者可以分为两种类型：DefaultMQPushConsumer：由操作系统控制读取操作，收到消息后自动调用传入的处理方法来处理；DefaultMQPullConsumer：读取操作中的大部分功能需要用户自主控制。（二）DefaultMQPushConsumer 使用解释使用DefaultMQPushConsumer主要设置好各种参数和传入处理消息的函数即可，主要参数有
转载
2024-04-01 14:36:59
496阅读
在使用 RocketMQ 进行消息消费时，尤其是在使用 Python 客户端的场景中，消费者手动确认（acknowledgment）机制可能会遇到各种问题。本文将逐步分析这些问题的根源并提供解决方案，以保障消息处理的准确性和稳定性。
## 问题背景
在业务系统中，消息队列 (MQ) 是一种常用的异步通信方法。使用 RocketMQ 可以提高系统的解耦性和可伸缩性。然而，在消费者手动确认的场景下
问题：在阿里云服务提供的消息队列服务（RocketMQ）中，给出了一份关于订阅关系一致的最佳实践，在文档中指出同一个 GroupID 中的所有消费者实例最好订阅同样的 Topic+Tag。这让我有一些疑问，为什么一个 GroupID 只能产生一种订阅，这样岂不是同一个应用需要订阅不同的 Topic 那么每一次都需要去申请一个 GroupID，这使得 GroupID 和 Topic 产生了一定的耦合
转载
2024-02-27 13:28:46
403阅读
消息队列基本概念简单来说，消息队列你就可以理解为Java中队列，只不过在高并发，大数据量场景下，我们要消除单点故障，保证消息传输的可靠性，并且需要应对大流量的冲击，所以就有了消息队列这个概念java队列完成生产者消费者模型生产者生产，往队列里面投放，消费者进行消费 使用Queue队列实现生产者消费者模型好处: 1.解耦和提高系统的灵活性:生产者和消费者之间通过队列进行解耦，生产者可以独立地生成数据
转载
2024-10-14 17:27:09
48阅读
