1.观察消费者延迟消息堆积情况 2.查看单条消息的处理时间，查看启动的实例数，预估下每秒处理数据量 3.适当增加broker的读写队列数，防止，某一broker单条消息堆积引起队列消息总体延迟的情况 4.增加服务实例数量，提高消费能力 5.参数解释：Topic配置中perm的含义？ 设置该 Topic 的读写模式 6.扩展：划个重点：RocketMQ是按照队列进行消息负载的，如果consumer中
转载
2024-04-03 20:00:00
312阅读
RocketMQ由producer、NameServer、broker、consumer组成Producer：为生产者，消息的来源。需要与NameServer建立连接，从NameServer获取Topic对应的Message Queue的broker地址NameServer：相当于一个路由器，存着broker的地址信息和对应的topic信息。NameServer可以横向扩展，broker和每一台N
转载
2024-05-16 09:04:58
270阅读
1. 背景 最近一直再做一些系统上的压测，并对一些问题做了优化，从这些里面收获了一些很多好的优化经验，后续的文章都会以这方面为主。这次打压的过程中收获比较的大的是，对RocketMq的一些优化。最开始我们公司使用的是RabbitMq,在一些流量高峰的场景下，发现队列堆积比较严重，导致RabbitMq挂了。为了应对这个场景，最终我们引入了阿里云的RocketMq，RocketMq可以处理可以处理很多
转载
2024-07-18 14:59:17
214阅读
目录1. 如何实现消息最终一致性事物2. 编辑pom.xml配置文件3. 编辑application.yml配置文件4. 添加事务状态表5. Rocketmq 中添加 Topic6. 发送消息6.1 使用RocketMQTemplate对象发送消息7. 执行本地事物7.1 事物执行方法7.2 事物状态回查添加TxMapper实现查询, 事物状态表实现事物状态回查:8. 接收消息8.1 pom.x
转载
2024-07-09 20:50:28
222阅读
使用消息中间件可以解决高并发，那是因为消息中间件可以将消息缓存到队列之中。但是 当消息 过多的时候,几万,几十万...消息中间件也可能会宕机,所以我们可以对消息中间件进行集群，在之前的activemq中activemq支持jms规范，点对点 发布订阅 消息模型，但是不支持分布式 (不支持集群) ，或者说集群比较麻烦 需要用到zk，activemq消息堆积能力没rocetmq消息堆积能力强 
目录一.广播模式和集群模式的不同二.延迟拉取三.消费者延迟拉取消息的原因四.增加消费者后是如何分配MessageQueue(引出负载策略)一.广播模式和集群模式的不同首先我们要强调一下。在广播模式（每条消息需要被消费者组中的每个消费者处理，也就是说消费者组内的每隔消费者都会收到订阅Topic的全量消息因此即使扩充消费者的数量也无法提升消费者能力） 在集群模式下（也就是消息被消费者组中的任
在高并发的场景下，由于消息产生速度超过消费速度，可能会导致消息积压的问题。本文将介绍 RocketMQ 消息积压的原因和如何处理积压问题。
原创
2024-03-18 11:26:13
344阅读
一. 定位问题 1. Console入口 主题-->Topic-->Consumer管理-->订阅组 2. 延迟数量（Delay） 消息积压数量，即当前Topic还剩下多少消息未处理，该值越大，表示积压的消息越多 3. 最后消费时间（LastConsumeTime） 当前Topic消息最后被消费的时 ...
转载
2021-09-23 20:00:00
1319阅读
2评论
正常情况： 查看订阅UAT_SHARE_ZKH_DTS 主题的 GID_gw-product-center的消费情况： Broke
原创
2023-11-23 09:54:35
360阅读
思考一下消息中间件的设计 可以先从基本的需求开始思考 最基本的是要能支持消息的发送和接收，需要涉及到网络通信就一定会涉及到NIO 消息中心的消息存储（持久化/非持久化） 消息的序列化和反序列化是否跨语言 消息的确认机制，如何避免消息重发 高级功能 消息的有序性 是否支持事务消息 消息收发的性能，对高并发大数据量的支持是否支持集群 消息的可靠性存储是否支持多协议 MQ消息存储选择 从主流的几种MQ消
官网网站：http://rocketmq.apache.org/docs/quick-start/https://github.com/apache/rocketmq/tree/master/docs/cn基本概念一、消息模型（Message Model）RocketMQ主要由 Producer、Broker、Consumer 三部分组成，其中Producer 负责生产消息，Consumer 负责
转载
2024-06-30 07:08:28
64阅读
背景突然收到电话告警，RocketMQ集群的cpu被打到90%以上，马上打开监控系统查看下，cpu直线上升硬盘I/O也在狂飙集群中只有两个节点的cpu暴涨，通过集群信息查下，发现是集群中的两个从节点的cpu暴涨。(我们的集群是4主4从，2个节点部署在同一台机器上，为了省钱)。虽然从节点cpu暴涨不影响整个集群的正常tps写入，还得要清楚是啥原因造成的cpu暴涨。找到对应的集群业务负责人，询问有什么
原创
2023-04-11 16:48:40
546阅读
1.事务监听器的实现原理（TransactionListenser） 本地事务消息的状态（LocalTransactionState）：提交消息、回滚消息、未知2.RocketMQ 消费端实现原理（MQConsumer）消费者调用过程：消费者实现原理： 消费者获取消息提供了pull和pushMQAdmin：提供了创建主题、检索消息偏移量、获取最早存储的消息时间
转载
2024-06-17 13:36:23
126阅读
RocketMQ面试题，是非常常见的面试题。以上的内容，如果大家能对答如流，如数家珍，基本上 面试官会被你 震惊到、吸引到。
文章目录1. 哪些环节会有丢消息的可能？1. 哪些环节会有丢消息的可能？ 关于MQ，有一个问题是无法避免的，就是怎么保证消息不丢失，这个问题是所有MQ都需要面对的一个共性问题。大致的解决思路都是一致的，首先要找到哪些环节会有丢消息的可能，来看一个MQ的通用架构 其中，1，2，4三个场景分别是：发消息、消息主从同步
原创
2021-07-08 10:13:58
3078阅读
1评论
目录1 RocketMQ使用相关问题1.1 保证消息的可用性/可靠性/不丢失1.1.1 生产1.1.2 存储1.1.3 消费1.2 如何处理消息重复消费1.3 怎么处理消息积压1.4 顺序消息如何实现1.4.1 部分顺序消息1.4.2 全局顺序消息1.5 如何实现消息过滤1.5.1 解决方案1.5.2 使用tag丢消息1.6 延时消息了解1.7 怎么实现分布式消息事务或者半消息1.8 死信队列1.
转载
2024-09-02 11:59:36
50阅读
前言您是否想过，在双十一狂欢期间，阿里巴巴是如何扛住瞬间千万级TPS，万亿级消息洪峰的冲击，并保持各个应用之间消息畅通的？其中的秘诀就是消息队列RocketMQ版，它能实现分布式计算场景中所有异步解耦功能，像一个万能变压器，不论输入电压多高，输出电压都很平稳。最近mq越来越火，很多公司在用，很多人在用，其重要性不言而喻。但是如果我让你回答下面的这些问题：我们为什么要用mq？引入mq会多哪些问题？如
转载
2024-10-17 11:26:37
31阅读
整体流程：mysql---->maxwell------>maxwellkafkaproducer------>kafkabroker------->kafka消费者(listener) ------>落盘到日志库 问题原因：因为消费者存在瓶颈，造成数据大量积压查看消费者的积压情况./kafka-consumer-groups.sh --bootstrap-serve
转载
2023-06-21 22:51:43
78阅读
消息队列（MQ）系统中的消息积压是指消息生产者生成消息的速度超过了消费者处理消息的速度，导致未处理的消息在队列中堆积。消息积压如果不及时处理，可能会导致系统性能下降，甚至崩溃。下面是一些处理消息积压的策略和实践：1. 增加消费者实例数量通过增加消费者实例的数量，可以提高消息处理的并发度，从而加快消息的消费速度。+-------------+ +-------------+
原创
精选
2024-05-25 22:22:23
372阅读
消息积压其实对于一个原本正常的消息系统来说消息积压，只会出现两种情况：要么生产者消息数量增加导致的积压；要么就是消费者消费变慢导致的消息积压。对于一个消息队列我们肯定在上线前就预估好，单节点最大承受流量与系统目前最大峰值流量的数据，一般情况下消息队列收发性能是远大于业务处理性能的，一旦出现的话问题也很显而易见：要么就是流量突然增加，要么就是业务逻辑异常。生产端 一般当生产端发生积压（Broker正
转载
2024-05-03 17:26:54
214阅读
