RocketMQ是一个分布式具有高度可扩展性的消息中间件。本文旨在探索在broker端，生产端，以及消费端是如何做到横向扩展以及负载均衡的。 Broker端水平扩展 Broker负载均衡 Broker是以group为单位提供服务。一个group里面分master和slave,master和slave存储的数据一样，slave从master同步数据（同步双写或异步复制看配置）。 通过nameser
转载
2024-06-12 13:39:23
49阅读
1.代码仓库rocketmq版本4.5.2 直接上代码，下面再逐步讲解，仓库地址 本地启动后，访问swagger地址测试，http://127.0.0.1:8099/mq/swagger-ui/index.html2.创建发生消息生产者引入pom.xml坐标<dependency>
<groupId>org.apache.rocketmq</groupId>
转载
2024-01-03 10:26:03
180阅读
本文分析 DefaultMQPushConsumer，异步发送消息，多线程消费的情形。 DefaultMQPushConsumerImpl MQClientInstance 一个客户端进程只有一个 MQClientInstance 实例 MQClientAPIImpl 和 netty 打交道 Pul
原创
2022-11-15 15:08:12
352阅读
本文介绍的主要内容是：启动broker的一些错误日志的处理，以及由于namesrvAddr为null，broker不能正确注册到name server的排查过程。结论是应该配置name server的地址值（环境变量）。 问题背景：从github下载RocketMQ源码根据对RocketMQ原理的理解，在idea中配置好本地运行环境，先启动name server模块，再启动broker模块，因为b
转载
2024-06-19 09:23:11
516阅读
前言RocketMQ对于JAVA程序员来说应该都不陌生，RocketMQ是一款由阿里巴巴开源出来的一款消息中间件，各个大厂基本上都在用的这么一个中间件，其优点自不必言说，所以今天就不给大家来剖析RocketMQ了。我们来分享点不一样的，相信大家在用RocketMQ时或多或少都会遇到一些问题，而比较常见的就是当其报错或配置一个参数时，往往一些新手就会懵逼这是啥意思呀，不知道如何处理。所以小编在这里整
转载
2024-03-12 17:59:05
242阅读
作者勇哥RocketMQ 是笔者非常喜欢的消息队列，4.9.X 版本是目前使用最广泛的版本，但它的消费逻辑相对较重，很多同学学习起来没有头绪。这篇文章，笔者梳理了 RocketMQ 的消费逻辑，希望对大家有所启发。1 架构概览在展开集群消费逻辑细节前，我们先对 RocketMQ 4.9.X 架构做一个概览。整体架构中包含四种角色 :1、NameServer名字服务是是一个几乎无状态节点，
RocketMQ 消费者启动源码解析DefaultMQPushConsumer引用一段消费者启动代码：/*
* Instantiate with specified consumer group name.
*/
//① 实例化DefaultMQPushConsumer 参数为groupName 消费组组名
DefaultMQPushConsumer consumer = new Defaul
转载
2023-10-17 14:26:32
168阅读
消息队列（Message Queue），顾名思义，是队列这种数据结构的一种实现。今天我们对其进行详细的了解一、什么是消息队列消息队列是一种队列，是一种存储消息的中间件，我们可以把他看成是一种存储消息的容器。提到队列，就不得不说元素的进出顺序，先进先出。消息队列也遵循这个原则。生产者如果按照123的顺序进行消息的发送，那消费者必定要通过123的顺序进行接收。即时在多个消费者订阅同一主题的消息时，我们
转载
2024-01-01 12:51:07
1092阅读
RocketMQ的消费模式分为集群消费和广播消费 启动机制分两种：pull模式和push模式 PULL模式 pull模式相对简单，获取到messaqueue，用户自行遍历，获取的到当前queue的消息进行处理，最后自行管理点位或者上报给broker /* * Licensed to the Apac ...
转载
2021-08-21 23:43:00
703阅读
2评论
RocketMQ 消费者(二) - 负载均衡 (图解)1. 负载均衡入口如图， 负载均衡服务 实际上是运行在 客户端实例中， 是一个周期性执行的服务，正常情况下 每20s执行一次。负载均衡方法 最终会 来到 每个消费者内部的 负载均衡实例对象中， 然后根据消费者本地的 订阅集合， 来进行负载均衡。最终的方法执行入口则来到RebalanceImpl#rebalanceByTopic() 方法中
转载
2023-08-07 21:24:09
140阅读
RocketMQ 支持两种消息模式：集群消费（ Clustering ）和广播消费（ Broadcasting ）。集群消费：同一 Topic 下的一条消息只会被同一消费组中的一个消费者消费。也就是说，消息被负载均衡到了同一个消费组的多个消费者实例上。广播消费：当使用广播消费模式时，每条消息推送给集群内所有的消费者，保证消息至少被每个消费者消费一次。我们重点讲解下集群消费的消费流程 ，因为集群消费
转载
2023-09-08 18:57:56
56阅读
2. 核心概念2.1专业术语角色：Producer生产者。发送消息的客户端角色。发送消息的时候需要指定Topic。Consumer消费者。消费消息的客户端角色。通常是后台处理异步消费的系统。 RocketMQ中Consumer有两种实现：PushConsumer和PullConsumer。PushConsumer推送模式（虽然RocketMQ使用的是长轮询）的消费者。消息的能及时被消费。使用非常简
转载
2024-06-10 15:32:09
60阅读
一：Maven配置加入rocketmq-client依赖二：生产者、消费者1：生产者2：消费者DefaultMQPushConsumer和DefaultMQProducer需要设置三个参数：一是这个Consumer的GroupName,二是NameServer的地址和端口号，三是Topic的名称。无论生产者、消费者都必须给出GroupName，而且具有唯一性！生产到哪个Topic的哪个Tag下，消
转载
2024-01-25 19:28:27
331阅读
RocketMQ顺序消费 如果要保证顺序消费，那么他的核心点就是：生产者有序存储、消费者有序消费。一、概念 1、什么是无序消息无序消息 无序消息也指普通的消息，Producer 只管发送消息，Consumer 只管接收消息，至于消息和消息之间的顺序并没有保证。举例 Producer 依次发送 orderId 为 1、2、3 的消息，Consumer 接到的消息顺序有可能是 1、2、3，也有可
转载
2024-04-16 13:17:09
56阅读
元数据元数据由RouteInfoManager类管理，包括如下：1） createNamesrvController方法执行createNamesrvController方法得到一个NamesrvController实例；1.1）实例化NamesrvConfig和NettyServerConfigNamesrvConfig主要保存一些属性包括各种配置路径等，其实例作为NamesrvControll
转载
2024-06-03 15:58:37
129阅读
RocketMQ 消费端限流RocketMQ 消费端限流 首先我们要明白为什么需要限流？如果不使用限流呢？通常情况下，当客户端生产的消息很多时，消费者消费消息速度低于生产者消费速度，我们该如何解决？可以增加消费者数量可以优化消费者程序，提高消费响应速度，从而提高消费者处理能力。设置消费最大线程数拉取消息数量这几种方法虽然能提提高消费速度，但是再特定场合下，生产者生产消息速度指数级上升，消费速度就会
转载
2023-12-12 13:12:45
556阅读
最近对 RocketMQ 的存储结构学习了一下，写一篇总结记录一下自己对其的一个研究和理解。 先简单说一下 RocketMQ 的总体架构。RocketMQ 的总体架构 RocketMQ由四个组件构成，分别是Producer、Consumer、Broker 和 NameServer。Producer：生产者，负责消息的生产和发送。与 NameServer 集群的一个节点建立长连接，定期从 NameS
转载
2024-06-28 10:42:57
143阅读
目录常见问题汇总1、RocketMQ，不同Group的消费者能消费相同topic的消息2、RocketMQ中对同一个消费组设置不同的tag订阅关系，出现消息丢失的问题丢失原因分析：同组消费实例订阅不同topic丢失原因总结消息过滤实现机制3、一个消费实例中是可以多线程处理消费消息的4、rocketMQ 消费进度问题消费者消费失败后，消息如何处理？5、rocketMQ 默认消费模式是 push o
转载
2024-03-19 07:51:54
0阅读
RocketMQ 最新版PushConsumer配置参数详解1、Push消费模式下的配置2、consumerGroup3、messageModel4、consumeFromWhere5、allocateMessageQueueStrategy6 、consumeMessageBatchMaxSize7 、pullBatchSize8 、pullInterval9、 offsetStore10、co
转载
2024-06-20 18:44:04
820阅读
本文基于RocketMQ 4.7.1版本rocketmq提供了两个类用于消费消息，分别是DefaultMQPullConsumer和DefaultMQPushConsumer，下面分别介绍如何使用这两个类。 文章目录一、DefaultMQPushConsumer二、DefaultMQPullConsumer 一、DefaultMQPushConsumerpublic static void mai
转载
2023-10-18 21:02:38
990阅读
