消息发送生产者向消息队列里写入消息，不同的业务场景需要生产者采用不同的写入策略。比如同步发送、异步发送、Oneway发送、延迟发送、发送事务消息等。 默认使用的是DefaultMQProducer类，发送消息要经过五个步骤：1）设置Producer的GroupName。 2）设置InstanceName，当一个Jvm需要启动多个Producer的时候，通过设置不同的 InstanceName来区分
转载
2024-06-22 13:16:48
68阅读
在企业实践RocketMQ时基本上80%都是不消费问题，而由于消费进度问题导致不消费的问题又是最难确认的和排查的。RocketMQ的消费进度分为本地消费进度管理和远程消费进度管理，分别对应的消费模式是广播消费和集群消费。本文选自《RocketMQ分布式消息中间件：核心原理与最佳实践》一书，带你层层揭秘RocketMQ如何管理消费进度。 什么是消费进度消费进度，也就是由Brok
转载
2024-04-16 21:51:38
122阅读
说在前面
管理请求 GET_CONSUME_STATS 获取消费者状态
源码解析
进入到这个方法org.apache.rocketmq.broker.processor.AdminBrokerProcessor#getConsumeStats获取消费者状态
private RemotingCommand getConsumeStats(ChannelHandlerContext ctx
# Java 客户端消费者
Java 客户端消费者是指使用 Java 语言编写的程序，用于消费消息队列中的消息。在分布式系统中，消息队列是一种常用的通信方式，它可以将消息发送到一个或多个消费者。Java 客户端消费者通过订阅消息队列中的主题或者队列，实时获取消息并进行处理。
## 消息队列
消息队列是一种基于发布者-订阅者模式的通信机制，用于在分布式系统中进行可靠的消息传递。它可以实现异步通
原创
2023-10-23 04:36:55
21阅读
本篇详细介绍消息发送、消息消费、RocketMQ queryMsgById 命令以及 rocketmq-console 等使用场景中究竟是用的哪一个ID。 本节目录1、抛出问题1.1 从消息发送看消息ID1.2 从消息消费看消息ID2、消息ID释疑2.1 msgId 即全局唯一 ID 构建规则2.1.1 FIX_STRING2.1.2 唯一性算法2.2 offsetMsgId构建规则2.3 消息发
转载
2024-09-25 14:49:19
354阅读
Broker注册在Broker的启动函数中，添加了定时向NameServer进行注册的任务，在启动后延迟10秒向NameServer进行注册，之后定时发送心跳包，关于发送周期，首先从Broker配置的周期与60000毫秒中选出最小的那个值，然后再与10000毫秒对比，选出最大的那个，所以最长10秒钟执行一次心跳发送：public class BrokerController {
publi
环境准备java环境kafka环境kafka-clients jar包 或者依赖：<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>2.8.0</version>
&
转载
2023-10-17 09:47:51
94阅读
# Java Kafka客户端消费者使用指南
Apache Kafka是一个开源的分布式流处理平台，被广泛应用于实时数据处理与数据流的传输。在Kafka中，消费者负责从主题（Topic）中读取消息，是进行数据处理不可或缺的一环。本文将以Java为例，介绍Kafka客户端消费者的基本使用方法，并提供相应的代码示例。
## 1. Kafka的基本概念
在深入消费者的实现之前，我们首先理解Kafk
RocketMQ消费者中有一个consumeFromWhere属性，该属性从语义上来看就是说该消费者从队列的哪里开始消费，并且可以通过setConsumeFormWhere方法去进行设置，可设置的有三个值，分别是CONSUME_FROM_LAST_OFFSET，CONSUME_FROM_FIRST_OFFSET,CONSUME_FORM_TIMESTAMP，按照语义上来理解就是从队列的最后开始消费
需求：使用Kafka消费者API分别完成自动提交offset、手动同步提交offset和手动异步提交offset方式消费主题englishscore中的消息，并打印消费消息的offset、键和值的信息编写Kafka消费者API分别完成自动提交offset并打印消费消息的offset、键和值的信息。创建类CustomConsumer完成此功能，编写此类的代码package cn.lesson;
im
转载
2024-02-27 11:57:05
63阅读
有生产者的API自然也就会有消费者的API，上篇文章我们通过几个简单的编码学习了Kafka生产者的API，本文我们来看一下消费者的API。目录一、手动提交offset1.1 编码实现1.2 测试二、自动提交offset2.1 编码实现Consumer消费数据时的可靠性是很容易保证的，因为数据在Kafka中是持久化的，故不用担心数据丢失问题。由于consumer在消费过
转载
2024-08-07 10:23:24
34阅读
介绍： RocketMQ的消息重试及时分为两种，一种是Producer端重试，一种是Consume端重试。 1、Producer端重试 ： 1.1消息发没发成功，默认情况下是3次重试。 2、Consumer端重试： 2.1 exception的情况，一般重复16次 10s、30s、1mins、2mins、3mins等。注意reconsumeTimes这个参数； 2.2 超时
RocketMQ中消息消费以消费组的模式开展，一个消费组内可以包含多个消费者，每一个消费者组可订阅多个主题，消费组内消费者之间有集群模式和广播模式两种消费模式。集群模式，主题下的同一条消息只允许被其中一个消费者消费。广播模式，主题下的同一条消息，将被集群内的所有消费者消费一次。消息服务器与消费者之间的消息传递也有两种模式：推模式、拉模式。所谓的拉模式即PullConsumer，是消费端主动拉起拉消
RocketMQ是一个分布式具有高度可扩展性的消息中间件。本文旨在探索在broker端，生产端，以及消费端是如何做到横向扩展以及负载均衡的。 Broker端水平扩展 Broker负载均衡 Broker是以group为单位提供服务。一个group里面分master和slave,master和slave存储的数据一样，slave从master同步数据（同步双写或异步复制看配置）。 通过nameser
转载
2024-06-12 13:39:23
49阅读
1.代码仓库rocketmq版本4.5.2 直接上代码，下面再逐步讲解，仓库地址 本地启动后，访问swagger地址测试，http://127.0.0.1:8099/mq/swagger-ui/index.html2.创建发生消息生产者引入pom.xml坐标<dependency>
<groupId>org.apache.rocketmq</groupId>
转载
2024-01-03 10:26:03
183阅读
一、面对生产者和消费者的问题，首先我们得明白几点：生产者：生产数据；消费者：消费数据。消费者在没有数据可供消费的情况下，不能消费；生产者在原数据没有被消费掉的情况下，不能生产新数据。假设，数据空间只有一个。实际上，如果实现了正确的生产和消费，则，两个线程应该是严格的交替执行。synchronized关键字若用在代码中，形成一个同步块，且，必须要执行锁： sync
转载
2023-07-04 11:08:31
47阅读
本文分析 DefaultMQPushConsumer，异步发送消息，多线程消费的情形。 DefaultMQPushConsumerImpl MQClientInstance 一个客户端进程只有一个 MQClientInstance 实例 MQClientAPIImpl 和 netty 打交道 Pul
原创
2022-11-15 15:08:12
352阅读
基本概念特性架构设计：包括技术架构和部署架构一.基本概念1 消息模型（Message Model）RocketMQ主要由 Producer、Broker、Consumer 三部分组成，其中Producer 负责生产消息，Consumer 负责消费消息，Broker 负责存储消息。Broker 在实际部署过程中对应一台服务器，每个 Broker 可以存储多个Topic的消息，每个Topic的消息也可
本文介绍的主要内容是：启动broker的一些错误日志的处理，以及由于namesrvAddr为null，broker不能正确注册到name server的排查过程。结论是应该配置name server的地址值（环境变量）。 问题背景：从github下载RocketMQ源码根据对RocketMQ原理的理解，在idea中配置好本地运行环境，先启动name server模块，再启动broker模块，因为b
转载
2024-06-19 09:23:11
516阅读
RocketMQ的消费模式分为集群消费和广播消费 启动机制分两种：pull模式和push模式 PULL模式 pull模式相对简单，获取到messaqueue，用户自行遍历，获取的到当前queue的消息进行处理，最后自行管理点位或者上报给broker /* * Licensed to the Apac ...
转载
2021-08-21 23:43:00
703阅读
2评论
