1. 消息的生产过程 消息生产过程，经历如下过程： 1.向NameServer发出获取消息Topic的路由信息的请求 2.nameServ
原创
2022-10-05 01:18:30
299阅读
RocketMQ工作原理一、消息的生产1、消息的生产过程Producer可以将消息写入到某Broker中的某Queue中，其经历了如下过程：Producer发送消息之前，会先向NameServer发出获取消息Topic的路由信息的请求NameServer返回该Topic的路由表及Broker列表
Producer根据代码中指定的Queue选择策略，从Queue列表中选出一个队列，用于后续存储消息P
转载
2023-11-30 12:04:16
64阅读
本文内容介绍RocketMQ关键机制的设计原理，主要包括消息存储、消息通讯、消息过滤、负载均衡、事务消息等。架构设计RocketMQ架构上主要分为四部分，如上图所示:Producer：消息发布的角色，支持分布式集群方式部署。Producer通过MQ的负载均衡模块选择相应的Broker集群队列进行消息投递，投递的过程支持快速失败并且低延迟。Consumer：消息消费的角色，支持分布式集群方式部署。支
转载
2023-08-11 21:57:31
394阅读
1.消息中间件的发展：第一代以ActiveMQ为代表，遵循JMS（java消息服务）规范 第二代以RabbitMQ为代表是一个有Erlang语言开发的AMQP(高级消息队列协议)的开源实现
转载
2021-05-14 22:37:07
107阅读
2评论
RocketMQ 原理 Topic 基本原理 在Rocketmq集群（或单台主机）中新建 Topic1 在管理界面中新建主题Topic1，为了方便观察测试效果，这里把写队列和读队列的数量都设置成3。 这样，在 broker-a 和 broker-b 上都创建了 Topic1 主题，并各创建了3写3读
原创
2021-07-30 09:35:57
419阅读
笔者比较“悲催”，临近年末由笔者维护的生产MQ集群中的一台物理机内存故障导致操作系统异常重启，持续10分钟中出现众多的应用发送客户端出现发送消息超时，导致事故并定性为S1，笔者的“年终奖”。。。1、故障描述RocketMQ 集群采取的部署架构为2主2从，其部署架构如下图所示： [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 其部署架构中一个非常明显的特点是一台物理机上分别部署
转载
2024-06-05 08:41:18
61阅读
RocketMQ 原理分析-消息原理本篇原理分析主要讲解消息原理方面RocketMQ 如何保证消息不丢失/保证可靠性消息在 RocketMQ 流转大概可以分为三个阶段：发送阶段、存储阶段、消费阶段，那么可靠性就要从这三个阶段考虑。生产者发送消息时主要依靠发送确认来确保消息可靠性的。同步异步发送都可以获取到发送状态，通过这个发送状态来判断本次消息是否成功发送。另外，发送消息时还可以指定一个超时时间，
转载
2024-01-08 21:07:32
77阅读
概述RocketMQ是一个消息与流处理平台，具有低延时、高性能、高可靠、万亿级消息储存以及可扩展性灵活等特性，系统架构图如下： RocketMQ主要由4个核心部分组成：name servers, brokers, producers and consumers，每一部分都能集群部署避免单点故障。 核心概念Producer消息生产者，通过业务应用系统发送消息给brokers，RocketMQ提供了多
转载
2024-02-03 22:44:48
79阅读
RocketMQ概述一、MQ概述1、MQ简介MQ，Message Queue，是一种提供消息队列服务的中间件，也称为消息中间件，是一套提供了消息生 产、存储、消费全过程API的软件系统。消息即数据。一般消息的体量不会很大。2、MQ用途从网上可以查看到很多的关于MQ用途的叙述，但总结起来其实就以下三点。限流削峰 MQ可以将系统的超量请求暂存其中，以便系统后期可以慢慢进行处理，从而避免了请求的丢失或系
转载
2024-09-25 15:05:42
113阅读
一、新建Topic在管理界面中新建主题Topic1，为了方便观察测试效果，这里把写队列和读队列的数量都设置成3。这样，在 broker-a 和 broker-b 上都创建了 Topic1 主题，并各创建了3写3读队列，共6写6读，如下图所示：二、Topic 收发消息原理生产者将消息发送到 Topic1 的其中一个写队列，消费者从对应的一个读队列接收消息1 生产者的负载均衡生产者以轮询的方式向所有写
转载
2023-10-19 05:42:34
83阅读
RocketMQ架构原理解析（一）：整体架构RocketMQ架构原理解析（二）：消息存储（CommitLog）RocketMQ架构原理解析（三）：消息索引（ConsumeQueue & IndexFile）RocketMQ架构原理解析（四）：消息生产端（Producer）一、概述RocketMQ作为一个apache的顶级项目，拥有将近16K的star，它稳定的系统及强悍的性能，无疑在国内已
转载
2021-11-17 09:27:00
42阅读
此篇幅将从以下几个方面来分析RocketMQ其中运作原理： 消息的生产 消息的存储 indexFile（客户端指定key） 消息的消费 订阅关系的一致性 offset管理 消费幂等 消息堆积与消费延迟 消息的清理 一、消息的生产 Producer可以将消息写入到某Broker中的某Queue中，其经 ...
转载
2021-10-04 16:29:00
162阅读
2评论
1 如何保证消息的可靠性传输生产者丢失数据：生产者设置同步提交消息，并且手动提交，将消息同步刷盘到从节点后在返回成功；broker ：主从复制，同步刷盘；消费端：消费重试，只有返回consume_success 才算消费完成，保证消息的可靠性，最终还是消费16次还是失败的会进死信队列。2.如何保证消息不被重复消费消费端消费消息的幂等1 服务端代码根据messageId 设置分布式锁，获取锁再做业务
转载
2023-10-21 16:21:25
96阅读
一、 Rocketmq概念及原理探讨 图片转自Rocketmq官网 RocketMQ架构上主要分为四部分，如上图所示:1、Producer：消息发布的角色，支持分布式集群方式部署。Producer通过MQ的负载均衡模块选择相应的Broker集群队列进行消息投递，投递的过程支持快速失败并且低延迟。2、Consumer：消息消费的角色，支持分布式集群方式部署。支持以push推，pull拉两种模式对消息
转载
2024-01-30 19:49:51
127阅读
专题目录RocketMQ详解(一)原理概览RocketMQ详解(二)安装使用详解RocketMQ详解(三)启动运行原理RocketMQ详解(四)核心设计原理RocketMQ详解(五)总结提高引子本节参照github设计文档+源码，分析RocketMQ的核心设计原理。是本系列的核心中的核心，由于源码过于无聊，能用图说清楚的绝不用文字。从5个方面去剖析：消息存储：首先明白消息如何落盘通信机制：底层ne
转载
2023-11-26 15:46:50
79阅读
大纲1.RocketMQ整体运行原理的介绍顺序2.RocketMQ生产者是如何发送消息的3.Broker是如何持久化接收到的消息到磁盘上4.基于DLedger技术的Broker主从同步原理5.消费者进行消息拉取和消费的过程6.消费者从Master或Slave上拉取消息的策略7.RocketMQ如何基于Netty进行高性能网络通信8.基于mmap内存映射实现磁盘文件的高性能读写9.RocketMQ的
1. 消息模型 RocketMQ主要由 Producer、Broker、Consumer 三部分组成，其中Producer 负责生产消息，Consumer 负责消费消息，Broker 负责存储消息。Broker 在实际部署过程中对应一台服务器，每个Broker 可以存储多个Topic的消息，每个To
原创
2021-12-23 11:42:39
88阅读
1. 路由注册RocketMQ路由注册是通过Broker与NameServer的心跳功能实现的。Broker启动后每隔30s向集群中所有NameServer发送心跳包，然后Name Server每隔10s扫描Broker信息，如果连续120s没有收到心跳包，NameServer将移除该Broker的路由信息。2. 消息发送 同步发送：发送者向MQ发送消息时，同步等
转载
2023-07-19 11:33:11
72阅读
（1）RocketMQ整体架构如今阿里的开源项目越来越多，比如消息中间件领域的RocketMQ，分布式事务领域的Fescar，熔断限流领域的Sentinal，微服务领域的Dubbo、Nacos等等。 而现在越来越多的中小型公司也开始使用阿里开源的各种技术到自己的系统，因此有必要对阿里开源的一些技术的核心工作原理进行了解。 本文就对消息中间件领域的 RocketMQ 进行原理的分
转载
2024-04-05 12:28:59
34阅读
RocketMQ原理深入:一、定义：RocketMQ是一款分布式、队列模型的消息中间件，有以下部分组成：1、NameServer: 一个几乎无状态的节点，可集群部署，节点之间无任何信息同步2、Broker:是RocketMQ的核心组成部分，通过轻量级的Topic和队列机制来维护消息存储，Broker支持消息Push和Pull模式。支持千亿级别的消息堆积能力3、Producer:消息生产者，和Nam
转载
2023-12-23 18:03:03
236阅读
