初识主从同步主从同步基本实现过程如下图所示：RocketMQ 的主从同步机制如下：A. 首先启动Master并在指定端口监听；B. 客户端启动，主动连接Master，建立TCP连接；C. 客户端以每隔5s的间隔时间向服务端拉取消息，如果是第一次拉取的话，先获取本地commitlog文件中最大的偏移量，以该偏移量向服务端拉取消息；D. 服务端解析请求，并返回一批数据给客户端；E. 客户端收到一批消息
转载
2021-06-06 13:56:36
171阅读
温馨提示：建议参考代码RocketMQ4.4版本，4.5版本引入了多副本机制，实现了主从自动切换，本文并不关心主从切换功能。初识主从同步主从同步基本实现过程如下图所示：RocketMQ的主从同步机制如下：A.首先启动Master并在指定端口监听；B.客户端启动，主动连接Master，建立TCP连接；C.客户端以每隔5s的间隔时间向服务端拉取消息，如果是第一次拉取的话，先获取本地commitlog文
原创
2020-12-03 16:01:05
164阅读
温馨提示：建议参考代码RocketMQ4.4版本，4.5版本引入了多副本机制，实现了主从自动切换，本文并不关心主从切换功能。
初识主从同步
主从同步基本实现过程如下图所示：
RocketMQ 的主从同步机制如下：A. 首先启动Master并在指定端口监听；B. 客户端启动，主动连接Master，建立TCP连接；C. 客户端以每隔5s的间隔时间向服务端拉取消息，如果是第一次拉取的话，先获
转载
2021-06-15 15:02:18
102阅读
一、RocketMQ主从复制原理 为了提高消息消费的高可用性，避免Broker发生单点故障引起存储在Broker上的消息无法及时消费，RocketMQ引入了Broker主备机制，即消息消费到达主服务器后需要将消息同步到消息从服务器，如果主服务器Broker宕机后，消息消费者可以从从服务器拉取消息。 ...
转载
2021-07-24 08:55:00
857阅读
2评论
RocketMQ-broker存储机制-HA数据同步 HA机制解决读写分离模式下slave与master的数据同步问题，在master broker高负载的情况下，实现slave broker的数据订阅。HA的主要实现逻辑在HaServer类中，入口在putMessage的handleHA()方法初 ...
转载
2021-08-10 21:42:00
463阅读
2评论
此处是本人对官方文档的理解，如有不足请指正（官方文档位置在下图）HDFS存在的问题 NameNode单点故障，难以应用于在线场景 NameNode压力过大，且内存受限，影响系统扩展性 解决HDFS 1.0中单点故障和内存受限问题。解决单点故障 HDFS HA：通过主备NameNode解决 如果主NameNode发生故障，则切换到备NameNode上 解决内存受限问题 HDFS
转载
2023-07-23 23:40:14
49阅读
1. 生产者前面我们说Message Queue是用来做横向扩展，生产者利用队列可以实现消息的负载和平均分布。那什么时候会发到那个队列呢？1.1 消息发送规则从Producer的send方法开始追踪，在DefaultMQProducer的select方法会选择要发送的Queue:public MessageQueue selectOneMessageQueue(TopicPublishInfo t
转载
2024-02-04 22:26:36
114阅读
点赞
HDFS-HA 的实现原理HA概述HA（High Available），即高可用实现高可用最关建的就是取消单点故障HA严格来讲分成各个组件的HA： HDFS的HA YARN的HAHDFS-HA的工作机制 通过双NN（namenode）消除单点故障HDFS-HA工作要点元数据管理方式的变化 内存中各自保持一份元数据 Edits日志只有avtive状态的nn可以写 两个nn都可以读Edits日志 共享
转载
2024-02-25 10:20:37
35阅读
1.前沿 hadoop环境是cdh5.13 ，使用yarn作为资源管理器 2. 步骤详情 2.1 作业提交当调用job.submit()/job.waitForCompletion() 时，向资源管理器请求一个应用ID,作为MapReduce作业ID根据程序配置的输入路径，计算作业的分片大小（该分片大小决定了map个数，map个数以及redu
转载
2023-07-24 10:38:37
42阅读
传统的HDFS机制如下图所示：也就是存在一个NameNode，一个SecondaryNameNode，然后若干个DataNode。这样的机制虽然元数据的可靠性得到了保证（靠edits，fsimage，meta.d...
转载
2017-03-02 21:03:00
264阅读
2评论
NameNode是HDFS集群的单点故障，每一个集群只有一个NameNode，如果这个机器或进程不可用，整个集群就无法使用，直到重启NameNode或者新启动一个NameNode节点 影响HDFS集群不可用主要包括以下两种情况 - 类似机器宕机这样的意外情况将导致集群不可用，只有重...
转载
2015-12-06 08:52:00
228阅读
2评论
从图中我们可以看出HA的缓存分为生产缓存事件池和拉取缓存事件池两块结构相同的缓存区，分别缓存生产和拉取请求 2个缓存事件池的作用：生产缓存事件池：当生产者设置了等待从partition的同步选项(requiredAcks为-1)时才会启动生产缓存。因为每一批生产的消息，需要等待所有的处于同步状态的从partition（in-sync）同步成功，在所有follow partition上报自
原创
2022-11-24 20:59:03
105阅读
从图中我们可以看出HA的缓存分为生产缓存事件池和拉取缓存事件池两块结构相同的缓存区，分别缓存生产和拉取请求 2个缓存事件池的作用：生产缓存事件池：当生产 报自...
原创
2023-04-28 00:02:09
66阅读
MQ没有内存Buffer概念，RocketMQ的队列都是持久化磁盘，数据定期清除存储的消息最多
原创
2022-11-07 11:37:49
112阅读
作者：斜阳引言本文主要介绍在使用 RocketMQ 时为什么需要重试与兜底机制，生产者与消费者触发重试的条件和具体行为，如何在 RocketMQ 中合理使用重试机制，帮助构建弹性，高可用系统的最佳实践。RocketMQ 的重试机制包括三部分，分别是生产者重试，服务端内部数据复制遇到非预期问题时重试，消费者消费重试。本文中仅讨论生产者重试和消费者消费重试两种面向用户侧的实现。生产者发送重试Rocke
转载
2024-01-17 08:21:55
90阅读
RocketMQ原理深入:一、定义：RocketMQ是一款分布式、队列模型的消息中间件，有以下部分组成：1、NameServer: 一个几乎无状态的节点，可集群部署，节点之间无任何信息同步2、Broker:是RocketMQ的核心组成部分，通过轻量级的Topic和队列机制来维护消息存储，Broker支持消息Push和Pull模式。支持千亿级别的消息堆积能力3、Producer:消息生产者，和Nam
转载
2023-12-14 10:10:52
1100阅读
1： RocketMq 默认消费行为是无序的， 但是可以保证局部有序（单队列内） 具体解决方案为： 生产者发送消息时指定队列（根据业务IDHash等等。。。） ，同时消费者使用有序消费监听器（MessageListenerOrderly） 两者同时实现 即可保证局部有序2： rocketmq的消息通讯机制是由推（push）拉（pull）两种方式实现 不过rocketmq对推送机制做了优化 现在已不
转载
2024-04-27 07:20:35
58阅读
RocketMQ原理深入:一、定义：RocketMQ是一款分布式、队列模型的消息中间件，有以下部分组成：1、NameServer: 一个几乎无状态的节点，可集群部署，节点之间无任何信息同步2、Broker:是RocketMQ的核心组成部分，通过轻量级的Topic和队列机制来维护消息存储，Broker支持消息Push和Pull模式。支持千亿级别的消息堆积能力3、Producer:消息生产者，和Nam
转载
2023-12-23 18:03:03
236阅读
HA的运作机制
1）hadoop-HA集群运作机制介绍
原创
2021-07-07 11:41:00
343阅读
Hadoop HA 机制架构、要点、原理： 需要的机器（规划）： 至少三台机器
原创
2021-07-22 17:01:53
961阅读
