RocketMQ 实现了灵活的多分区和多副本机制，有效的避免了集群内单点故障对于整体服务可用性的影响。存储机制和高可用策略是 RocketMQ 稳定性的核心，社区上关于 RocketMQ 目前存储实现的分析与讨论一直是一个热议的话题。本文想从一个不一样的视角，着重于谈谈我眼中的这种存储实现是在解决哪些复杂的问题，因此我从本文最初的版本中删去了冗杂的代码细节分析，由浅入深的分析存储机制的缺陷与优化方
转载
2024-10-08 14:23:28
53阅读
本文主要对rcoketmq进行了基本概念的介绍，包括rocketmq的架构、组件和基本概念等
基本介绍rocketmq是阿里巴巴团队使用java语言开发的一款基于发布订阅模型的分布式消息队列中间件，是一款低延迟，高可用，拥有海量消息堆积能力和灵活拓展性的消息队列。特点可以实现集群无单点故障问题，节点高可用，水平可扩展；支持消息存储，写入低延迟，支持实时消
转载
2024-05-21 15:04:10
50阅读
1、为什么用mq 优势 主要有3个： 应用解耦（降低微服务之间的关联）、 异步提速（微服务拿到mq消息后同时工作）、 削峰填谷（可以消息堆积）劣势 系统可用性降低(MQ一旦宕机整个系统不可用) 复杂度提高(需要解决系统消息一致性、重复消费…) 一致性问题(不同系统拿到mq中的消息后，部分系统处理失败怎么办）2、rocketmq集群工作流程由上图可以看出，rocketMQ集群=消息服务器集群+命名服
转载
2024-05-30 22:21:50
29阅读
一、主从复制概述RocketMQ Broker的主从复制主要包括两部分内容：CommitLog的消息复制和Broker元数据的复制。CommitLog的消息复制是发生在消息写入时，当消息写完Broker Master时，会通过单独的线程，将消息写入到从服务器，在写入的时候支持同步写入、异步写入两种方式。Broker元数据的写入，则是Broker从服务器通过单独的线程每隔10s从主Broker上获取
前面已经了解过的内容如下：集群中的每个Master Broker只存储一部分消息，通过主从保证高可用；所有Broker都要注册到NameServer上NameServer是可以集群部署的，拥有每个Broker的信息；Broker每隔30s向NameServer发一次心跳NameServer每隔10s检测一次Broker的心跳时间，120s没有发送的Broker就认定为宕机；生产者通过pull拉取N
转载
2024-02-28 11:04:41
143阅读
方案一：升级 K8s pod资源交替清空其中一组 broker(m-s) 消息，重启pod 优点：操作简单，无需新增资源，在原有资源上扩容缺点：只完成当前升级，最大只能升级到4C 8G，后续业务量起来有可能还需要升级（升级硬件） 操作：1. 摘除写入流量brokerPermission=2 表示只写，brok
转载
2024-04-22 17:28:39
203阅读
首页nfs做storageclass 参考镜像下载1、里面包含console页面docker pull lhcre/rocketmq:4.8.02、推送到自己镜像仓库docker tag lhcre/rocketmq:4.8.0 172.16.15.250/rocketmq:4.8.0
docker push 172.16.15.250/rocketmq:4.8.0部署namesrv1、names
转载
2023-12-31 21:03:06
118阅读
前面的章节，我们已经把RocketMQ的环境搭建起来了，是一个两主两从的异步集群。接下来，我们就看看怎么去使用RocketMQ，在使用之前，先要在NameServer中创建Topic，我们知道RocketMQ是基于Topic的消息队列，在生产者发送消息的时候，要指定消息的Topic，这个Topic的路由规则是怎样的，这些都要在NameServer中去创建。Topic的创建我们先看看Topic的命令
转载
2024-04-16 13:28:52
269阅读
消息队列（Message Queue，简称 MQ）是构建分布式互联网应用的基础设施，通过 MQ 实现的松耦合架构设计可以提高系统可用性以及可扩展性，是适用于现代应用的最佳设计方案。什么是RocketMQRocketMQ官方定义为一个统一的消息传递引擎,轻量级的数据处理平台。Apache RocketMQ是分布式和低延迟消息和流处理平台,性能和可靠性高,trillion-level（万亿级）能力和灵
转载
2024-03-22 09:29:48
81阅读
1、运维需求在 RocketMQ 集群的实践中，对集群扩容、缩容、节点下线等运维做到平滑、业务无感知、数据无丢失，这个对于集群运维的同学来说非常重要。比如前些日子出现的问题，由于线上集群频繁出现 CPU 毛刺甚至直接挂掉并伴随着集群抖动，对内核参数的调整只能减缓毛刺却不能消除抖动。集群抖动业务使用会伴随着发送延迟告警，始终是个必须处理的隐患。最终决定更换操作系统即更换内核。集群信息: Rocket
最近在搭建一个个人云盘，从昨天晚上一直弄到现在，中间失败过好几次，还重装过系统。为了让大家少走弯路，也为自己留个备忘录，我决定将我成功安装的步骤记录下来。安装必要条件LNMP/AMP With PHP5.6+curl、fileinfo、gd扩展Composer我配置环境是用的军哥的lnmp一键安装包1.4 ,只需对PHP版本进行升级，和进行fileinfo扩展 即可。对PHP升级比较简单，这里说一
以下是本次分享的议题：
今日头条的业务背景为什么选择 RocketMQRocketMQ 在头条的落地实践头条的容灾系统建设 业务背景
今日头条的服务大量使用微服务，容器数目巨大，业务线繁多， Topic 的数量也非常多。
另外，使用的语言比较繁杂，包括 Python，Go, C++, Java, JS 等，对于基础
转载
2024-06-24 08:29:47
38阅读
启动broker报错 虚拟机内存小，导致虚拟机中的JVM内存小，进而在启动broker时分配JVM内存遇到问题查询网上得知，查看/usr/local/rocketmq-all-4.3.0/distribution/target/apache-rocketmq/bin/runbroker.sh的配置参数，修改即可vim
转载
2024-06-10 16:41:51
1466阅读
初识 RocketMQRocketMQ是一款分布式、队列模型的消息中间件，由阿里巴巴自主研发的一款适用于高并发、高可靠性、海量数据场景的消息中间件。早期开源2.x版本名为MetaQ；15年迭代3.x版本，更名为RocketMQ，16年开始贡献到Apache，经过1年多的孵化，最终成为Apache顶级的开源项目，更新非常频繁，社区活跃度也非常高；目前最新版本为4.5.1-release版本（2019
转载
2024-04-08 11:56:34
69阅读
RocketMQ网络部署图RocketMQ 网络部署特点Name Server 是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。Broker 部署相对复杂，Broker 分为Master 与Slave，一个Master 可以对应多个Slave，但是一个Slave 只能对应一个Master，Master 与Slave 的对应关系通过指定相同的BrokerName，不同的BrokerId来定
转载
2024-05-25 19:07:20
126阅读
一、MQ的比较 KafkaRocketMQRabbitMQ设计定位系统间的数据管道，实时数据处理；例如：收集日志、监控数据、网站活跃性跟踪、常规消息系统非日志的可靠性消息传递；例如：电商系统、订单、交易、消息推送、bin-log分发等可靠消息传递；和 RocketMQ类似成熟度日志领域成熟成熟成熟开发语言ScalaJavaErlang支持协议一套 自行设计的基于TCP的二进制协议自定义的
转载
2024-04-05 21:57:21
1249阅读
通过前面的完整学习，相信大家对RocketMQ都有了比较深入的理解了。那这一部分，我们结合前面学到的知识，考虑下几个在实际项目落地时比较重要的几个问题。一、使用RocketMQ如何保证消息不丢失？这个是在面试时，关于MQ，面试官最喜欢问的问题。这个问题是所有MQ都需要面对的一个共性问题。大致的解决思路都是一致的，但是针对不同的MQ产品又有不同的解决方案。分析这个问题要从以下几个角度入手：1、哪些环
Rocketmq技术详解运维部署 docker-compose.ymlversion: '3.5'
services:
rmqnamesrv:
image: foxiswho/rocketmq:server
container_name: rmqnamesrv
ports:
- 9876:9876
volumes:
- ./logs:/o
目录1.拉取镜像文件2.创建logs文件夹，启动nameserver3.创建conf、store、logs文件夹，启动broker4.安装 rocketmq 控制台5.java代码1.拉取镜像文件docker pull rocketmqinc/rocketmq:4.4.02.创建logs文件夹，启动nameserverdocker run -u root -d -p 9876:9876\
-v
转载
2024-07-11 13:28:05
38阅读
我们先看一下 rocketmq 的整体架构！ 总体来说就是，客户端向broker发送消息或者消息消息，具体数据在哪个 broker 上，由 nameserver 告知。即 nameserver 保存元数据，维护各节点的生命周期，大体跟zk差不多了。 所以，broker应该这套mq系统中的重中之重了。 今天我们就来看看broker这么厉害的角色是如何启动的吧？ 我们先只看单机版，启动
转载
2024-09-27 08:35:50
48阅读
