最近在搭建一个个人云盘,从昨天晚上一直弄到现在,中间失败过好几次,还重装过系统。为了让大家少走弯路,也为自己留个备忘录,我决定将我成功安装的步骤记录下来。安装必要条件LNMP/AMP With PHP5.6+curl、fileinfo、gd扩展Composer我配置环境是用的军哥的lnmp一键安装包1.4 ,只需对PHP版本进行升级,和进行fileinfo扩展 即可。对PHP升级比较简单,这里说一
以下是本次分享的议题:
今日头条的业务背景为什么选择 RocketMQRocketMQ 在头条的落地实践头条的容灾系统建设 业务背景
今日头条的服务大量使用微服务,容器数目巨大,业务线繁多, Topic 的数量也非常多。
另外,使用的语言比较繁杂,包括 Python,Go, C++, Java, JS 等,对于基础
转载
2024-06-24 08:29:47
38阅读
【Docker应用篇】Docker安装RocketMQCentos 7.4安装DockerDocker安装RocketMQ技术架构安装 Centos 7.4安装Docker1、较旧版本的Docker被称为docker或docker-engine,如果已安装这些,请卸载它们:yum remove -y docker \
docker-client \
转载
2023-08-04 13:03:09
121阅读
本文主要对rcoketmq进行了基本概念的介绍,包括rocketmq的架构、组件和基本概念等
基本介绍rocketmq是阿里巴巴团队使用java语言开发的一款基于发布订阅模型的分布式消息队列中间件,是一款低延迟,高可用,拥有海量消息堆积能力和灵活拓展性的消息队列。特点可以实现集群无单点故障问题,节点高可用,水平可扩展;支持消息存储,写入低延迟,支持实时消
转载
2024-05-21 15:04:10
50阅读
1、为什么用mq 优势 主要有3个: 应用解耦(降低微服务之间的关联)、 异步提速(微服务拿到mq消息后同时工作)、 削峰填谷(可以消息堆积)劣势 系统可用性降低(MQ一旦宕机整个系统不可用) 复杂度提高(需要解决系统消息一致性、重复消费…) 一致性问题(不同系统拿到mq中的消息后,部分系统处理失败怎么办)2、rocketmq集群工作流程由上图可以看出,rocketMQ集群=消息服务器集群+命名服
转载
2024-05-30 22:21:50
29阅读
问题背景在云原生技术的广泛普及和实施过程中,笔者接触到的很多用户需求里都涉及到对云原生集群的可观测性要求。实现集群的可观测性,是进行集群安全防护的前提条件。而在可观测性的需求中,集群中容器和容器之间网络流量的可观测性需求是其中一个比较重要的部分。对于容器网络的流量采集,其实施难度是大于传统主机网络的流量采集的。那么容器网络的复杂度到底在哪里?如何更好的去适配容器网络?这里笔者结合在工作实践中的一些
转载
2023-10-18 23:40:14
252阅读
RocketMQ 实现了灵活的多分区和多副本机制,有效的避免了集群内单点故障对于整体服务可用性的影响。存储机制和高可用策略是 RocketMQ 稳定性的核心,社区上关于 RocketMQ 目前存储实现的分析与讨论一直是一个热议的话题。本文想从一个不一样的视角,着重于谈谈我眼中的这种存储实现是在解决哪些复杂的问题,因此我从本文最初的版本中删去了冗杂的代码细节分析,由浅入深的分析存储机制的缺陷与优化方
转载
2024-10-08 14:23:28
53阅读
一、主从复制概述RocketMQ Broker的主从复制主要包括两部分内容:CommitLog的消息复制和Broker元数据的复制。CommitLog的消息复制是发生在消息写入时,当消息写完Broker Master时,会通过单独的线程,将消息写入到从服务器,在写入的时候支持同步写入、异步写入两种方式。Broker元数据的写入,则是Broker从服务器通过单独的线程每隔10s从主Broker上获取
前面已经了解过的内容如下:集群中的每个Master Broker只存储一部分消息,通过主从保证高可用;所有Broker都要注册到NameServer上NameServer是可以集群部署的,拥有每个Broker的信息;Broker每隔30s向NameServer发一次心跳NameServer每隔10s检测一次Broker的心跳时间,120s没有发送的Broker就认定为宕机;生产者通过pull拉取N
转载
2024-02-28 11:04:41
143阅读
阿里云RocketMQ是一种分布式消息中间件,提供可靠的消息传递和顺序消息传递。在Kubernetes(K8S)上部署和管理阿里云RocketMQ,可以实现高可靠性和可伸缩性,使得应用程序之间能够高效地进行异步通信以及解耦。在本篇文章中,我将向你介绍如何在Kubernetes环境下使用阿里云RocketMQ。
首先,让我们来看一下在Kubernetes上部署阿里云RocketMQ的整体流程:
原创
2024-04-29 11:13:54
134阅读
cubepaas容器虚拟机吃灰好久了,今天觉得还是要用起来比较好,因为国内机器,G口带宽速度上还是很有保障的,唯一的缺点就是需要加上端口号。不过端口号也可以解决,用cdn就可以搞定。如果有北岸的域名,那么这就不是问题了。今天这篇文章我来说说用cubepaas容器虚拟机安装OneManager~~~注意:本文用的是onedrive的国内版也就是世纪互联来测试安装,国内的机器加上世纪互联,这个速度完美
转载
2024-09-02 00:02:25
256阅读
参考官方安装文档:https://rocketmq.apache.org/docs/quick-start/本次安装环境为Ubuntu 20。准备工作:正式安装:解压建立软连接启动name server修改配置文件runserver.sh中的jvm参数,生产环境无需修改,测试环境可能因内存不足无法启动。由原来的修改为启动:启动broker修改配置文件runbroker.sh中的jvm参数,生产环境无需修改,测试环境可能因内存不足无法启动。由原来的改为启动生产和消费
原创
2022-07-04 20:00:00
337阅读
一、rocket MQ安装(单机)1.1、安装配置下载地址安装环境必须是位。上传文件,并解压,更改解压后的文件名为rocketmqunzip rocketmq-all-4.5.0-bin-release.zip
mv rocketmq-all-4.5.0-bin-release rocketmqconf配置文件说明2m-25-async:2主2从异步
2m-2s-smc:2主2从同步
2m-
转载
2024-06-29 10:08:44
49阅读
本篇文章主要介绍一下JMeter的安装及基本使用方法。1.安装JMeter的官方网址为http://jmeter.apache.org/下载地址为http://jmeter.apache.org/download_jmeter.cgi在安装jmeter之前应该先安装jdk主界面如图所示2.基础知识程序运行以后,我们可以看到,JMeter是以测试计划的形式组织测试的。在测试计划上点击右键,选择“添加
一,容器介绍1,什么是容器容器其实是一种沙盒技术。顾名思义,沙盒就是能够像一个集装箱一样,
把你的应用"装"起来的技术。这样,应用与应用之间,就因为有了边界
而不至于相互干扰;而被装进集装箱的应用,也可以被方便地搬来搬去,
这其实是 PaaS 最理想的状态。2,云计算服务类型基础设施即服务Iaas
平台即服务(PaaS)
软件即服务(SaaS)3,容器本质容器的本质是进程,是基于操作系统运行的,容
一、参考资料RocketMQ安装及验证
原创
2022-07-28 09:31:29
985阅读
下载RocketMQRocketMQ官网下载bin压缩包,source压缩包是源码,这里我们直接使用bin进行安装安装上传至服务器将rocketmq-all-4.8.0-bin-release.zip上传到自己的服务器,我这里是上传到了/usr/local目录下(可以上传到自定义的其他目录下),使用的上传工具是xftp解压安装包使用如下命令对安装包进行解压,前提是你必须在rocketmq压缩包所在的目录下运行此命令,以下命令都是在rocketmq压缩包所在的目录下运行的unzip rock
原创
2021-10-25 11:47:01
1337阅读
方案一:升级 K8s pod资源交替清空其中一组 broker(m-s) 消息,重启pod 优点:操作简单,无需新增资源,在原有资源上扩容缺点:只完成当前升级,最大只能升级到4C 8G,后续业务量起来有可能还需要升级(升级硬件) 操作:1. 摘除写入流量brokerPermission=2 表示只写,brok
转载
2024-04-22 17:28:39
203阅读
前面的章节,我们已经把RocketMQ的环境搭建起来了,是一个两主两从的异步集群。接下来,我们就看看怎么去使用RocketMQ,在使用之前,先要在NameServer中创建Topic,我们知道RocketMQ是基于Topic的消息队列,在生产者发送消息的时候,要指定消息的Topic,这个Topic的路由规则是怎样的,这些都要在NameServer中去创建。Topic的创建我们先看看Topic的命令
转载
2024-04-16 13:28:52
269阅读
消息队列(Message Queue,简称 MQ)是构建分布式互联网应用的基础设施,通过 MQ 实现的松耦合架构设计可以提高系统可用性以及可扩展性,是适用于现代应用的最佳设计方案。什么是RocketMQRocketMQ官方定义为一个统一的消息传递引擎,轻量级的数据处理平台。Apache RocketMQ是分布式和低延迟消息和流处理平台,性能和可靠性高,trillion-level(万亿级)能力和灵
转载
2024-03-22 09:29:48
81阅读