spring cloud是一系列框架的有序集合，是分布式系统构建工具服务领域模型不同的组（group）之间不能调用，只能进行组内调用namespace=》group/service=》cluster=》instance没有nacos的时候微服务调用，可以直接使用RestTemplate进行调用。但是服务量增大，一个服务需要部署在多台服务器上时，使用nginx做负载均衡springboot与spri
转载
2024-10-13 10:03:25
43阅读
大数据平台搭建版本这个版本真的关键 hadoop：2.10.0准备环境新增用户，ssh免密登陆如果配置分布式spark还需要 vi /etc/hostname 添加到下图修改 vi /etc/hosts，三台机器都需要127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1
转载
2024-02-20 10:46:15
102阅读
hadoop数据迁移数据迁移使用场景：冷热集群数据分类存储集群数据搬迁，当公司的业务迅速的发展,导致当前的服务器数量资源出现临时紧张的时候,为了更高效的利用资源,会将原A机房数据整体迁移到B机房的,原因可能是B机房机器多,而且B机房本身开销较A机房成本低些等.数据的准实时同步.数据的准实时同步与上一点的不同在于第二点可以一次性操作解决,而准实时同步需要定期同步,而且要做到周期内数据基本完全一致.数
转载
2023-07-12 15:09:19
204阅读
文章说明需要注意的地方会用黄色高光标注文章中用到的一些知识，我会选择性提供文章链接，可考率是否阅读。（一）初步了解搭建步骤准备工作1.虚拟机准备准备好三台安装好jdk和hadoop的虚拟机 方法：可以克隆1台干净的虚拟机，做完所有jdk、hadoop配置后，将处理好的虚拟机克隆为集群，别忘了修改集群机器的IP和主机名如何更改用户名和主机名入口 我这里用的是3台机器，分别为Cloud10、Cloud
转载
2024-01-02 20:33:40
128阅读
hadoop namenode 容灾是确保大数据集群高可用和可靠性的关键环节。当NameNode出现故障时，必须有明确的备份和恢复策略，以最大程度缩短数据丢失时间和减少服务故障。本文将详细记录解决Hadoop NameNode容灾问题的过程，包括备份策略、恢复流程、灾难场景、工具链集成、日志分析以及验证方法，并提供相应的图表和代码实例。
## 备份策略
为有效进行NameNode的容灾演练，我
部署方案的设计我们常说的ZooKeeper能够提供高可用分布式协调服务，是要基于以下两个条件： 1. 集群中只有少部分的机器不可用。这里说的不可用是指这些机器或者是本身down掉了，或者是因为网络原因，有一部分机器无法和集群中其它绝大部分的机器通信。例如，如果ZK集群是跨机房部署的，那么有可能一些机器所在的机房被隔离了。 2.正确部署ZK
转载
2024-09-20 18:52:20
70阅读
整体架构NodeManager（NM）是YARN中每个节点上的代理，它管理Hadoop集群中单个计算节点，包括与ResourceManger保持通信，监督Container的生命周期管理，监控每个Container的资源使用（内存、CPU等）情况，追踪节点健康状况，管理日志和不同应用程序用到的附属服务（auxiliary service）。 【NodeStatusUpdater】 当NM启动时
转载
2023-11-09 17:03:29
58阅读
DNS容灾这里介绍如果通过dns来实现容灾，饿了么有非常多的应用，应用的用户量非常大，遍布各地。这些应用都是需要域名的，所以为了提神服务质量，构建自己的DNS体系，为饿了么的应用提供域名解析服务。DNS简单介绍DNS提供了根据域名查IP地址的服务，和常见的http协议一样，dns也是一个工作在7层的应用成协议，他使用的端口是53域名和ip之间的对应关系，称为记录（record）。根据使用场景的不同
转载
2024-04-08 12:36:58
117阅读
社区提供的读写分离架构图如下：通过架构图可以看到Kylin会访问两个集群的HDFS，建议两个集群的NameService务必不能相同，尤其是集群启用NameNode HA时，相同的NameService会导致组件在跨集群访问HDFS时因无法区分NameService而出现问题。两个集群：cluster1(hive集群):hdfs.hive,yarn,zookeeper,mrcluster2(hba
转载
2024-08-29 13:28:18
27阅读
Master/Slave方案这是最常用的方案，适用于大多数需求。Master将操作日志实时地发送到Slave，Slave当成Master的一个Hot Backup。Master宕机时，服务切换到Slave，需要修改客户端逻辑使得Master失效时自动寻找新的Master。这个方案有一个问题就是数据库的Master和Slave一般不是强同步的，所以，切换到Slave后可能丢失宕机前的少量更新。如果将
场景分析 每个机房的Ceph都是独立的cluster，彼此之间没有任何关系。 多个机房都独立的提供对象存储功能，每个Ceph Radosgw都有自己独立的命名空间和存储空间。 这样带来两个问题： 针对Radosgw来说，我们的业务没法提供统一的命名空间； 没有机房级别的容灾，若一个机房Radosgw
转载
2018-02-09 14:30:00
523阅读
2评论
mysql跨机房容灾备份方案的描述
在现代企业中，数据安全与高可用性至关重要。特别是在跨机房环境下，MySQL 数据库的容灾备份方案显得尤为重要。本文将为您详细介绍如何构建一套可靠的 MySQL 跨机房容灾备份方案，包括环境预检、部署架构、安装过程、依赖管理、服务验证、版本管理等内容。
## 环境预检
在开始之前，需要对系统进行预检，以确保我们的环境符合要求。以下是系统要求的表格：
| 项
XX医院网络系统容灾方案 一、项目背景 XX医院院作为XX市城东地区唯一大型综合性医院，鉴于医疗卫生机构在信息化方面的要求，我们发现，本院信息化安全保障方面已经不能满足医疗要求。 机房内除HIS数据服务器外均无冗余，HIS数据服务器也仅是2台IBM3650做了群集，共用一个磁盘阵列，一台发生故障后另外一台可以在短时间内启用。这样做存在一个非常严重的安全隐患，群集中存在
转载
2024-05-23 16:04:41
34阅读
背景
在单集群部署环境下，OpenMLDB 具备集群内节点级别的高可用能力。但若受到机房断电或者自然灾害等不可抗拒因素，则将造成的机房或大部分节点无法正常运转的情况，从而引发该集群状态异常，导致在线服务中断。为此，OpenMLDB 提供了一个跨机房容灾方案来解决该问题。在该方案中，用户可以在多个异地机房，分别部署独立的 OpenMLDB 集群，并且将这多套 OpenMLDB 集群设置成为主从复制模
转载
2024-05-19 08:10:05
38阅读
2017运维/DevOps在线技术峰会上，阿里云应用运维专家夸父带来题为“同城容灾架构剖析”的演讲。本文主要从部署目标和要求开始谈起，接着着重对架构进行分析，然后又重点对任务分解进行说明，并对单双机房的部署进行了对比，最后分享了容灾演练方式。一起来了解下吧。近几个月，运维事件频发。从“炉石数据被删”到“MongoDB遭黑客勒索”，从“Gitlab数据库被误删”到某家公司漏洞被组合攻击。这些事件，无
转载
2024-08-08 08:39:37
185阅读
计算机机房的雷电防护措施.pdf廛围挝塑计 算 机 机 房 的 雷 电 防 护 措 施郑亚兵李小凯张雪颖( 河南省襄城县气象局，河南襄城461700)| jj 脯要】计算机及网络 设备由大量的集成 电路组成．在l mm2芯片上巢成 了十几万个元件，最大击穿电压为几十佼 ，最大允许工作电流为j 7几微安，只对低能量干扰 比较有效，对雷 电电磁眯冲生成的过 电压和过 电流 的抗冲击能力十分诡弱，做好防
前言后台服务可以划分为两类，有状态和无状态。高可用对于无状态的应用来说是比较简单的，无状态的应用，只需要通过 F5 或者任何代理的方式就可以很好的解决。后文描述的主要是针对有状态的服务进行分析。服务端进行状态维护主要是通过磁盘或内存进行保存，比如 MySQL 数据库，redis 等内存数据库。除了这两种类型的维护方式，还有 jvm 的内存的状态维持，但jvm的状态生命周期通常很短。高可用1、高可用
Apache Flink提供了一种容错机制，可以持续恢复数据流应用程序的状态。该机制确保即使出现故障，程序的状态最终也会反映来自数据流的每条记录(只有一次)。从容错和消息处理的语义上(at least once, exactly once)，Flink引入了state和checkpoint。state一般指一个具体的task/operator的状态。而checkpoint则表示了一个Flink J
转载
2024-08-28 20:19:29
81阅读
TFS集群支持异地机房容灾，一个逻辑集群包含分布在多个机房的物理集群，其中一个是主集群，其他的是备份集群。客户端写文件时，都会写到主集群，主集群的Dataserver(DS)异步将数据同步到多个备集群；客户端在读取数据时，会选择离自己最近的物理集群读取数据，如果读不到数据，就重试逻辑集群里的其他物理集群。对集群同步的期望1. 所有的文件都能被同步到备集群
2. 文件尽快同步到备集群
3. 文件
转载
2024-04-29 10:00:10
113阅读
在单集群部署环境下，OpenMLDB 具备集群内节点级别的高可用能力。但若受到机房断电或者自然灾害等不可抗拒因素，则将造成的机房或大部分节点无法正常运转的情况，从而引发该集群状态异常，导致在线服务中断。为此，OpenMLDB 提供了一个跨机房容灾方案来解决该问题。在该方案中，用户可以在多个异地机房，分别部署独立的 OpenMLDB 集群，并且将这多套 OpenMLDB 集群设置成为主从复制模式。在这种部署架构下，如果主集群无法提供服务，用户可以进行主从切换，从而保证业务不中断。
原创
2023-01-31 11:08:28
195阅读
