GBase 8s HAC（容灾高可用）采用基于数据库日志的增量数据同步技术实现节点高可用。根据灾备距离不同分为同城容灾高可用和异地灾备高可用。同城容灾高可用支持一主一从的部署方式，异地灾备高可用支持一主多备的部署方式。HAC主节点执行读写业务的同时，备节点可承担查询、报表等读业务。HAC具有安装简单、应用透明无感知、故障自动切换、无须额外付费等特点。 &nb
转载
2023-11-24 00:48:32
119阅读
其实双活这个字眼并不属于容灾范畴，容灾向来是以RPO/RTO来定义其级别，所谓的双活只是业内对某种较高容灾级别的架构的俗称，根据不同的角度对其理解也有所偏差。那么基于此，本人暂且认为只要是两个数据中心同时能提供业务服务的就认为是所谓的双活。在这个前提条件下，从Oracle数据库本身的技术来讲，有这么几种方案。基于跨中心实现的远距离RAC架构。1)基于ASM冗余设计实现。2)基于存储集群化之后的分布
转载
2024-01-26 08:46:42
139阅读
为了避免ElasticSearch发生意外情况发生，导致数据丢失或者整个集群不能提供服务，所以对存储的数据进行灾备是在使用ElasticSearch过程中，必不可少的重要环节。
原创
精选
2022-12-13 15:39:13
839阅读
1、多节点集群架构设计后续介绍的hadoop多节点集群由三台计算机构成:一台主节点为master，两台从节点为slave1、slave2。master节点上主要运行namenode、Resourcemanager 进程；slave节点上运行datanode、nodemanager进程。 由于大家一般只有一台计算机，因此我们使用虚拟机软件VMware workstat
转载
2023-08-16 19:00:03
252阅读
参考链接 Hadoop 完全分布式安装 ZooKeeper 集群的安装部署 0. 说明 在 Hadoop 完全分布式安装 & ZooKeeper 集群的安装部署的基础之上进行 Hadoop 高可用(HA)的自动容灾配置 Hadoop 高可用 High Availabl
转载
2024-04-18 15:02:51
191阅读
文章目录一、准备条件二、宿主机环境1.创建几个目录2.然后编写脚本 vi backup.sh3.SCP灾备三、docker 环境1.创建脚本文件 vi backup.sh2.SCP进行灾备3.编写清除旧数据脚本 backup_clean.sh4.设置定时任务5.注意 日常业务运行中常常因为机器故障或失误操作导致mysql数据丢失或损坏, 轻则造成业务中断或用户流失, 重则造成财产损失。 那么my
转载
2024-03-21 09:43:32
107阅读
## 大数据Hadoop集群灾备方案
### 介绍
在当今互联网时代，数据量呈指数级增长，对于大数据的处理成为了一项重要的任务。Hadoop作为一个可靠且可扩展的分布式计算框架，被广泛应用于大数据处理和分析。然而，对于大数据集群而言，灾备方案是一个必不可少的考虑因素。本文将介绍Hadoop集群的灾备方案，并给出相应的代码示例。
### 集群架构
Hadoop集群通常由多个节点组成，包括主节
原创
2023-12-23 08:39:57
176阅读
概述最近看各种分布式组件的容错机制看得有点晕，所以打算理一理，类比学习一下。本篇博文就对HDFS的容错进行简单归纳。如有错误，敬请指出。 Hadoop的两个重要组件是MapReduce和HDFS，一个提供分布式计算能力，一个提供分布式存储能力。HDFS可以通过廉价机器搭建大规模集群，获得海量数据的分布式存储能力。对于廉价机器而言，出现网络故障、节点失效、数据损坏现象的频率并不低，所以在故障之后如何
转载
2024-01-03 15:32:53
112阅读
Hadoop三种运行方式：单节点方式（单台）、单机伪分布方式（一个节点的集群）与完全分布式（多台组成集群）下面以hadoop完全分布式为例，Hadoop 集群的安装配置大致为如下流程:假设需要搭建1 Master，1 Slave1.网络配置2.安装JDK3.创建专门用户hadoop，配置ssh免登录4.Master安装hadoop文件，修改配置文件，拷贝到其他Slave机器上5.启动haoop具体
转载
2023-09-14 14:02:25
94阅读
华为云分布式缓存服务DCS，具有强大的功能，现在小编教大家如何在DCS管理控制台将两个Redis主备实例建立全球灾备。建立全球灾备，会对主实例和备实例进行升级，实例进程会重启，连接会中断。同时备实例会从主实例同步数据，原有的数据会被覆盖，需要谨慎操作。创建了全球灾备后，不同区域的实例可以相互同步数据。当前，该功能只在华北、华东、华南三个区域支持，请以控制台实际情况为准。1 前提条件已经创建了主实例
转载
2024-01-22 20:01:17
54阅读
北京、广州两套redis集群环境我们的需求是将北京redis集群数据同步广州redis废话不多说 直接上代码 1、导出脚本sync_export_redis30_aof.sh sync_export_redis30_aof.sh#行数
offset=''
#端口号
port=''
#redis安装路径-测试
#install_dir="/opt/web_app/redis-
转载
2023-08-10 15:54:58
220阅读
备份的主要目的是灾难恢复，备份还可以测试应用，回滚数据修改，查询历史数据，审计等。我们将从生产运维的角度了解备份恢复的分类与方法。 在企业中数据的价值至关重要，数据保障了企业业务的运行，因此数据的安全性及可靠性是运维的重中之重，任何数据的丢失都有可能会对企业产生严重的后果。造成数据丢失的原因如下：程序错误人为错误数
转载
2023-12-14 15:10:07
222阅读
利用HDFS实现ElasticSearch7.2容灾方案目录利用HDFS实现ElasticSearch7.2容灾方案前言快照版本兼容备份集群HDFS文件系统软件下载JDK环境配置系统环境变量hadoop配置配置JAVA_HOME配置核心组件文件配置文件系统配置mapred配置 yarn-site.xml格式化文件系统启动hdfs访问ES插件安装插件下载插件安装创建仓库创建快照恢复快照备份恢复时间案
转载
2023-10-17 20:10:31
156阅读
mapreduce的过程介绍注意：下面的内容中RM=ResourceManager ,NM=NodeManagerstep 1: client -> RM这是提交job的流程，client端先向RM申请一个ApplicationId，RM进行内部处理包括资源分配，优先级设定之类的准备工作.等到ApplicationId后，client端提交程序到RM执行。 这个提交过程会指明localfil
# Hadoop NameNode 灾备实现指南
在大数据时代，Hadoop 被广泛使用存储和处理大量数据。为了确保数据的高可用性，灾备（灾难备份）措施是必不可少的。本文将详细介绍如何对 Hadoop NameNode 进行灾备，并通过代码示例和 Gantt 图来帮助你更好地理解整个流程。
## 流程概述
为了实现 Hadoop NameNode 的灾备，我们可以按照以下步骤进行操作：
|
# 如何实现Java灾备方案
## 灾备方案流程
```mermaid
flowchart TD
A(确定需求) --> B(选择灾备方案)
B --> C(搭建灾备环境)
C --> D(配置灾备策略)
D --> E(测试灾备方案)
```
## 灾备方案步骤
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 确定需求 |
| 2 |
原创
2024-03-09 04:36:36
81阅读
本章我们讨论有关Kafka集群的容错性与高可用性话题在Kafka中，复制的单元是分区，每一个主题中都有一个或者多个分区，每个分区都有一个领导者以及若干个追随者。当创建主题之后，需要指定分区及复制因子，常见的复制因子通常是3，即一个领导者，两个追随者。在Kafka集群中，所有的读写操作都会路由到领导者，追随者只会定期从领导者请求获取最新消息，消费者并不会从追随者分区中获取消息，追随者存在的意义只在于
转载
2024-10-17 12:03:01
94阅读
灾难备份就是指利用技术、管理手段以及相关资源确保既定的关键数据、关键数据处理系统和关键业务在灾难发生后可以恢复的过程。而业务持续性管理（Business Continuity Management），是指将业务运作所面临的风险控制在最低水平，以及在业务运作中断后立即恢复业务运作的业务管理流程。如果说灾难备份关注的是数据的恢复，那么业务连续性管理关注的是所有影响组织业务持续运作的因素。2005年，在
异地备份工具Amazon Web Services’ S3 storage solution is useful for many things, and serves as the CDN for many major websites. But despite the portfolio of high-profile use cases for the service, it’s still
转载
2024-06-15 17:28:39
64阅读
随着数字化转型浪潮的迅速推进，关键基础设施的运行安全和业务连续性保证成为数字化建设的基石。云计算时代带来的资产复杂性和灾备技术多态性，给灾备能力建设、灾备资源高效利用和日常灾备运营提出了新挑战。灾备建设如何“简单又弹性”、灾备运营如何“省心且省力”？美创科技自成立以来持续耕耘灾备领域。2008年数据库灾备系统发布，2017年全业务容灾系统（DBRA）正式发布。2021年，灾备集中管控平台（DRCC
转载
2023-11-03 21:45:51
165阅读
