1. 前言HDFS包含两种角色：数据节点(datanode)和名字节点(namenode)，名字节点只有一个，数据节点最多支持2000个。HDFS可以确保在硬件失效情况下数据存储的可靠性。常见的三种失败：名字节点失效, 数据节点失效和网络分割(network partitions)。HDFS将每个文件存储成block序列，除了最后一个block，所有的block都是同样的大小。文件的所有
一、单机备份/恢复MongoDB的逻辑备份/恢复1、备份步骤1）登录单机实例，将数据库锁定db.fsyncLock()2）在操作系统通过mongodump备份数据3）解除锁定db.fsyncUnlock()2、恢复步骤使用mongorestore将数据恢复MongoDB的物理备份/恢复1、备份步骤1）登录单机实例，将数据库锁定或者直接停机db.fsyncLock()2）将目录下的所有文件直接复制出
原创
2021-04-10 19:15:27
713阅读
一、dits和fsimage 首先要提到两个文件edits和fsimage，下面来说说他们是做什么的。集群中的名称节点（NameNode）会把文件系统的变化以追加保存到日志文件edits中。当名称节点（NameNode）启动时，会从镜像文件 fsimage 中读取HDFS的状态，并且把edits文件中记录的操作应用到fsimage，也就
# MySQL 备份和恢复方案实现方法
## 一、流程图
```mermaid
flowchart TD
A(开始) --> B(备份数据库)
B --> C(恢复数据库)
C --> D(结束)
```
## 二、备份和恢复方案步骤
| 步骤 | 操作 |
|-------|-------|
| 1 | 备份数据库 |
| 2 | 恢复数据库 |
一、相关概念1.备份目的防止硬件故障、软件故障、自然灾害、黑客攻击、误操作、测试场景等导致的数据丢失；2.注意要点最多能容忍丢失多少数据；恢复数据需要在多长时间内完成；需要恢复哪些数据；3.还原要点做还原测试，用于测试备份的可用性；4.备份类型1）完全备份，部分备份完全备份：备份整个数据集；部分备份：只备份数据子集，如部分库或表；2）完全备份、增量备份、差异备份完全备份：备份整个数据集；增量备份：
转载
2023-08-11 20:41:04
18阅读
MySQL常见备份方案有以下三种： mysqldump + binlog lvm + binlog xtrabackup 本例为方便演示，数据库里面数据为空。
推荐
原创
2015-10-01 17:55:39
6824阅读
点赞
2评论
当主库发生误操作时，只需要恢复备库上的快照，然后再根据binlog执行point-in-...
转载
2021-09-29 16:52:35
233阅读
HBase Backup/Restore 方案本文开始我们会介绍HBase关于Backup/Restore的方案，虽然HBase2.0的release
版本里面并不会带有该功能，但是我们ApsaraDB for
HBase会对应的提供该功能。我们经常会听到“某某某DBA误操作把整张表删了”，“某某磁盘故障，造成数据库的某个库的数据全部损坏了”。这种由于外在和内在的原因造成的数据不可靠，最终会给
原创
2021-04-01 20:19:06
1247阅读
mysql备份技巧分享
转载
2021-07-28 11:23:27
427阅读
mysql之MyISAM和InnoDB的备份及恢复策略MyISAM/InnoDB 备份策略因为在一个数据库中有可能要同时使用MyISAM和InnoDB两种引擎，因此统一考虑他们的备份/恢复策略。1、 完整备份采用mysqldump。2、 增量备份采用bin-log日志。先执行FLUSH LOGS刷新日志，同步日志缓存到磁盘，关闭当前的日志并产生新的日志文件。然后拷贝上一次完整备份到一个安全的地方。
在公司中备份的策略并不是千篇一律的，而是根据每个企业 的实际生产环境与业务需求制定合适的备份策略。无论是选择完全备份还是增量备份，都需要考虑它们的优缺点，是否适合当前的生产环境。同时为了保证恢复的完整性，建议开启二进制日志功能，二进制日志文件给恢复工作带来了很大的灵活性，可以基于时间点或位置进行恢复，考虑到数据库性能，可以将二进制日志文件保存在其他安全的硬盘中。在进行热备时，备份操作和应用服务在同
转载
2023-08-10 19:52:44
139阅读
备份shell> mysqldump --single-transaction --flush-logs --master-data=2 \--all-databases --delete-master-logs > backup_sunday_1_PM.sql--single-transaction 使用事务在线备份--flush-logs 在备份时开启新的bin log文件，这样保
转载
2023-06-12 23:24:25
111阅读
文 | 沉默恶魔关注公众号：AWS爱好者微信号：chenmoemo前面我们介绍了关于Disaster Recovery (DR)的内容包括：Disaster Recovery (DR) 灾难恢复的定义和内容概述恢复时间目标（RTO） 和 恢复点目标（RPO）与灾难恢复（DR）相关的AWS功能和服务-1与灾难恢复（DR）相关的AWS功能和服务-2与灾难恢复（DR
转载
2022-01-06 09:13:53
530阅读
1.导入概念在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用 import 关键字。2.增量导入当在生产环境中，我们可能会定期从与业务相关的关系型数据库向Hadoop导入数据，导入数仓后进行后续离线分析。这种情况下我们不可能将所有数据重新再导入一遍，所以此时需要数据增量导入。增量导入数据分为两种方式：基于递增列
MySQL数据库增量备份及恢复方案 u 前言 操作系统崩溃、电源故障、文件系统崩溃和硬件故障等异常状况都可能导致我们正在使用的数据库出现故障而产生数据库中数据不一致的情况。为了保证数据库使用安全，必须定期备份数据库；数据库备份可以分为：完全备份、日志备份、增量备份和文件备份。对于一个大
转载
2023-09-15 00:44:11
43阅读
mysql备份灵活恢复服务上线遇到一个问题，开始操作前做了全库备份，但是没有做要操作的库备份，如果操作过程出现失败情况需要回退时，直接用全备文件做全库恢复很不妥当。通过mysql的全备份文件，可以比较灵活的筛选出某个单独的 库或者单独的表的备份内容，从而灵活的恢复。同时，也可以直接用全备文件恢复单独的库。下面记录一下这些操作方式。从全备份文件中恢复指定库在/opt/目录下有一个full_bak.s
1.HDFS高可用对于HDFS ，NN存储元数据在内存中，并负责管理文件系统的命名空间和客户端对HDFS的读写请求。但是，如果只存在一个NN，一旦发生“单点故障”，会使整个系统失效。虽然有个SNN，但是它并不是NN的热备份因为SNN无法提供“热备份”功能，在NN故障时，无法立即切换到SNN对外提供服务，即HDFS处于停服状态。HDFS2.x采用了HA（High Availability高可用）架构
目录 背景：所需知识：坏块处理：批量删除坏块总结：未解决疑问：背景：测试环境今天有人反馈有DataNode节点挂掉有部分block不能用的问题，看了下确实active的NN页面显示有52336个坏块，且看datanode节点列表有个节点是Dead状态，不过仔细一看发现stanby的NN的页面里该DataNode是正常的。所需知识：坏块：corruptReplicas，损坏的块
u 前言 操作系统崩溃、电源故障、文件系统崩溃和硬件故障等异常状况都可能导致我们正在使用的数据库出现故障而产生数据库中数据不一致的情况。为了保证数据库使用安全，必须定期备份数据库；数据库备份可以分为：完全备份、日志备份、增量备份和文件备份。对于一个大型数据库，频繁执行完全备份可能会需要太多的时间
原创
2016-03-17 10:25:38
2025阅读
点赞
2评论
一、持久化配置■RBD和AOF建议同时打开（Redis4.0之后支持）■RDB做冷备，AOF做数据恢复（数据更可靠）■RDB采取默认配置即可，AOF推荐采取everysec每秒策略AOF和RDB还不懂的，请转移到如下几篇：看完这篇还不懂Redis的RDB持久化，你们来打我！天天在用Redis，那你对Redis的AOF持久化到底了解多少呢？二、数据备份方案1、需求我们需要定时备份rdb文件来做冷备，
原创
2021-05-04 20:01:42
151阅读
