Hadoop 高可用(HA)的自动容灾配置
参考链接 Hadoop 完全分布式安装 ZooKeeper 集群的安装部署 0. 说明 在 Hadoop 完全分布式安装 & ZooKeeper 集群的安装部署的基础之上进行 Hadoop 高可用(HA)的自动容灾配置&
转载
2023-08-03 21:34:14
91阅读
Hdfs数据备份一、概述本文的hdfs数据备份是在两个集群之间进行的，如果使用snapshot在同一个集群上做备份，如果datanode损坏或误操作清空了数据，这样的备份就无法完全保证数据安全性。所以选择将hdfs里面的数据备份到另外的地方进行存储，选择hadoop的分布式复制工具distcp。将集群的数据备份到一个制作备份使用的集群，不要怕浪费资源，因为只是做备份使用，所以配置不要求太高，并且可
转载
2023-07-31 17:21:17
226阅读
Hadoop是什么一个提供分布式存储和计算的软件框架，具有无共享，高可用，弹性可扩展特点，适合处理海量数据1.Hadoop生态圈2.Hadoop架构2.1 HDFS2.1.1 HDFS的架构NameNode NameNode是HDFS的大脑，维护整个系统的目录树，SecondaryNameNode 帮助NameNode合并文件系统元数据Log，并负责定期备份元数据，相当于NameNode的冷备。为
转载
2024-02-03 05:09:08
55阅读
一、hdfs概述HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的简称，它的设计目标是把超大数据集存储到网络中的多台普通计算机上，并提供高可靠性和高吞吐率的服务。HDFS的优点：高容错性：数据自动保存多个副本，hdfs默认的副本数量是3适合处理大数据：能够处理GB、TP甚至BP级别的数据，能够处理百万规模以上的文件数量可构建在廉价机器上HDFS的
转载
2023-07-14 19:17:30
304阅读
首先 dfs.replication这个参数是个client参数，即node level参数。需要在每台datanode上设置。 其实默认为3个副本已经够用了，设置太多也没什么用。一个文件，上传到hdfs上时指定的是几个副本就是几个。以后你修改了副本数，对已经上传了的文件也不会起作用。可以再上传文件的同时指定创建的副本数 hadoop dfs -D dfs.replication=1 -put 7
转载
2023-08-25 17:21:41
293阅读
HDFS的概述HDFS产生背景HDFS（Hadoop Distributed File System 分布式文件系统），源自于Goole于2003年10月发表的GFS论文，是GFS的克隆版，具有如下特点： （1）易于扩展的分布式文件系统 （2）运行在大量的普通廉价机器上 （3）为大量用户提供性能不错的文件存取服务HDFS优点（1）高容错性：数据自动保存多个副本（一般默认三个），副本丢失后，会自动恢
转载
2023-11-19 11:57:12
261阅读
Facebook Hadoop HA organized by aaronwxb，04.01一些数据21 PB of storage in a single HDFS cluster200
转载
2023-12-20 10:22:24
26阅读
# Hadoop 2 默认备份数据块
在现代大数据处理领域，Hadoop 作为一个开源框架，广泛应用于大规模数据的存储和处理。其中，Hadoop Distributed File System (HDFS) 是其核心组件之一，主要负责对数据的存储管理。一个显著的特性是它自动备份数据块，以确保数据的可靠性和高可用性。
## HDFS 中的数据块
HDFS 将文件切分成多个块（默认是128MB）
## MySQL 备份数据库而不备份数据的实现方法
在开发过程中，我们常常需要对数据库进行备份以确保数据安全，而有时我们只需要备份数据库的结构（即表的定义、索引、视图、存储过程等），而不需要备份实际的数据。在本文中，我将指导你如何实现这一点。
### 一、整体流程
下面是备份MySQL数据库结构的基本步骤：
| 步骤 | 操作
原创
2024-09-09 05:44:48
121阅读
大数据配置hadoop（一）搭建Hadoop的高可用模式准备3台虚拟机:master,slave1,slave2了解什么是高可用什么的高可用HA(High Available), 高可用，是保证业务连续性的有效解决方案, 通常通过设置备用节点的方式实现; 一般分为执行业务的称为活动节点(Active)，和作为活动节点的一个备份的备用节点(Standby), 当活动节点出现问题, 导致正在运行的业务
转载
2024-02-27 15:53:40
91阅读
Hadoop分别从两个角度将主机划分为两种角色。 最基本的划分原则为Master和Slave，即主人和奴隶；第一，从HDFS的角度，将主机划分为NameNode和DataNode（在分布式文件系统中，目录的管理很重要，管理目录相当于主人，而NameNode就是目录管理者）； NameNode是主节点，存储文件的元数据如文件名
转载
2024-02-26 20:53:58
19阅读
SQL server 如何设置自动备份以下是设置SQL server 自动备份需要用到的代码 其中， ‘C:\dingshibeifen111111’ 是我设置自动备份的文件保存路径； 'UF_2019’是我要备份的数据库的命名； 各位引用代码时只需要注意修改这两个位置就可以了； 另外 BACKUP DATABASE [UF_2019] TO 中，[ ]号内的数据库是你实际要设置备份的数据库名；D
mysql服务bin目下执行： 1. 备份数据 2. 从备份文件恢复数据，需要先建立好数据库test 3. 只备份表结构 4. 备份多个数据库 导入多个库数据 5. 跨机器备份数据，源端mysql服务器src_host_ip，目标端mysql服务器dsc_host_ip 目标mysql端建立提供远程
原创
2022-01-13 14:22:40
182阅读
MySQL备份
原创
2024-04-15 16:43:18
33阅读
在Kubernetes中使用Minio进行数据备份是一种常见的做法，Minio是一个高性能的对象存储服务，可以方便地备份和存储数据。下面我将详细介绍如何在Kubernetes集群中使用Minio进行数据备份。
### 步骤概览
可以通过以下步骤来在Kubernetes中使用Minio进行数据备份：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 在Kubernetes集群
原创
2024-05-29 11:10:21
1041阅读
# .NET Core 备份数据
## 简介
在软件开发中，数据的备份是至关重要的。备份数据意味着在数据丢失或发生故障时能够恢复到之前的状态。.NET Core 是一个跨平台的开发框架，它提供了丰富的工具和功能来进行数据备份操作。本文将介绍如何使用.NET Core 进行数据备份，并提供代码示例。
## 数据备份的重要性
数据备份是一项非常重要的技术，它可以帮助我们在数据丢失、硬件故障、软
原创
2023-09-12 17:12:13
58阅读
周末去了趟外地，受托给某省移动公司(经确认更正，是中国移动位置基地，不是省公司)做了一下Hadoop集群故障分析和性能调优，把一些问题点记录下来。该系统用于运营商的信令数据，大约每天1T多数据量，20台Hadoop服务器，赞叹一下运营商乃真土豪，256G内存，32核CPU，却挂了6块2T硬盘。还有10台左右的服务器是64G内存，32核CPU，4~6块硬盘，据用户反馈，跑数据很慢，而且会有失败，重跑
转载
2024-02-16 10:29:23
25阅读
备份是我们运维人员最基本的日常工作，做好备份是稳定运维的一个重要环节。下面分享两个使用过的简单备份脚本： 1）网站数据备份将网站数据/var//vhost/.kevin.和/var//vhost/.grace.分别备份到：/Data/code-backup/
原创
2022-01-17 14:19:36
262阅读
备份是我们运维人员最基本的日常工作，做好备份是稳定运维的一个重要环节。下面分享两个使用过的简单备份脚本：1）网站数据备份将网站数据/var/www/vhost/www.kevin.com和/var/www/vhost/www.grace.com分别备份到：/Data/code-backup/www.kevin.com和/Data/code-backup/www.grace.com下。[root@h
转载
2021-04-10 19:03:25
237阅读
单独安装： yum -y install holland-mysqldump.noarch mysqldump备份简单操作：mysqldump -h[ip] -P[端口号] -u[用户名] -
转载
2020-10-15 06:19:00
212阅读
2评论
