Table of ContentsHDFS高可用性介绍背景HA实现Quorum-based存储自动故障转移关于HDFS HA的一般问题“Operation category READ/WRITE is not supported in state standby”是什么意思?为HDFS HA配置硬件开启HDFS HA使用 Cloudera 管理器启用 HDFS HA启用高可用性和自动故障转移Fen
转载
2024-03-18 10:40:23
138阅读
一、HAWQ高可用简介 HAWQ作为一个传统数仓在Hadoop上的替代品，其高可用性至关重要。通常硬件容错、HAWQ HA、HDFS HA是保持系统高可用时需要考虑并实施的三个层次。另外实时监控和定期维护，也是保证集群所有组件健康的必不可少的工作。 总的来说，HAWQ容错高可用的实现方式包
转载
2024-06-21 22:41:48
117阅读
作为一个服务提供者，高可用是一个不得不说的话题，那么今天我们就来聊一聊 HDFS 的高可用，我们主要从以下几点来简单说一说：什么是高可用？HDFS的高可用的决定性因素是什么？HDFS 高可用方案？高可用是什么？要聊高可用，我们先来了解下以下两个概念：什么是高可靠？ 正常运行时间能够满足预计时间我们称为高可靠，可以用，平均无故障可用时间来衡量。什么是可维护性？ 一个系统从故障状态恢复到可用状态的难以
转载
2024-06-05 13:08:42
33阅读
手动故障切换到备用NameNode使用Cloudera Manager手动故障转移到备用NameNode如果您正在运行启用了HA的HDFS服务，则可以手动使活动的NameNode故障切换到备用NameNode。这对计划中的停机时间很有用 - 用于主要主机的硬件更改，配置更改或软件升级。 1.转到HDFS服务。 2.单击实例选项卡。 3.点击联合和高可用性。 4.找到要在NameNode上进
转载
2024-03-20 20:39:15
51阅读
一. HDFS的参数配着 1. 修改HDFS的权限检查配置关闭HDFS中的权限检查：dfs.permissions。 2. 配置Hadoop支持LZO 点击主机，在下拉菜单中点击Parcel 点击配置 找到远程Parcel存储库URL，点击最后一栏的加号，增加一栏，输入 &nb
转载
2024-04-24 17:15:24
85阅读
HDFS高可用对于保证NameNode元数据的一致性和编辑日志的安全性，采用Zookeeper来存储编辑日志文件。两个NameNode一个是Active状态的，一个是Standby状态的，一个时间点只能有一个Active状态的。NameNode提供服务,两个NameNode上存储的元数据是实时同步的，当Active的NameNode出现问题时，通过Zookeeper实时切换到Standby的Nam
转载
2024-05-01 21:53:21
40阅读
前期准备
配置hosts
192.168.245.105 scm-node1
192.168.245.106 scm-node2
192.168.245.107 scm-node3设置hostname
在192.168.245.105上执行
sudo hostnamectl --static --transient set-hostname scm-node1
在192.168.245.106
转载
2024-05-11 22:51:57
54阅读
Hadoop的高可用安装本文主要讲hadoop的高可用安装过程以及一些本人在安装过程中遇到的错误和解决方法。1.HA安装方案2.分发jdk到node04，05，06scp jdk-7u67-linux-x64.rpm node04:`pwd`
scp jdk-7u67-linux-x64.rpm node05:`pwd`
scp jdk-7u67-linux-x64.rpm node06:`pwd
转载
2024-06-09 09:52:11
75阅读
集群部署情况HOSTJNNNSNNDNZKFCZKnode01##--#-node02######node03#--#-#node04---#-#基础操作环境centos7.5 jdk1.8 zookeeper 3.7.1 hadoop 2.6.5基础设施安装jdk基本操作，不会的自行百度。关闭防火墙systemctl stop firewalld
systemctl disable firew
转载
2024-04-19 17:41:04
51阅读
# CDH 中设置 HDFS 高可用 Hive 的指南
在现代数据处理场景中，数据存储的可靠性与可用性至关重要。Hadoop 的分布式文件系统（HDFS）提供了高吞吐量的数据访问，但为了确保其高可用性，我们常常需要实施一些特定的配置。
本文将通过具体的实例说明如何在 CDH（Cloudera Distribution including Apache Hadoop）中配置 HDFS 的高可用性
原创
2024-09-25 07:54:00
125阅读
CDH版本HADOOP2.6.0高可用集群搭建一、安装包准备hadoop-2.6.0-cdh5.16.2.tar jdk-8u45-linux-x64 zookeeper-3.4.5-cdh5.16.2.tar二、集群规划hadoop01 hadoop02 hadoop03三、搭建过程1、3台虚拟机配置，以第一台为例**1.1 ip设置[root@hadoop01 ~]# vi /etc/sysc
转载
2023-09-03 16:25:18
94阅读
第三章 大数据环境搭建之之CDH6.3.2单节点安装1、安装前环境准备非常重要：强烈建议内存分配为8G，否则可能无法启动（1）虚拟机：Centos7.0（2）JDK：1.8（3）mysql：（4）cdh：6.3.2（5）安装用户：使用root用户安装一定要使用root安装，因为会涉及到很多日志文件等一系列权限问题2、打开hadoop模板并克隆2.1、VM打开Hadoop模板（1）解压hadoop1
转载
2024-05-15 15:18:57
373阅读
CentOS7搭建CDH5.16.2集群 HA高可用机器准备：(这里HA是对HDFS和YARN的高可用)主机名cpu内存bigdata-master018c32Gbigdata-master028c32Gbigdata-datanode018c16Gbigdata-datanode028c16Gbigdata-datanode038c16G基本软件目录（/usr/local/soft）自定义创建一
转载
2024-05-21 12:44:05
202阅读
1.概述 (1) 所谓HA（high available），即高可用（7*24小时不中断服务）。 (2) 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 (3) Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 (4) NameNode主要在以下两个方面影响HD
转载
2024-05-26 17:10:29
118阅读
前言： 如果CDH集群搭载的是Hadoop3，支持单节点内磁盘的数据均衡，那给集群节点增加磁盘是可行的。若搭载的是Hadoop2.x版本，请注意，2.x版本的Hadoop没有单节点内磁盘均衡的功能，增加的新磁盘可能只会写入很少的数据，不能实际解决集群磁盘空间不足的问题，谨记！正文： 数据仓库
转载
2024-06-27 21:12:16
63阅读
此方案包含部分实施要点，作为部署实施参考。主要针对RHEL/Centos7.x系统，其他系统可能会有不同。 主机配置章节包含了部分针对Hadoop的操作系统优化。服务版本操作系统CentOS 7Cloudera Manager6.3.1CDH6.3.2前言如果要启用FreeIPA，最好先安装ipa-server。当然在部署好集群后安装也可以。 Cloudera Manager Server节点需要
转载
2024-06-12 23:18:08
230阅读
Hadoop HA（High Available）通过同时配置两个处于Active/Passive模式的Namenode来解决上述问题，分别叫Active Namenode和Standby Namenode. Standby Namenode作为热备份，从而允许在机器发生故障时能够快速进行故障转移，同时在日常维护的时候使用优雅的方式进行Namenode切换。Namenode只能配置一主一备，不能多
转载
2024-04-05 18:56:47
26阅读
一、元数据服务高可用1.1高可用的需求故障类型：软件故障硬件故障人为故障灾难：数据中心级别不可用故障不可避免，灾难有时发生如果HDFS不可用，业务停止的损失极大，所以高可用就至关重要1.2高可用形式服务高可用有热备份：有另一个备份节点，发生故障时可直接切换冷备份：将关键性文件切换到另外位置，发生故障时通过备份数据进行恢复。故障恢复操作：人工切换自动切换人工的反应、决策时间都更长，高可用需要让系统自
转载
2024-05-18 21:37:42
99阅读
HDFS Namenode 高可用在 Hadoop 2.0.0 之前，一个集群只有一个Namenode，这将面临单点故障问题。如果 Namenode 机器挂掉了，整个集群就用不了了。只有重启 Namenode ，才能恢复集群。另外正常计划维护集群的时候，还必须先停用整个集群，这样没办法达到 7 * 24小时可用状态。Hadoop 2.0 及之后版本增加了 Namenode 高可用机制，下面详细介绍
转载
2023-08-03 23:36:29
141阅读
# 实现 CDH YARN 高可用性指南
作为一名经验丰富的开发者，我将为你详细介绍如何在CDH（Cloudera Distribution including Apache Hadoop）中实现YARN的高可用性（HA）。这能确保在一台主节点出现故障时，集群中的其他节点仍然可以正常提供服务。下面是整个过程的简化步骤和详细说明。
## 1. 高可用性部署流程概述
| 步骤 | 描述
原创
2024-09-08 06:22:37
60阅读
