一. HDFS的参数配着 1. 修改HDFS的权限检查配置关闭HDFS中的权限检查：dfs.permissions。 2. 配置Hadoop支持LZO 点击主机，在下拉菜单中点击Parcel 点击配置 找到远程Parcel存储库URL，点击最后一栏的加号，增加一栏，输入 &nb
转载
2024-04-24 17:15:24
85阅读
Table of ContentsHDFS高可用性介绍背景HA实现Quorum-based存储自动故障转移关于HDFS HA的一般问题“Operation category READ/WRITE is not supported in state standby”是什么意思?为HDFS HA配置硬件开启HDFS HA使用 Cloudera 管理器启用 HDFS HA启用高可用性和自动故障转移Fen
转载
2024-03-18 10:40:23
138阅读
一、HAWQ高可用简介 HAWQ作为一个传统数仓在Hadoop上的替代品，其高可用性至关重要。通常硬件容错、HAWQ HA、HDFS HA是保持系统高可用时需要考虑并实施的三个层次。另外实时监控和定期维护，也是保证集群所有组件健康的必不可少的工作。 总的来说，HAWQ容错高可用的实现方式包
转载
2024-06-21 22:41:48
117阅读
作为一个服务提供者，高可用是一个不得不说的话题，那么今天我们就来聊一聊 HDFS 的高可用，我们主要从以下几点来简单说一说：什么是高可用？HDFS的高可用的决定性因素是什么？HDFS 高可用方案？高可用是什么？要聊高可用，我们先来了解下以下两个概念：什么是高可靠？ 正常运行时间能够满足预计时间我们称为高可靠，可以用，平均无故障可用时间来衡量。什么是可维护性？ 一个系统从故障状态恢复到可用状态的难以
转载
2024-06-05 13:08:42
33阅读
手动故障切换到备用NameNode使用Cloudera Manager手动故障转移到备用NameNode如果您正在运行启用了HA的HDFS服务，则可以手动使活动的NameNode故障切换到备用NameNode。这对计划中的停机时间很有用 - 用于主要主机的硬件更改，配置更改或软件升级。 1.转到HDFS服务。 2.单击实例选项卡。 3.点击联合和高可用性。 4.找到要在NameNode上进
转载
2024-03-20 20:39:15
51阅读
HDFS高可用对于保证NameNode元数据的一致性和编辑日志的安全性，采用Zookeeper来存储编辑日志文件。两个NameNode一个是Active状态的，一个是Standby状态的，一个时间点只能有一个Active状态的。NameNode提供服务,两个NameNode上存储的元数据是实时同步的，当Active的NameNode出现问题时，通过Zookeeper实时切换到Standby的Nam
转载
2024-05-01 21:53:21
40阅读
Hadoop的高可用安装本文主要讲hadoop的高可用安装过程以及一些本人在安装过程中遇到的错误和解决方法。1.HA安装方案2.分发jdk到node04，05，06scp jdk-7u67-linux-x64.rpm node04:`pwd`
scp jdk-7u67-linux-x64.rpm node05:`pwd`
scp jdk-7u67-linux-x64.rpm node06:`pwd
转载
2024-06-09 09:52:11
75阅读
前期准备
配置hosts
192.168.245.105 scm-node1
192.168.245.106 scm-node2
192.168.245.107 scm-node3设置hostname
在192.168.245.105上执行
sudo hostnamectl --static --transient set-hostname scm-node1
在192.168.245.106
转载
2024-05-11 22:51:57
54阅读
集群部署情况HOSTJNNNSNNDNZKFCZKnode01##--#-node02######node03#--#-#node04---#-#基础操作环境centos7.5 jdk1.8 zookeeper 3.7.1 hadoop 2.6.5基础设施安装jdk基本操作，不会的自行百度。关闭防火墙systemctl stop firewalld
systemctl disable firew
转载
2024-04-19 17:41:04
55阅读
此方案包含部分实施要点，作为部署实施参考。主要针对RHEL/Centos7.x系统，其他系统可能会有不同。 主机配置章节包含了部分针对Hadoop的操作系统优化。服务版本操作系统CentOS 7Cloudera Manager6.3.1CDH6.3.2前言如果要启用FreeIPA，最好先安装ipa-server。当然在部署好集群后安装也可以。 Cloudera Manager Server节点需要
转载
2024-06-12 23:18:08
234阅读
# CDH 中设置 HDFS 高可用 Hive 的指南
在现代数据处理场景中，数据存储的可靠性与可用性至关重要。Hadoop 的分布式文件系统（HDFS）提供了高吞吐量的数据访问，但为了确保其高可用性，我们常常需要实施一些特定的配置。
本文将通过具体的实例说明如何在 CDH（Cloudera Distribution including Apache Hadoop）中配置 HDFS 的高可用性
原创
2024-09-25 07:54:00
125阅读
1. Kafka Partition Replication 功能：增加Topic分区的可用性 每个Partition分为leader和follower两部分(前提是replication factor大于1的)eg: Topic: hadoop2 Partition: 0 Leader: 3 Replicas:
转载
2024-04-12 09:19:21
146阅读
一、概要 本文记录hbase高可用集群部署过程，在部署hbase之前需要事先部署好hadoop集群，因为hbase的数据需要存放在hdfs上，hadoop集群的部署后续会有一篇文章记录，本文假设hadoop集群已经部署好，分布式hbase集群需要依赖zk，并且zk可以是hbase自己托管的也可以是我们自己单独搭建的，这里我们使用自己单独搭建的zk集群，
原创
精选
2017-05-10 16:33:18
10000+阅读
点赞
部署 HBase 的高可用性（HA）环境是一项重要的任务，尤其是在使用 Cloudera Distribution for Hadoop（CDH）时。本文将详细介绍如何在 CDH 环境中部署高可用的 HBase，并提供一个清晰的步骤流程和代码示例。
## 部署流程概述
以下是 HBase 高可用性部署的基本步骤：
| 步骤 | 描述 | 所需时间 |
概览1.集群规划 2.准备 3.修改Hadoop配置文件 4.复制内容 5.启动集群 6.查看jps 7.测试1.集群规划HDFS HA背景HDFS集群中NameNode 存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。影响HDFS集群不可用主要包括以下两种情况：一是NameNode机器宕机
转载
2024-04-19 11:56:32
233阅读
CDH版本HADOOP2.6.0高可用集群搭建一、安装包准备hadoop-2.6.0-cdh5.16.2.tar jdk-8u45-linux-x64 zookeeper-3.4.5-cdh5.16.2.tar二、集群规划hadoop01 hadoop02 hadoop03三、搭建过程1、3台虚拟机配置，以第一台为例**1.1 ip设置[root@hadoop01 ~]# vi /etc/sysc
转载
2023-09-03 16:25:18
94阅读
第三章 大数据环境搭建之之CDH6.3.2单节点安装1、安装前环境准备非常重要：强烈建议内存分配为8G，否则可能无法启动（1）虚拟机：Centos7.0（2）JDK：1.8（3）mysql：（4）cdh：6.3.2（5）安装用户：使用root用户安装一定要使用root安装，因为会涉及到很多日志文件等一系列权限问题2、打开hadoop模板并克隆2.1、VM打开Hadoop模板（1）解压hadoop1
转载
2024-05-15 15:18:57
373阅读
CentOS7搭建CDH5.16.2集群 HA高可用机器准备：(这里HA是对HDFS和YARN的高可用)主机名cpu内存bigdata-master018c32Gbigdata-master028c32Gbigdata-datanode018c16Gbigdata-datanode028c16Gbigdata-datanode038c16G基本软件目录（/usr/local/soft）自定义创建一
转载
2024-05-21 12:44:05
202阅读
1.概述 (1) 所谓HA（high available），即高可用（7*24小时不中断服务）。 (2) 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 (3) Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 (4) NameNode主要在以下两个方面影响HD
转载
2024-05-26 17:10:29
118阅读
大数据之HDFS-HA高可用集群搭建1）所谓HA（High Availablity），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 4）NameNode主要在以下两个方面影响HDFS集群 NameNode
转载
2023-12-24 13:59:43
168阅读
