一. HA概述1. 所谓HA（High Available），即高可用（7*24小时不中断服务）。2. 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。3. Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。4 . NameNode主要在以下两个方面影响HDFS集群 &n
转载
2023-08-21 09:13:21
90阅读
文章目录一.HDFS-HA集群配置1.配置HDFS-HA集群2.启动 HDFS-HA 集群3.配置 HDFS-HA 自动故障转移二.YARN-HA配置配置 YARN-HA 集群 一.HDFS-HA集群配置1.配置HDFS-HA集群①HDFS 高可用集群规划：请保证 Hadoop 完全分布式和 ZooKeeper 完全分布式环境已经安装完成。方法步骤在上一篇文章中：hadoop的安装配置和集群搭建
转载
2023-07-12 11:26:25
77阅读
一、手动HA。1、首先将完全分布式的配置文件备份。复制一份配置文件用来搭建HA。$ cp -r /home/betty/soft/hadoop/etc/cluster_hadoop /home/betty/soft/hadoop/etc/HA_hadoop
$ rm hadoop -------删掉之前的软连接。
$ ln -s HA_hadoop hadoop --------重新创建指向HA_
转载
2023-08-18 16:37:20
36阅读
一、HDFS-HA集群配置 1.环境准备修改IP修改主机名及主机名和IP地址的映射关闭防火墙ssh免密登录安装JDK，配置环境变量等2.规划集群 3.配置Zookeeper集群集群规划 在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。解压安装 （1）解压Zookeeper安装包到/opt/module/目录下[jinghang@hadoop102 so
转载
2023-07-12 12:09:32
141阅读
Hadoop2.x集群配置规划如下图所示： 下面开始配置HA，HA的配置是基于了上次搭建的Hadoop1.x集群，Hadoop1.x集群的规划见上图1、关闭原来的node1作为激活状态的namenode集群进入到node1操作#stop-all.sh 关闭集群
#jps 关闭后一定要使用jps查看一下进程，确认关闭了2、免秘钥登录集群原因很简单，就是为
转载
2023-07-25 00:14:42
70阅读
1 Hadoop HA架构详解1.1 HDFS HA背景HDFS集群中NameNode 存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。影响HDFS集群不可用主要包括以下两种情况：一是NameNode机器宕机，将导致集群不可用，重启NameNode之后才可使用；二是计划内
遇到的问题如下：
网上的帖子一般比较重步骤，每一步都很详细，但没有说明为什么，读者容易因为不知道为什么，而忽视一些问题，安装出错也不知道如何解决。所以写上一些为什么还是必要的。
1.SSH问题
1）集群配置中需要配置Master和Slave间的ssh无密码访问。需要的是master能够无密码访问slave中的每台机器，slave也能无密码访问mast
Hadoop HA架构详解HDFS HA背景影响HDFS集群不可用主要包括以下两种情况：一是NameNode机器宕机，将导致集群不可用，重启NameNode之后才可使用；二是计划内的NameNode节点软件或硬件升级，导致集群在短时间内不可用。为了解决上述问题，Hadoop给出了HDFS的高可用HA方案：HDFS通常由两个NameNode组成，一个处于active状态，另一个处于standby状态
hadoop完全分布式集群有一般集群和HA高可用集群一般集群只有一个namenode节点，当namenode节点出现故障时，整个集群将无法使用。因此，相对的出现了HA集群HA集群具有主备切换机制，有两个namenode节点，active/standby namenode，两个节点元数据同步，当active namenode节点出现宕机时，standby namenode节点快速拉起，切换
转载
2023-05-18 17:14:19
91阅读
一、安装将Hadoop安装包上传到/usr/local目录下解压cd /usr/local/
tar -zxvf hadoop-2.6.0.tar.gz目录说明：bin 执行文件目录etc Hadoop 配置文件都在此目录include 包含 C 语言接口开发所需头文件lib 包含 C 语言接口开发所需链接库文件libexec 运行 sbin 目录中的脚本会调用
转载
2023-08-18 20:40:34
43阅读
这里简单总结一下自己在配置Hadoop完全分布式以及namenode的HA的步骤及遇到的问题和解决方法。 错误的地方还请大家指出。 namenode的HA（high availability）如下图 将namenode的元数据存储在多个journalnode组成的集群中。active namenode 与 standbynamenode的元数据是相同 的并且是同时实时更新的
Hadoop HA集群的搭建序言1、JDK的安装2、环境变量的配置3、映射主机名与IP地址3.1修改主机名(其它四台虚拟机也是要修改为对应的hostname)3.2修改hosts文件(每台虚拟机都要配置)3.3ping主机名4、分发配置信息到各个虚拟机5、配置SSH无秘钥连接6、同步虚拟机的时间7、安装zookeeper(安装在slave结点)8、安装Hadoop8.1解压安装包8.2修改配置文
转载
2023-07-12 11:16:58
55阅读
03 离线利器：大数据离线处理工具 Hive 的常用技巧今天为你介绍数据分析师最常用的数据处理工具 Hive 的一些使用技巧。这些技巧我们在工作中使用得比较频繁，如果运用得当，将为我们省去不少时间精力。那么首先，我们先来了解下 Hive。Hive 是 Facebook 开源的一款基于 Hadoop 的数据仓库工具，它能完美支持 SQL 查询功能，将 SQL 查询转变为 MapReduce 任务执行
hadoop HA 配置文件
原创
2016-12-28 15:56:17
1488阅读
准备工作1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系 /etc/hosts4.关闭防火墙5.ssh免登陆6.安装JDK，配置环境变量等7.注意集群时间要同步集群部署节点角色的规划（3节点）------------------server01 namenode resourcemanager zkfc nodemanager datanod...
原创
2021-12-28 18:14:22
193阅读
准备工作1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系 /etc/hosts 4.关闭防火墙 5.ssh免登陆 6.安装JDK，配置环境变量等 7.注意集群时间要同步集群部署节点角色的规划（3节点）------------------server01 namenode resourcemanager zkfc nodemanager datanode
原创
2022-02-16 16:30:20
237阅读
Hive HA模式配置Kerberos
======================
在Hadoop生态系统中，Hive是一个常用的数据仓库工具，可以用来执行大规模数据分析任务。Kerberos是一种网络认证协议，用来保护Hadoop集群中的各个组件之间的通信安全。Hive HA模式是指配置Hive以在高可用性环境中运行，即如果一个Hive服务节点失败，另一个节点可以自动接管。
在本文中，我们
一、Hadoop安装前的准备工作
=================================
1、安装centOS操作系统（参考发的大数据工具中的Linux文件夹下的安装文档） 2、使用下发的大数据工具中的SSH_SFTP工具进入系统中，新建两个目录
mkdir /tools ---->用于存放软件包
mk
转载
2023-09-20 12:09:44
59阅读
这两天被hive的权限问题,折腾的不轻.记录一下Hive的基本配置我就不细说了,自行配置,网上一堆堆的.1.背景要求可以使用hdfs和hive用户操作自己创建的数据库. 权限不可乱. 要求,如下,[基本就是裸奔,没做任何配置,但依旧是坑不断.]1.hive没有设置任何权限 采用默认 NONE 2.hadoop权限体系采用默认最简单的Simple机制.3. 要求目录权限不能设置7774.
转载
2023-08-18 20:38:53
88阅读
以3台机器配置 hadoop HA 为例hadoop CDH版本：hadoop-2.6.0-cdh5.15.0.tar.gzzookeeper CDH版本：zookeeper-3.4.5-cdh5.15.0.tar.gz【前提工作】 一、配置好3台虚拟机 hosts $ vi /etc/hosts 127.0.0.1 localhost localhost.localdom
