1 准备工作1. 安装oracle virtualbox2. 下载centos 6.5 http://mirrors.163.com/centos/6.5/isos/i386/ 3. JRE jdk7u51 4. 虚拟机网络选择-》桥接方式 5. C:\Windows\System32\drivers\etc\hosts 虚
转载
2024-09-06 00:04:33
48阅读
Hadoop平台搭建说明
1. Hadoop节点规划
本次安装规划使用三个节点，每个节点都使用centos系统。
三个节点的hostname分别规划为：centoshadoop1、centoshadoop2、centoshadoop3（此处为本教程参数，可根据实际环境情况修改）
三个节点的ip地址分别规划为：192.168.65.57、192.168.65.58、192.168.65.59（此处
转载
2024-02-05 21:07:14
60阅读
一、前言所谓HadoopHA高可用集群就是要消灭单点故障问题，实现7 * 24小时无间断提供服务。当然想到搭建高可用前提示会搭建hadoop的分布式，最起码也要熟练搭建伪分布式。想要实现自动故障转移，需要借助Zookeeper来实现管理和检查节点的健康状态。也就是需要会搭建Zookeeper集群，本次搭建我就不在演示搭建zookeeper集群了，如果还不熟悉参考我之前的博客。如果伪分布式还不熟悉参
转载
2023-09-20 12:32:52
87阅读
1 虚拟机准备1.1 虚拟机要求三台虚拟机要求如下： 1）命名建议：hadoop+首位非零数字。（首位是零的话，shell脚本要麻烦点） 本篇命名：hadoop102、hadoop103、hadoop104. 2）关闭防火墙； 3）安装scp服务：# yum install openssh-clients４）安装rsync服务：# yum install rsync５）建立SSH无密码登陆1.2
转载
2023-08-13 10:21:17
160阅读
大家都知道，在HDFS的集群中有三类节点：NameNode、SecondaryNameNode和DataNode，同时在集群中只有一个NameNode节点，一个SecondaryNameNode节点，剩余的就都是DataNode节点(当然，集群中也可以同时存在多个SecondaryNameNode节点，但这没多大必要，一方面会增加NameNode节点的压力，使其忙于元数据的传输与接收、日志的传输与
转载
2023-10-10 22:05:35
156阅读
操作系统：CentOS 6.2Hadoop版本：1.0.3接上一篇：第一步：ssh在三个节点之间已经实现无障碍通信，不需要输入密码第二步：三个节点的Hosts配置：vim /etc/hostsnamenode的ip地址 masterdatanode的ip地址 slave1datanode的ip地址 slave2第三步：配置Hadoop的环境变量：vim /etc/profileexport HAD
转载
2023-07-20 17:07:17
103阅读
hadoop高可用HDFS搭建（三节点）一：准备工作本次搭建使用的hadoop版本是2.6.5，使用虚拟机准备三个干净的节点服务器，我们从零开始搭建。规范下三个节点的主机名分别是node003,node004,node005。1.1 搭建的节点角色分布图其中node003和node004是NameNode角色，node003,node004,node005会作为DataNode角色，node003
转载
2023-09-26 14:00:50
138阅读
&nbs
转载
2023-07-16 22:28:38
68阅读
hadoop单点搭建步骤详解：1、讲解之前，说说Hadoop的三大核心组件，HDFS,YARN,MampReduce;（1）HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。的三个节点：Namenode，Datanode，Secondary Namenode ----Namenode：守
转载
2023-07-13 11:33:46
68阅读
在Linux系统中，高可用性集群是一种关键的技术，它可以确保系统在出现故障时能够保持稳定运行。其中，使用三个节点的集群是一种常见的配置方式，可以有效提高系统的可靠性和稳定性。
在一个三节点的高可用性集群中，通常会有一个主节点和两个备用节点。主节点负责处理系统的正常运行，备用节点则在主节点故障时接管工作，确保系统的持续运行。这种配置方式可以有效避免单点故障，提高系统的可用性。
在搭建三节点高可用
原创
2024-05-22 11:13:19
91阅读
一、新建hadoop组跟用户(password：hadoop)[root@localhost home]# groupadd hadoop
[root@localhost home]# useradd -g hadoop hadoop
[root@localhost home]# passwd hadoop
Changing password for user
用三台虚拟机搭建Hadoop全分布集群
用三台虚拟机搭建Hadoop全分布集群所有的软件都装在/home/software下虚拟机系统：centos6.5jdk版本：1.8.0_181zookeeper版本：3.4.7hadoop版本：2.7.1 1.安装jdk准备好免安装压缩包放在/home/software下cd /home/softwar
Hadoop高可用搭建首先安装好xshell,Xftp-4,VMware Workstation Pro1.用VM创建四台虚拟机node01,02,03,042.传输JDK（以node02为主机）按这个图标 传输文件JDK!用JPS验证是否装好JDK（若出现not found，则进行如下操作）找JAVA的安装路径配置变量环境输入代码加载文件试一试再验证一遍，表示JDK没装好重新进入，改PATH为绝
转载
2023-09-14 14:17:07
85阅读
前言我们使用hadoop2.6.0版本配置Hadoop集群，同时配置NameNode+HA、ResourceManager+HA，并使用zookeeper来管理Hadoop集群。 (一)HDFS概述基础架构1、NameNode（Master）1)命名空间管理：命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。2)块存储管理。HA架构从上面
转载
2023-10-09 06:07:20
245阅读
一、搭建规划： hadoop 高可用集群的搭建依赖于 zookeeper，所以选取三台当做 zookeeper 集群 ，这里总共准备了八台主机(可按实际规划，不一定要这么多台)，分别是 hadoop01，hadoop02，hadoop03，hadoop04， hadoop05，zk01，zk02，zk03。其中 hadoop01 和 hadoop02 做 namenode 的主备切换，hadoop
转载
2023-07-14 15:21:59
512阅读
1.NameNode(管理节点) Namenode 管理着文件系统的命令空间(Namespace)。它维护着文件系统树以及文件树中所有的文件和文件夹的元数据(metadata)，元数据包括编辑日志(edits)和镜像文件。管理这些信息的文件有两个，分别是Namespace 镜像文件(fsimage)和编辑日志文件，编辑日志主要是记录对hdfs进行的修改。镜像文件主要是记录hdfs的文件树形结构。这
转载
2023-11-27 15:23:22
56阅读
文章目录hadoop高可用架构搭建准备环境HDFS-HA 集群配置配置 core-site.xml 文件配置 hdfs-site.xml配置 yarn-site.xml启动 HDFS-HA 集群1、启动zookeeper集群2、启动journalnode3、格式化HDFS（仅第一次启动执行）4、格式化ZKFC（仅第一次启动执行）5、启动HDFS6、测试HDFS7、启动YARN8、测试yarn-H
转载
2023-09-01 08:10:11
202阅读
什么是HA？HA是High Availability的简写,即高可用，指当当前工作中的机器宕机后，会自动处理这个异常，并将工作无缝地转移到其他备用机器上去，以来保证服务的高可用。（简言之，有两台机器，一台工作，一台备用，当工作机挂了之后，备用机自动接替。）HAdoop的HA模式是最常见的生产环境上的安装部署方式。Hadoop HA包括NameNode HA 和 ResourceManager HA
转载
2023-05-24 14:32:56
302阅读
1评论
HA集群的搭建可以在完全分布式的基础上搭建目的：减少单点故障的发生规划配置图NN1NN2DNzKZKFCJNNRMhadoop100******hadoop101******hadoop102***图中的 NN、DN、ZK、ZKFC、JNN、RM是以下简称 NN： NameNode DN：DataNode ZK：Zookeeper ZKFC：Zookeeper客户端 JNN：Journalnode
转载
2023-08-18 15:03:48
136阅读
Hadoop HA 高可用 文章目录Hadoop HA 高可用1.1 HA 概述1.2 HDFS-HA 集群搭建1.2.1 HDFS-HA 核心问题1.3 HDFS-HA 手动模式1.3.1 环境准备1.3.2 规划集群1.3.3 配置 HDFS-HA 集群1.3.4 启动 HDFS-HA 集群1.4 HDFS-HA 自动模式1.4.1 HDFS-HA 自动故障转移工作机制1.4.2 HDFS-H
转载
2023-06-14 22:26:54
109阅读
