文章目录1. HA 机制2. HDFS-HA集群的搭建部署步骤总述1.JN配置2.NN3. 手动切换HA4. 启动DN5. ZK和ZKFC3. Federation集群搭建 1. HA 机制HA：High Available，高可用在Hadoop 2.0之前,在HDFS 集群中NameNode 存在单点故障 (SPOF：A Single Point of Failure)。对于只有一个 Name
转载
2024-01-13 04:05:20
101阅读
二:hadoop集群搭建1:Hadoop集群简介绍hadoop集群具体包含两个集群,HDFS集群和YARN集群,两者逻辑上分离,但是物理上关联HDFS集群负责海量数据的存储,其主要角色有NameNode. DateNode SecondaryNameNodeYARN集群负责海量数据运算时的资源调度,集群中的角色主要有:ResoureeManager,NodeManagermapreduce其实是一
转载
2023-07-21 14:59:42
95阅读
第一部分：准备Linux环境创建虚拟机安装系统的步骤在这里就不讲了，详细步骤请看本人其他文章打开建好的虚拟机一、修改Hostname1、临时修改hostnamehostnamebigdata-01.liu.com这种修改方式，系统重启后就会失效2、永久修改hostnamevim/etc/sysconfig/network打开后编辑如下内容NETWORKING=yes#使用网络HOSTNAME=bi
原创
2018-08-26 20:46:52
4171阅读
点赞
微信公众号：小康新鲜事儿
文章目录
一、集群规划
二、前置条件
三、集群配置
3.1 主节点基础网络配置
3.2 配置映射
3.3 根据主节点hadoop01克隆两份系统
3.4 修改各个从节点网络配置
3.5 配置主从节点免密登录
3.5.1 生成密匙
3.5.2 复制公钥
3.5.3 验证免密登录
3.5.4 Gif动图演示
3.
原创
2021-12-08 10:55:38
450阅读
hadoop大数据集群环境搭建步骤----安装伪分布式所需软件: vmware workstation 11.0 jdk1.7.0_67 hadoop-2.7.3 filezilla F
原创
2017-02-20 11:12:46
695阅读
点赞
1 hadoop集群规划 1.1 共有A、B、C 三台机器; 1.2 A 作为master,B作为slave1,C作为slave2; 1.3 IP A :192.168.1.103;B:192.168.1.104;C:192.168.1.101; 1.4
转载
2013-06-23 17:08:00
68阅读
2评论
在Kubernetes（K8S）上搭建Hadoop集群环境是一个非常实用的技能，可以帮助您更高效地管理和运行大规模数据处理任务。下面我将向您详细介绍如何在K8S上搭建Hadoop集群环境。
### 步骤概览
下面是在K8S上搭建Hadoop集群环境的步骤概览：
| 步骤 | 内容 |
| --- | --- |
| 1 | 部署K8S集群 |
| 2 | 创建PV和PVC |
| 3 | 部
原创
2024-04-25 10:14:34
58阅读
一、虚拟机的安装（Centos 7)1.点击 Centos 7镜像 进行下载 2.安装成功后，利用克隆再克隆两个作为slave1和slave2进行搭建 3. 利用 ifconfig命令，获取三个虚拟机的IP地址：二、搭建集群配置主节点名（master) 在命令行中输入： vi /etc/sysconfig/network 添加一下内容：NETWORKING=yes
HOSTNAME=master配
转载
2023-09-21 22:48:33
166阅读
Hadoop笔记基本思想分布式存储如果有1T数据需要存储？1.先将整个数据按照一定规则进行切分2.将切分的数据存放在多台电脑上3.记录存储位置以及相应的数据的信息4.考虑后续使用时，快速加载并能够正常使用 5.Hadoop版本为2.7.6HADOOP组件HDFS：主要用于做数据存储mapreduce：主要用于分布式计算yarn：主要用于做资源调度（1.X中和MapReduce融合在一起，
转载
2023-07-26 15:58:35
48阅读
一、集群规划这里搭建一个3节点的Hadoop集群，其中三台主机均部署DataNode和NodeManager服务，但只有hadoop001上部署NameNode和ResourceManager服务。二、前置条件Hadoop的运行依赖JDK，需要预先安装。其安装步骤单独整理至：Linux下JDK的安装三、配置免密登录3.1生成密匙在每台主机上使用ssh-keygen命令生成公钥私钥对：ssh-key
原创
2019-09-16 08:55:44
1549阅读
一.三台虚拟机关闭防火墙查看防⽕火墙状态 systemctl status firewalld二.三台机器器关闭selinuxvi /etc/selinux/config三.三台机器免密登录1.配置hostname与IP映射 --上篇文章已经讲过了，不再赘述。2.在所有主机上创建⽬目录并赋予权限 mkdir /root/.ssh chmod 700 /root/.ssh 3.第三步，在三台机器
转载
2021-04-20 21:13:59
314阅读
2评论
spark环境，hadoop集群搭建环境准备因为Ubuntu服务器在国外，可能国内访问下载速度较慢，因此可以换成阿里源，通过以下命令对源进行更换阿里源地址：http://mirrors.aliyun.com/ubuntu/dists/查看当前系统的代号lsb_release -a# 1、备份原来的源cp -ra /etc/apt/sources.list /etc/apt/sources.list.bak# 2、修改/etc/apt/sources.list文件，可将原来的内容删除或注
原创
2021-07-22 09:56:22
330阅读
spark环境，hadoop集群搭建
环境准备
因为Ubuntu服务器在国外，可能国内访问下载速度较慢，因此可以换成阿里源，通过以下命令对源进行更换
阿里源地址：http://mirrors.aliyun.com/ubuntu/dists/
查看当前系统的代号
lsb_release -a
# 1、备份原来的源
cp -ra /etc/apt/sources.list /etc/apt/s
原创
2021-08-01 11:45:01
378阅读
在搭建hadoop集群之前的基础准备操作
原创
2021-07-13 14:09:22
133阅读
写在开头：之前搭建hadoop的开发环境的时候，可以算是花了很多的经历，网上的方法都是新建一个用户，导致现在我再要使用的时候，需要将环境重新搭建，所有就写了这篇博客，记录一下第二次搭建hadoop开发环境的过程。 准备工作：1.Ubuntu Linux14.04系统 2.Eclipse4.5.2 3.hadoop1.0.4 4.hadoop1.0.4-eclipse插件 5.jdk7(v
spark环境，hadoop集群搭建环境准备因为Ubuntu服务器在国外
原创
2022-01-19 10:17:32
310阅读
Hadoop集群环境安装部署
原创
2015-09-30 00:47:25
706阅读
点赞
在搭建集群之前的基础准备操作
原创
精选
2023-10-19 14:03:03
272阅读
在大数据领域，Hadoop是一个被广泛使用的分布式计算框架，用于处理大规模数据集。而在搭建Hadoop集群环境时，Linux操作系统往往是首选。在本文中，我们将介绍如何在Linux系统上搭建Hadoop集群环境。
首先，要搭建Hadoop集群环境，我们需要确保我们已经安装了Linux操作系统。在Linux中，一种常用的发行版是Red Hat系列的操作系统，比如红帽企业版(RHEL)。红帽企业版提
原创
2024-05-07 10:52:25
32阅读
# 如何在Linux上删除Hadoop集群环境
在处理Hadoop集群时，可能会因为各种原因需要删除整个集群环境。无论是需要升级，还是从头开始配置一个新集群，正确的方法和步骤都是至关重要的。本文将详细指导你如何在Linux上删除Hadoop集群环境，涵盖流程、步骤以及必要的代码示例。
## 删除Hadoop集群的步骤流程
以下是删除Hadoop集群的主要流程，步骤清晰。
| 步骤
原创
2024-09-14 06:11:44
88阅读
