生而有涯而学无涯最近使用VMWare搭建了一个虚拟的Hadoop集群环境，搭建的过程中参考了很多网上大神的资料，在这里记录下本人实践的全过程，用于以后的查询参考使用，参考的资料会在文末贴出对应的链接。集群配置详情hostnameip addressos(Centos7mini)master192.168.224.100Centos7(mini)slave1192.168.224.201Centos
转载
2023-07-12 15:42:12
183阅读
CentOS6.5mini版hadoop集群搭建流程 CentOS 7 系列： 关闭防火墙：systemctl stop firewalld 禁止防火墙开
在学习的Hadoop的的过程中，首先要做的就是建立一个Hadoop的的的集群。我在搭建的过程中，除了许多问题，然后不断的查找不断的百度，通过大量的实验。不知道废了多少组虚拟机终于成功了，下面就把我搭建的过程分享出来吧。1.下载的VMware，安装虚拟机我下载的是VMware12Pro，现在好像最新的是VMware14，你们也可以下载使用。下面直接给你们一条链接吧。下咱完成后点击安装就可
转载
2023-09-11 21:56:20
1264阅读
一、虚拟机的安装（Centos 7)1.点击 Centos 7镜像 进行下载 2.安装成功后，利用克隆再克隆两个作为slave1和slave2进行搭建 3. 利用 ifconfig命令，获取三个虚拟机的IP地址：二、搭建集群配置主节点名（master) 在命令行中输入： vi /etc/sysconfig/network 添加一下内容：NETWORKING=yes
HOSTNAME=master配
转载
2023-09-21 22:48:33
166阅读
文章目录三台虚拟机的集群节点规划搭建环境准备搭建Hadoop HA集群配置core-site.xml文件配置hdfs-site.xml文件配置mapred-site.xml文件配置yarn-site.xml文件配置slaves文件配置hadoop-env.sh文件分发目录初次启动Hadoop HA集群步骤效果验证问题 三台虚拟机的集群节点规划服务器Name NodeData NodeResour
转载
2023-07-12 15:19:19
68阅读
第一部分：准备Linux环境创建虚拟机安装系统的步骤在这里就不讲了，详细步骤请看本人其他文章打开建好的虚拟机一、修改Hostname1、临时修改hostnamehostnamebigdata-01.liu.com这种修改方式，系统重启后就会失效2、永久修改hostnamevim/etc/sysconfig/network打开后编辑如下内容NETWORKING=yes#使用网络HOSTNAME=bi
原创
2018-08-26 20:46:52
4171阅读
点赞
微信公众号：小康新鲜事儿
文章目录
一、集群规划
二、前置条件
三、集群配置
3.1 主节点基础网络配置
3.2 配置映射
3.3 根据主节点hadoop01克隆两份系统
3.4 修改各个从节点网络配置
3.5 配置主从节点免密登录
3.5.1 生成密匙
3.5.2 复制公钥
3.5.3 验证免密登录
3.5.4 Gif动图演示
3.
原创
2021-12-08 10:55:38
450阅读
hadoop大数据集群环境搭建步骤----安装伪分布式所需软件: vmware workstation 11.0 jdk1.7.0_67 hadoop-2.7.3 filezilla F
原创
2017-02-20 11:12:46
695阅读
点赞
1 hadoop集群规划 1.1 共有A、B、C 三台机器; 1.2 A 作为master,B作为slave1,C作为slave2; 1.3 IP A :192.168.1.103;B:192.168.1.104;C:192.168.1.101; 1.4
转载
2013-06-23 17:08:00
68阅读
2评论
在Kubernetes（K8S）上搭建Hadoop集群环境是一个非常实用的技能，可以帮助您更高效地管理和运行大规模数据处理任务。下面我将向您详细介绍如何在K8S上搭建Hadoop集群环境。
### 步骤概览
下面是在K8S上搭建Hadoop集群环境的步骤概览：
| 步骤 | 内容 |
| --- | --- |
| 1 | 部署K8S集群 |
| 2 | 创建PV和PVC |
| 3 | 部
原创
2024-04-25 10:14:34
58阅读
文章目录1. HA 机制2. HDFS-HA集群的搭建部署步骤总述1.JN配置2.NN3. 手动切换HA4. 启动DN5. ZK和ZKFC3. Federation集群搭建 1. HA 机制HA：High Available，高可用在Hadoop 2.0之前,在HDFS 集群中NameNode 存在单点故障 (SPOF：A Single Point of Failure)。对于只有一个 Name
转载
2024-01-13 04:05:20
101阅读
1. 匹配主机名 2.下载安装hadoop 3. 配置Hadoop环境 4. 启动Hadoop环境 5. Hadoop初体验 建议先整体浏览一遍再做 （关于创建虚拟机的操作日后有需要的话我再补上）1. 匹配主机名 先查看主机名： 修改主机名（永久）： 接下来修改两个克隆机的主机名：2.下载安装Hadoop下载好Hadoop后，在software中用rz命令上传压缩包，再到servers文
转载
2023-09-14 14:00:10
679阅读
本文主要总结了Hadoop集群搭建的过程，内容包括发行版本说明、Hadoop集群简介、服务器准备、网络环境准备、服务器系统设置以及JDK 环境安装。有学习需要的小伙伴一起来看看吧~ 1、发行版本说明 Hadoop 发行版本分为开源社区版和商业版。社区版是指由 Apache 软件基金会维护的版本，是官方维护的版本体系。 商业版 Hadoop 是指由第三方商业公司在社区版 Hadoop 基础上
转载
2021-04-20 21:14:14
1219阅读
2评论
搭建Hadoop集群 一、实验目的与要求学习和掌握Hadoop的相关应用，首先必须得学会搭建Hadoop集群。本次实验将针对Hadoop集群的搭建内容进行演练。学会虚拟机的安装和克隆，Linux系统的网络配置和SSH配置，Hadoop集群的搭建和配置，Hadoop集群测试，熟悉Hadoop集群基本的操作。要求：1、认真理解集群搭建过程，通过实践成功搭建Hadoop集群。2、结合实践内容和
转载
2023-07-13 18:08:10
891阅读
上面的四五两期讲述了如何将Hadoop部署在一台机器上，以及如何部署在多台机器上。由于本人之前的博客都是直接看视频，然后把视频中讲的要点记录下来，然后发在这里与大家分享，并未亲自进行实验，因此心里一直以为憾事。所以在继续进行下面的课程之前，我先按照前面的博客搭建了一下Hadoop的实验环境。并且将一些要点记录下来：一. 在一台机器上安装Hadoop实验环境针对在一台机器上搭建Hadoop的实验环境
转载
2023-07-25 20:14:58
230阅读
Spark是通用的基于内存计算的大数据框架，可以和hadoop生态系统很好的兼容，以下来部署Spark集群 集群环境：3节点 Master:bigdata1 Slaves:bigdata2,bigdata3 Master负责任务的分发，与集群状态的显示 Slaves运行具体的Worker任务，最后交由Executor执行任务代码 集群搭建之前，必须满足如下条件： 1、集群主机名和hosts文件映射
转载
2023-07-25 00:21:02
208阅读
spark环境，hadoop集群搭建环境准备因为Ubuntu服务器在国外，可能国内访问下载速度较慢，因此可以换成阿里源，通过以下命令对源进行更换阿里源地址：http://mirrors.aliyun.com/ubuntu/dists/查看当前系统的代号lsb_release -a# 1、备份原来的源cp -ra /etc/apt/sources.list /etc/apt/sources.list.bak# 2、修改/etc/apt/sources.list文件，可将原来的内容删除或注
原创
2021-07-22 09:56:22
330阅读
spark环境，hadoop集群搭建
环境准备
因为Ubuntu服务器在国外，可能国内访问下载速度较慢，因此可以换成阿里源，通过以下命令对源进行更换
阿里源地址：http://mirrors.aliyun.com/ubuntu/dists/
查看当前系统的代号
lsb_release -a
# 1、备份原来的源
cp -ra /etc/apt/sources.list /etc/apt/s
原创
2021-08-01 11:45:01
378阅读
写在开头：之前搭建hadoop的开发环境的时候，可以算是花了很多的经历，网上的方法都是新建一个用户，导致现在我再要使用的时候，需要将环境重新搭建，所有就写了这篇博客，记录一下第二次搭建hadoop开发环境的过程。 准备工作：1.Ubuntu Linux14.04系统 2.Eclipse4.5.2 3.hadoop1.0.4 4.hadoop1.0.4-eclipse插件 5.jdk7(v
spark环境，hadoop集群搭建环境准备因为Ubuntu服务器在国外
原创
2022-01-19 10:17:32
310阅读
