一、虚拟机的安装（Centos 7)1.点击 Centos 7镜像 进行下载 2.安装成功后，利用克隆再克隆两个作为slave1和slave2进行搭建 3. 利用 ifconfig命令，获取三个虚拟机的IP地址：二、搭建集群配置主节点名（master) 在命令行中输入： vi /etc/sysconfig/network 添加一下内容：NETWORKING=yes
HOSTNAME=master配
转载
2023-09-21 22:48:33
166阅读
hadoop大数据集群环境搭建步骤----安装伪分布式所需软件: vmware workstation 11.0 jdk1.7.0_67 hadoop-2.7.3 filezilla F
原创
2017-02-20 11:12:46
695阅读
点赞
1 hadoop集群规划 1.1 共有A、B、C 三台机器; 1.2 A 作为master,B作为slave1,C作为slave2; 1.3 IP A :192.168.1.103;B:192.168.1.104;C:192.168.1.101; 1.4
转载
2013-06-23 17:08:00
68阅读
2评论
在Kubernetes（K8S）上搭建Hadoop集群环境是一个非常实用的技能，可以帮助您更高效地管理和运行大规模数据处理任务。下面我将向您详细介绍如何在K8S上搭建Hadoop集群环境。
### 步骤概览
下面是在K8S上搭建Hadoop集群环境的步骤概览：
| 步骤 | 内容 |
| --- | --- |
| 1 | 部署K8S集群 |
| 2 | 创建PV和PVC |
| 3 | 部
原创
2024-04-25 10:14:34
58阅读
第一部分：准备Linux环境创建虚拟机安装系统的步骤在这里就不讲了，详细步骤请看本人其他文章打开建好的虚拟机一、修改Hostname1、临时修改hostnamehostnamebigdata-01.liu.com这种修改方式，系统重启后就会失效2、永久修改hostnamevim/etc/sysconfig/network打开后编辑如下内容NETWORKING=yes#使用网络HOSTNAME=bi
原创
2018-08-26 20:46:52
4171阅读
点赞
微信公众号：小康新鲜事儿
文章目录
一、集群规划
二、前置条件
三、集群配置
3.1 主节点基础网络配置
3.2 配置映射
3.3 根据主节点hadoop01克隆两份系统
3.4 修改各个从节点网络配置
3.5 配置主从节点免密登录
3.5.1 生成密匙
3.5.2 复制公钥
3.5.3 验证免密登录
3.5.4 Gif动图演示
3.
原创
2021-12-08 10:55:38
450阅读
文章目录1. HA 机制2. HDFS-HA集群的搭建部署步骤总述1.JN配置2.NN3. 手动切换HA4. 启动DN5. ZK和ZKFC3. Federation集群搭建 1. HA 机制HA：High Available，高可用在Hadoop 2.0之前,在HDFS 集群中NameNode 存在单点故障 (SPOF：A Single Point of Failure)。对于只有一个 Name
转载
2024-01-13 04:05:20
101阅读
Spark是通用的基于内存计算的大数据框架，可以和hadoop生态系统很好的兼容，以下来部署Spark集群 集群环境：3节点 Master:bigdata1 Slaves:bigdata2,bigdata3 Master负责任务的分发，与集群状态的显示 Slaves运行具体的Worker任务，最后交由Executor执行任务代码 集群搭建之前，必须满足如下条件： 1、集群主机名和hosts文件映射
转载
2023-07-25 00:21:02
208阅读
spark环境，hadoop集群搭建环境准备因为Ubuntu服务器在国外
原创
2022-01-19 10:17:32
310阅读
在大数据领域，Hadoop是一个被广泛使用的分布式计算框架，用于处理大规模数据集。而在搭建Hadoop集群环境时，Linux操作系统往往是首选。在本文中，我们将介绍如何在Linux系统上搭建Hadoop集群环境。
首先，要搭建Hadoop集群环境，我们需要确保我们已经安装了Linux操作系统。在Linux中，一种常用的发行版是Red Hat系列的操作系统，比如红帽企业版(RHEL)。红帽企业版提
原创
2024-05-07 10:52:25
32阅读
spark环境，hadoop集群搭建环境准备因为Ubuntu服务器在国外，可能国内访问下载速度较慢，因此可以换成阿里源，通过以下命令对源进行更换阿里源地址：http://mirrors.aliyun.com/ubuntu/dists/查看当前系统的代号lsb_release -a# 1、备份原来的源cp -ra /etc/apt/sources.list /etc/apt/sources.list.bak# 2、修改/etc/apt/sources.list文件，可将原来的内容删除或注
原创
2021-07-22 09:56:22
330阅读
spark环境，hadoop集群搭建
环境准备
因为Ubuntu服务器在国外，可能国内访问下载速度较慢，因此可以换成阿里源，通过以下命令对源进行更换
阿里源地址：http://mirrors.aliyun.com/ubuntu/dists/
查看当前系统的代号
lsb_release -a
# 1、备份原来的源
cp -ra /etc/apt/sources.list /etc/apt/s
原创
2021-08-01 11:45:01
378阅读
写在开头：之前搭建hadoop的开发环境的时候，可以算是花了很多的经历，网上的方法都是新建一个用户，导致现在我再要使用的时候，需要将环境重新搭建，所有就写了这篇博客，记录一下第二次搭建hadoop开发环境的过程。 准备工作：1.Ubuntu Linux14.04系统 2.Eclipse4.5.2 3.hadoop1.0.4 4.hadoop1.0.4-eclipse插件 5.jdk7(v
一、集群规划这里搭建一个3节点的Hadoop集群，其中三台主机均部署DataNode和NodeManager服务，但只有hadoop001上部署NameNode和ResourceManager服务。二、前置条件Hadoop的运行依赖JDK，需要预先安装。其安装步骤单独整理至：Linux下JDK的安装三、配置免密登录3.1生成密匙在每台主机上使用ssh-keygen命令生成公钥私钥对：ssh-key
原创
2019-09-16 08:55:44
1549阅读
Linux环境下Hadoop集群搭建前言：最近来到了武汉大学，在这里开始了我的研究生生涯。昨天通过学长们的耐心培训，了解了Hadoop，Hdfs，Hive，Hbase，MangoDB等等相关的知识。虽然只是简单的介绍了相关的概念，但对于我来说像是打开了一个新的大门。当然，巧妇难为无米之炊，要想能够使用这些技术，首先要能够把相应的环境搭建起来。因此，在这里我将自己搭建Hadoop集群环境的步骤记录下
转载
2023-11-06 19:10:07
124阅读
一。前述本来有套好好的集群，可是不知道为什么虚拟机镜像文件损坏，结果导致集群不能用。建。二。集群规划 三。配置
原创
2022-12-30 16:47:07
91阅读
1、安装JDK（此处以安装JDK1.6为例，具体安装JDK的版本不限） （1）下载安装JDK：确保计算机联网之后命令行输入下面命令安装JDK sudo apt-get install sun-java6-jdk （2）配置计算机Java环境：打开/etc/profile，在文件最后输入下面内容 export JAVA_HOME = （Java安装目录）
原创
2015-05-16 21:48:19
121阅读
因为伪分布式环境搭建没啥意义，所以我们直接来搭建hadoop的集群环境，一、安装文件1.下载文件链接：https://pan.baidu.com/s/
原创
2022-07-01 09:58:37
105阅读
这里使用的是一款国产的hadoop发行版，大快搜索推出的DKhadoop。集群环境的部署总体给我的感觉是比较简单易用，不像以前的一些发行版那么繁琐。下面就给大家以DKhadoop为例介绍一下这种简单易用的hadoop集群环境搭建。
原创
2018-03-27 15:26:40
1543阅读
点赞
1、安装JDK（此处以安装JDK1.6为例，具体安装JDK的版本不限） （1）下载安装JDK：确保计算机联网之后命令行输入下面命令安装JDK sudo apt-get install sun-java6-jdk
原创
2022-03-09 16:06:50
109阅读
