环境：centos 6.5 (ip：192.168.80.100、192.168.80.101)jdk 1.7hadoop 2.8.4 ip 进程 192.168.80.100(master) namenode 192.168.80.101(slave)
原创
2023-03-17 16:09:00
91阅读
实验环境： 虚拟化软件：VMware® Workstation 16 Pro 镜像：ubuntu-22.04.2-live-server-amd64.iso Hadoop版本：hadoop-3.3.4.tar.gzubuntu镜像链接hadoop文件链接配置虚拟机 （1）新建虚拟机，选择实验镜像【ubuntu-22.04.2-live-server-amd64.iso】 （2）调整硬件配置，配置如
转载
2023-09-20 10:42:36
278阅读
继上次Zookeeper集群的搭建成功后，现在来说下Hadoop的集群搭建。好了，闲话不多说，让我们开始今天的冒险之旅吧。 一、环境：虚拟机CentOs7系统，完整的环境，请确认已安装JDK，及Hadoop安装包（本人用的是2.9.0），节点仍然使用上次克隆的两个，下面先进行其中一个的环境搭建。 二、Hadoop配
转载
2024-04-21 22:35:22
113阅读
hadoop使用java编写，所以windows安装和java一样也需要配置环境变量。一、下载所需文件JDK下载地址，jdk1.8下载
Hadoop下载，hadoop下载，进去后找到一个版本然后点击 Binary download 下载到本地。Hadoop windows环境编译工具，winutils下载 ，下载后解压出来二、安装文件jdk安装，jdk安装并不复杂，这里就不详细介绍了，我的安装目录
转载
2023-08-08 13:52:22
690阅读
生而有涯而学无涯最近使用VMWare搭建了一个虚拟的Hadoop集群环境，搭建的过程中参考了很多网上大神的资料，在这里记录下本人实践的全过程，用于以后的查询参考使用，参考的资料会在文末贴出对应的链接。集群配置详情hostnameip addressos(Centos7mini)master192.168.224.100Centos7(mini)slave1192.168.224.201Centos
转载
2023-07-12 15:42:12
183阅读
使用腾讯云主机，docker构建集群测试环境。环境1、操作系统： CentOS 7.2 64位网路设置hostnameIPcluster-master172.18.0.2cluster-slave1172.18.0.3cluster-slave2172.18.0.4cluster-slave3172.18.0.5Docker 安装curl -sSL https://get.daocloud.io/
转载
2023-10-13 16:09:50
123阅读
一、虚拟机的安装（Centos 7)1.点击 Centos 7镜像 进行下载 2.安装成功后，利用克隆再克隆两个作为slave1和slave2进行搭建 3. 利用 ifconfig命令，获取三个虚拟机的IP地址：二、搭建集群配置主节点名（master) 在命令行中输入： vi /etc/sysconfig/network 添加一下内容：NETWORKING=yes
HOSTNAME=master配
转载
2023-09-21 22:48:33
166阅读
1、环境准备 首先准备了三台虚拟机（为了避免环境的干扰，都是新建的虚拟机），分别分配了2G内存、40G硬盘、2核CPU，然后安装了CentOS-7-x86_64-Minimal-1810操作系统，并配置了静态IP地址。集群规划：搭建的是NameNode与ResourceManager单节点架构。节点具体分别如下：服务器名称IP地址NameNodeSecondaryNameNodedataNode
转载
2023-07-12 14:16:19
88阅读
需要的安装包：Jdk压缩包hadoop压缩包注意：下载安装包的时候最好不要下载最新版本，建议下载上一个版本。jdk 安装很简单，把压缩文件解压，解压后的目录加入环境变量就可以了，这里就不详细说了，重点放在hadoop集群环境搭建。下面开始部署集群一、使用vmware创建两台虚拟机，我使用的是centos7，设置hostname，关闭防火墙。虚拟机创建好之后修改主机名，一台改为master，一台sl
转载
2023-07-04 14:27:12
176阅读
Hadoop集群的搭建1、准备工作：（1）、三台Linux机器（我的三台是hadooHadoop(1) 将...
原创
2022-11-18 15:58:39
62阅读
1 hadoop集群概要1.1 hadoop优点1>高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。2> 高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。3> 高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。4> 高容错性。Hadoop能够自动保存数据
转载
2023-07-13 14:32:05
15阅读
教程 | Hadoop集群搭建和简单应用
原创
2021-07-07 13:03:18
297阅读
0.Hadoop和Java之间的版本配套 官方描述：https://cwiki.apache.org/confluence/display/HADOOP2/HadoopJavaVersions hadoop 3.x 版本仅支持 Java8 hadoop 2.7.x及以上版本支持Java7和Java8
原创
2022-12-05 13:48:49
185阅读
hadoop的集群搭建所需要的tar包版本hadoop-2.7.7.tar.gzjdk-8u212-linux-x64.tar.gz详情hadoop完全分布式安装更改 主机名 (hostname) 主节点：master 两个从节点分别为(slave1和slave2)更改 hosts192.168.44.111 master
192.168.44.112 slave1
192.168.44.113
原创
2023-04-19 14:44:32
70阅读
1.安装Java $ yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel 上述命令默认安装位置/usr/lib/jvm/java-1.8.0-openjdk设置环境变量: $ vim ./.bashrc
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export
转载
2023-11-14 06:42:46
90阅读
步骤一：环境准备在Hadoop安装与配置之前，需要准备的环境：虚拟机、Linux系统、配置JDK环境变量。 若以上还没准备，请查询vmware虚拟机linux安装以及linux安装jdk以及配置环境变量,这里不说jdk和虚拟机了。 先安装一台centos即可，后续直接克隆，所有机器的配置文件就不用一个一个修改了。 配置环境变量1:命令：vi /etc/profileexport JAVA_HOME
转载
2023-08-10 13:19:12
57阅读
一、集群安装条件前置在虚拟机上先准备一个机子 按用前面【安装单机hadoop】 已完成安装jdk,hadoop和ssh、网络等配置环境等。虚拟机和操作系统环境：ubuntu14 + hadoop2.6+jdk1.7+ssh虚拟机：（vmware10） 二、集群安装环境设置Hadoop的安装为分布式模式，考虑到实际条件集群机定为3台（2台也可以）。（1）克隆3个ubuntu实例
转载
2023-08-04 11:24:16
196阅读
概念HDFS分布式文件系统会将用户提交的文件存储在一个服务器集群中 HDFS中有两种重要的服务器软件角色：datanode --》负责存储用户文件的块namenode--》负责记录用户存储的文件的虚拟路径，及文件每一个块的具体位置（哪一块在哪一台datanode服务器上） 安装一个HDFS集群 准备工作：规划：要有一台机器安装namenode &
搭建所用Hadoop java版本hadoop-3.1.3.tar.gz jdk-8u212-linux-x64.tar.gz安装包链接：Hadoop及jdk安装包提取码：icn6首先，我们先下载并且安装好虚拟机准备好三台机器主机名ip地址master192.168.45.110salve1192.168.45.111salve2192.168.45.112 集群按以下要求
转载
2023-09-14 13:59:28
81阅读
CentOS6.5mini版hadoop集群搭建流程 CentOS 7 系列： 关闭防火墙：systemctl stop firewalld 禁止防火墙开
