一、概念了解主从结构：在一个集群中，会有部分节点充当主服务器的角色，其他服务器都是从服务器的角色，当前这种架构模式叫做主从结构。主从结构分类：1、一主多从2、多主多从Hadoop中的HDFS和YARN都是主从结构，主从结构中的主节点和从节点有多重概念方式：1、主节点 从节点2、master slave3、管理者 工作者4、leader followerHadoop集群中各个角色的名称：服务
转载
2023-09-22 12:56:58
37阅读
hadoop3.3.0 集群搭建详细教程
先准备好：hadoop3.3.0secureCRT提取码：u3cdjdk官网centos7一、模板机1、虚拟机的网络适配器选择NAT2、关闭centos的防火墙systemctl stop firewalld
systemctl disable firewalld.service3、将centos设置为自动连接网络在设置中，找到网络，把有线设置为自动连接
转载
2024-01-29 19:51:56
67阅读
目录一：版本介绍LINUX版本：centos6.5 64位版本（虚拟机三台机器，一主两从）168.37.101168.37.102168.37.103hadoop版本：2.7.7版本
JAVA版本：1.8.0二：SSH免密1、编辑hosts在root用户下输入命令，vi /etc/hosts,用vi编辑hosts文件，如下：2、生成authorized_keys文件登录centos01，在.
原创
2022-01-03 15:54:06
766阅读
一、环境说明 1、虚拟机平台：VMware10 2、Linux版本号：ubuntu-12.04.3-desktop-i386 3、JDK：jdk1.7.0_51 4、Hadoop版本号：2.2.0 5、集群节点：3个，各自是hadoopMaster。hadoopSlave1。hadoopSlave2
转载
2017-05-08 14:03:00
220阅读
2评论
1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系 ######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等） /etc/hosts里面要配置的是内网IP地址和主机名的映射关系 4.关闭防火墙5.ssh免登陆 6.安装JDK，配置环境变量等集群规划： 主机名 IP
原创
2016-05-09 15:14:39
145阅读
1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系 ######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等） /etc/hosts里面要配置的是内网IP地址和主机名的映射关系 4.关闭防火墙5.ssh免登陆 6.安装JDK，配置环境变量等集群规划： 主机名 IP
原创
2022-04-22 17:08:23
100阅读
1.前言本文档适用于Hadoop3.x版本分布式测试集群搭建。HDFS组件包括：NameNode、DataNode、SecondaryNameNodeYarn组件包括：ResourceManager、NodeManagerMapReduce组件包括：JobHistoryServer2. 集群搭建前提条件关闭防火墙确保集群主机节点时间同步（可以安装ntp服务保持集群时间同步）集群间配好免密，包括免密
转载
2023-09-14 14:00:28
86阅读
一、 Hadoop的分布式模型 Hadoop通常有三种运行模式：本地(独立)模式、伪分布式(Pseudo-distributed)模式和完全
原创
2024-09-26 11:59:59
149阅读
环境准备我使用的是vmware workstation，首先安装ubuntu 12.04，安装完成后通过vmware的clone
原创
2022-03-29 14:31:15
61阅读
一、基础环境说明：1.本文基于CentOS 7 操作系统，CentOS-7-x86_64-Minimal-1804.iso。2.hadoop使用的版本是hadoop-3.0.3.tar.gz。注：附上本人已搭建好的Hadoop集群环境的master主机文件，可下载后克隆另外两slave从机，即可。链接: https://pan.baidu.com/s/16lXWV4-JtAXC1BFyV
转载
2023-08-04 20:18:16
82阅读
一、Hadoop上篇文章对 Hadoop 进行了简单的介绍，并搭建了单机版的 HDFS ，本篇文章继续搭建集群版本的 HDFS 以及 YARNHadoop 集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。HDFS集群负责海量数据的存储，集群中的角色主要有：NameNode、DataNode、SecondaryNameNodeYARN集群负责海量数据运算时的资
转载
2023-11-18 23:21:59
57阅读
# 1. 配置三台机器的IP地址master 10.43.80.80slave1 10.43.80.81slave2 10.43.80.82# 2. 关闭三台机器防火墙systemctl stop firewalld.service# 3. 修改主机名对应IP地址
原创
2023-03-21 17:49:43
96阅读
在这里我选用4台机器进行示范，各台机器的职责如下表格所示（说明： 1. ZooKeepe使用其它节点的 2. Hadoop0节点安装所有的master, ha的matster全部是worker, 以达到较高的资源利用率，又对master的负载不会过高）Hadoop0 -> dchadoop206Hadoop1 -> dchadoop207Hadoop2 -> dcha
原创
精选
2016-03-22 19:03:19
5196阅读
1.系统环境VMware-workstation：VMware-workstation-full-16.2.3ubuntu：ubuntu-21.10hadoop：hadoop2.7.2mysql：mysql-connector-java-8.0.19jdk：jdk-8u91-linux-x64.tar（注意要是linux版本的，因为是在linux系统中创建虚拟机）hive：hive1.2.1小技巧
转载
2023-09-04 16:25:31
97阅读
一、hadoop环境搭建1、环境准备参考文档1.1软件准备操作系统:centos7 hadoop版本:3.3.1 java版本：1.81.2集群规划主节点: hadoop0 192.168.15.10
从节点1: hadoop1 192.168.15.11
从节点2: hadoop2 192.168.15.121.3配置主机名与IP映射(3个节点都配置)设置主机名：vi /etc/hostn
转载
2023-09-20 07:01:21
73阅读
hadoop搭建的步骤1使用root账户登录2 修改IP3 修改host主机名4 配置SSH免密码登录5 关闭防火墙6 安装JDK6 解压hadoop安装包7 配置hadoop的核心文件 hadoop-env.sh，core-site.xml , mapred-site.xml ， hdfs-site.xml8 配置hadoop环境变量9 格式化 hadoop namenode-for
转载
2023-07-20 23:22:02
75阅读
Hadoop集群的部署 网上很多关于hadoop集群部署的文章， 我这里重新整理下，毕竟，别人的经历，让你按照着完整走下来，总有或多或少的问题。小技巧分享: 有些初学者喜欢在自己机器上安装虚拟机来部署hadoop，毕竟，很多同学的学习环境都是比较受限的。  
原创
2015-06-11 17:11:18
2675阅读
Hadoop配置Docker安装docker$ yum install docker设置开机自启Docker$ systemctl enab
原创
2021-12-07 16:28:22
10000+阅读
