文章目录

  • 1.Hadoop部署的基本知识
  • 1. 单节点模式
  • 2. 伪分布式集群模式
  • 3. 多节点集群模式
  • 2.hadoop前准备
  • 软件包以及提取码
  • 软件说明
  • 虚拟机内操作系统安装
  • CentOS7安装
  • 配置供参考┗|｀O′|┛
  • 架构分布


1.Hadoop部署的基本知识

Hadoop的部署模式分为三种，分别是单节点模式、伪分布式集群模式、多节点集群模式。

1. 单节点模式

无需任何守护进程，所有的程序都运行在同一个JVM上执行。在独立模式下调试MapReduce程序非常高效方便。所以一般该模式主要是在学习或者开发阶段调试使用 。

2. 伪分布式集群模式

Hadoop守护进程运行在本地机器上，模拟一个小规模的集群，换句话说，可以配置一台机器的Hadoop集群,伪分布式是完全分布式的一个特例。

3. 多节点集群模式

Hadoop守护进程运行在一个集群上，是一个真正意义上的分布式大数据集群。

hadoop主要部署项目 hadoop有哪些部署方式_hadoop

2.hadoop前准备

  1. 准备安装环境，包括虚拟机、CentOS系统、JDK、Hadoop。
  2. 安装3虚拟机用于模拟真实物理集群。
  3. 在每台虚拟机中安装JDK，JDK是Hadoop平台运行的基础环境。
  4. 部署Hadoop平台，并对其四个重要文件进行配置实现集群化。
  5. 启动并运行Hadoop集群
    注意jdk版本是否兼容
软件包以及提取码

链接：https://pan.baidu.com/s/1nao93d0fGB5eHqPEk9eezg

提取码：9xy5

hadoop主要部署项目 hadoop有哪些部署方式_hadoop主要部署项目_02

软件说明
  1. CentOS-7-x86_64-DVD-1511.iso:CentOS7版本的Linux系统，我们所用到的大数据平台是基于Linux 系统的，换言之大数据平台运行在Linux系统之上。
  2. hadoop-3.0.0：hadoop第三版的大数据平台包。
  3. jdk-8u161-linux-x64.tar.gz:jdk1.8的java开发环境压缩包，因为我们的Hadoop需要Java运行环境的支持。

虚拟机内操作系统安装

CentOS7安装

我们一共需要三台机器作为一个服务器集群，分别命名为master，node1，node2.

hadoop主要部署项目 hadoop有哪些部署方式_Hadoop_03

配置供参考┗|｀O′|┛

hadoop主要部署项目 hadoop有哪些部署方式_分布式集群_04

架构分布

NameNode运行在Master节点、SecondaryNameNode运行在Node1节点，DataNode运行在Node1和Node2节点上。ResourceManager运行在Master节点上，NodeManager运行在Node1和Node2上。从而可以看出，我们Master节点为主节点，Node1和Node2作为数据节点。