hadoop安装教程 用虚拟机 虚拟机hadoop安装详细步骤

学大数据,不管怎么样始终都绕不开Hadoop这个黄色的小象

而安装Hadoop可以说是进入大数据领域的第一步了,作为学校里大数据专业还在坚持学大数据的同学,经过这几年的学习还是积累了些许经验的,来一波保姆级Hadoop安装教学.

首先默认你有些许Linux的基础,并且电脑上已经安装好vmware workstation 等类似的虚拟机安装软件 (当然你有钱买云服务器当我没说)

Linux虚拟机安装

• 下载centos镜像
  这里我们下载的是centos7.6的镜像传送门
• 安装 centos虚拟机

• 点击创建新的虚拟机
• 选择安装程序光盘这一栏,把我们下好的镜像导入,这里下面会检测出我们要安装的系统
• 狂点下一步,然后再点击完成即可.这是虚拟机会自动打开
• 一路回车 ,直到出现可视化界面,选择安装语言为中文
• 为了速度我们最好选择最小安装
• 然后就是设置root账户密码和创建我们平时使用时的用户
• 再就是慢慢等待了(大概五六分钟)
• 最侯点击重启就大功搞成了!

安装Hadoop前的准备工作

• 静态IP和主机名配置

• 打开ifcfg-ens33文件修改配置

vi /etc/sysconfig/network-scripts/ifcfg-ens33
............
BOOTPROTO=static #将dhcp改为static
ONBOOT=yes #将no改为yes
IPADDR=192.168.10.200 #添加IPADDR属性和ip地址
PREFIX=24 #添加NETMASK=255.255.255.0或者PREFIX=24
GATEWAY=192.168.10.0 #添加网关GATEWAY
DNS1=114.114.114.114 #添加DNS1和备份DNS
DNS2=8.8.8.8

• 重启网络服务

systemctl restart network 
# or
service network restart

• 修改主机名

hostnamectl set-hostname master

注意：配置完ip和主机名后，最好reboot一下

• 配置/etc/hosts文件

vi /etc/hosts
# 在后面添加上
192.168.216.114 master

• 关闭防火墙

systemctl stop firewalld
systemctl disable firewalld
#最好也把selinux关闭掉，这是linux系统的一个安全机制，进入文件中将SELINUX设置为disabled
vi /etc/selinux/config
SELINUX=disabled

• 时间同步

• 输入tzselect 依次选5 9 1 1
• 下载ntp

yum install -y ntp

• 配置/etc/ntp.conf

vim /etc/ntp.conf
server 127.127.1.0
fudge 127.127.1.0 stratum 10

• 启动:/bin/systemctl restart ntpd.service

• 设置免密登陆

• ssh-keygen 后 一路回车
• ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@master 后输入密码即可

Hadoop单机安装与配置

• JDK安装

• 检查一下是否已经安装过或者系统内置JDK,如果有内置的，将其卸载

rpm -qa | grep jdk #如果有,请卸载
rpm -e xxxxxxxx --nodeps #将查询到的内置jdk强制卸载

• 上传jdk(这里我是上传到/opt/software/目录中)
• 解压jdk到/opt/apps/下

cd /opt/software
tar -zxvf jdk-8u152-linux-x64.tar.gz -C /opt/apps/

• 改名为jdk

cd /opt/apps
mv jdk-8u152/ jdk

• 配置Jdk的环境变量：/etc/profile

vim /etc/profile
# 后面添加
#jdk environment
export JAVA_HOME=/opt/apps/jdk
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

• 使当前窗口生效

source /etc/profile

• 验证java环境

java -version
javac

• Hadoop单机安装

• 上传hadoop(这里我是上传到/opt/software/目录中)
• 解压到/opt/apps/下

cd /opt/software/
tar -zxvf hadoop-2.7.6.tar.gz -C /opt/apps/

• 改名为hadoop

cd /opt/apps
mv hadoop-2.7.6/ hadoop

• 配置hadoop的环境变量

vi /etc/profile
#hadoop environment
export HADOOP_HOME=/opt/apps/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

• 使当前窗口生效

source /etc/profile

• 验证hadoop

hadoop version

• 配置 hadoop-env.sh文件

vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh
# 更改如下内容
export JAVA_HOME=/simple/jdk1.8.0_152

Hadoop 伪分布式安装与配置

伪分布式模式介绍

首先我们要先了解了解伪分布式有什么特点
1.特点

• 在一台机器上安装，使用的是分布式思想，即分布式文件系统，非本地文件系统。
• Hdfs涉及到的相关守护进程(namenode,datanode,secondarynamenode)都运行在一台机器上，都是独立的
  java进程。

2. 用途
   比Standalone mode 多了代码调试功能，允许检查内存使用情况，HDFS输入输出，以及其他的守护进程交
   互。

由于我们在前面已经进行了免密登陆 静态ip host映射 的配置也安装了jdk和Hadoop 所以我们接下来直接进入到文件的配置

文件配置

• core-site.xml的配置

[root@master ~]# cd $HADOOP_HOME/etc/haoop
[root@master hadoop]# vi core-site.xml
<configuration>
<!-- 配置分布式文件系统的schema和ip以及port,默认8020-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost/</value>
</property>
</configuration>
扩展: hadoop1.x的默认端口是9000，hadoop2.x的默认端口是8020，使用哪一个都可以

• hdfs-site.xml的配置

[root@master hadoop]# vi hdfs-site.xml
<configuration>
<!-- 配置副本数，注意，伪分布模式只能是1。-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

• hadoop-env.sh的配置：指定jdk的环境 (和单机模式一样,这里不再赘述)

格式化NameNode

hdfs namenode -format

启动HDFS

start-dfs.sh

• jps查看进程

WebUI_50070

可以在浏览器上输入：192.168.10.200:50070 来查看一下伪分布式集群的信息
–1. 浏览一下页面上提示的ClusterID,BlockPoolID
–2. 查看一下活跃节点(Live Nodes)的个数，应该是1个

简单解释:

Compiled:编译 hadoop是由kshvachk工具集成的
Cluster ID:集群id
Block Pool ID:datanode节点的block池的id,每个datanode节点的都要一样

完全分布式集群的安装与配置

单机式和伪分布式不能用于生产环境,只能在平时的调试和学习中用到,我们真正用到的还是完全分布式的集群

虚拟机说明

采用虚拟机克隆的方式克隆两台虚拟机使得三台虚拟机配置如下

主机名 IP
master 192.168.10.200
slave1 192.168.10.201
slave2 192.168.10.202

说明:如果是克隆操作的slave1 slave2就不需要关防火墙了只用在/etc/hosts中把把这两台克隆来的映射加上 然后把ip改一下

注意，注意，注意：
1.如果你是从伪分布式过来的，最好先把伪分布式的相关守护进程关闭：stop-all.sh
2.删除原来伪分布式的相关设置
如果原来使用的是默认路径,现在已经没有用了
如果原来使用的跟现在全分布式路径一样,因为这里跟之前的初始化的内容不一样,而且这个文件要让系统自动生成
综上:要删除掉namenode和datanode的目录

守护进程布局

我们搭建hdfs的完全分布式，顺便搭建一下yarn。hdfs和yarn的相关守护进程的布局如下:

master: namenode,datanode,ResourceManager,nodemanager
slave1: datanode,nodemanager,secondarynamenode
slave2: datanode,nodemanager

Hadoop的配置文件的配置

• 配置前说明：
  1.我们先在master机器节点上配置hadoop的相关属性。
  2.在<value></value>之间的值不能有空格
  3.master配好后直接克隆两台虚拟机,修改ip等配置即可
• 配置core-site.xml文件

[root@master ~]# cd $HADOOP_HOME/etc/hadoop/
[root@master hadoop]# vi core-site.xml
<configuration>
<!-- hdfs的地址名称：schame,ip,port-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>
<!-- hdfs的基础路径，被其他属性所依赖的一个基础路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/apps/tmp</value>
</property>
</configuration>

• 配置hdfs-site.xml文件

[root@master hadoop]# vi core-site.xml
<configuration>
<!-- namenode守护进程管理的元数据文件fsimage存储的位置-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/name</value>
</property>
<!-- 确定DFS数据节点应该将其块存储在本地文件系统的何处-->
<property>
<name>dfs.datanode.data.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/data</value>
</property>
<!-- 块的副本数-->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 块的大小(128M),下面的单位是字节-->
<property>
<name>dfs.blocksize</name>
<value>134217728</value>
</property>
<!-- secondarynamenode守护进程的http地址：主机名和端口号。参考守护进程布局-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave1:50090</value>
</property>
<!--文件的检测目录-->
<property>
<name>fs.checkpoint.dir</name>
<value>file:///${hadoop.tmp.dir}/checkpoint/dfs/cname</value>
</property>
<!--日志edits的检测目录-->
<property>
<name>fs.checkpoint.edits.dir</name>
<value>file:///${hadoop.tmp.dir}/checkpoint/dfs/cname</value>
</property>
<property>
<name>dfs.http.address</name>
<value>master:50070</value>
</property>
</configuration>

• 配置mapred-site.xml文件

如果只是搭建hdfs,只需要配置core-site.xml和hdfs-site.xml文件就可以了，但是如果要学习MapReduce
是需要YARN资源管理器的，因此，在这里，提前配置一下相关文件

[root@master hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@master hadoop]# vi mapred-site.xml
<configuration>
<!-- 指定mapreduce使用yarn资源管理器-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 配置作业历史服务器的地址-->
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<!-- 配置作业历史服务器的http地址-->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>

• 配置yarn-site.xml文件

[root@master hadoop]# vi yarn-site.xml
<configuration>
<!-- 指定yarn的shuffle技术-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定resourcemanager的主机名-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<!--下面的可选-->
<!--指定shuffle对应的类 -->
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!--配置resourcemanager的内部通讯地址-->
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<!--配置resourcemanager的scheduler的内部通讯地址-->
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<!--配置resoucemanager的资源调度的内部通讯地址-->
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<!--配置resourcemanager的管理员的内部通讯地址-->
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<!--配置resourcemanager的web ui 的监控页面-->
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>

• 配置hadoop-env.sh脚本文件(同单机模式不再赘述)
• 配置slaves文件，此文件用于指定datanode守护进程所在的机器节点主机名

[root@master hadoop]# vi slaves
master
slave1
slave2

• 配置yarn-env.sh文件，此文件可以不配置，不过，最好还是修改一下yarn的jdk环境比较好

• 另外两台机器配置说明

当把master机器上的hadoop的相关文件配置完毕后，我们有以下两种方式来选择配置另外几台机器的hadoop.

• “scp”进行同步(本方法适用于多台虚拟机已经提前搭建出来的场景)
• 虚拟机克隆

从头开始再安装两台虚拟机还是很麻烦的这里我们选择克隆

• 打开一个新克隆出来的虚拟机，修改主机名
• 修改ip地址
• 重启网络服务
• 其他新克隆的虚拟机重复以上1~3步
• 免密登陆的验证
  从master机器上，连接其他的每一个节点，验证免密是否好使，同时去掉第一次的询问步骤
• 建议：每台机器在重启网络服务后，最好reboot一下

具体操作步骤上面都有这里不再赘述

格式化NameNode

# 在master进行操作
hdfs namenode -format

如果你操作顺利,下面就可以启动Hadoop集群了!

启动脚本和关闭脚本介绍

1. 启动脚本
-- start-dfs.sh :用于启动hdfs集群的脚本
-- start-yarn.sh :用于启动yarn守护进程
-- start-all.sh :用于启动hdfs和yarn
2. 关闭脚本
-- stop-dfs.sh :用于关闭hdfs集群的脚本
-- stop-yarn.sh :用于关闭yarn守护进程
-- stop-all.sh :用于关闭hdfs和yarn
3. 单个守护进程脚本
-- hadoop-daemons.sh :用于单独启动或关闭hdfs的某一个守护进程的脚本
-- hadoop-daemon.sh :用于单独启动或关闭hdfs的某一个守护进程的脚本
reg:
hadoop-daemon.sh [start|stop] [namenode|datanode|secondarynamenode]
-- yarn-daemons.sh :用于单独启动或关闭hdfs的某一个守护进程的脚本
-- yarn-daemon.sh :用于单独启动或关闭hdfs的某一个守护进程的脚本
reg:
yarn-daemon.sh [start|stop] [resourcemanager|nodemanager]

最后每台主机进行 jps进程查看操作 如果启动的进程是按照我们的进程布局来的,那么恭喜你Hadoop集群搭建成功!

当然如果有些进程没有启动成功 我们可以对症下药来修改相应进程的配置文件