hadoop搭建伪分布式集群 上(centos7+hadoop-3.1.0/2.7.7)

第一部分 安装前部署

1.查看虚拟机版本
2.查看IP地址
3.修改主机名为hadoop
4.修改 /etc/hosts
5.关闭防火墙
6.安装Java环境

第二部分 Hadoop正式安装

1.安装Hadoop
2.修改hadoop的5个配置文件
3.解决互信问题

第三部分 启动Hadoop集群

1.格式化NameNode
2.启动Hadoop集群
3.验证集群是否启动成功
4.关闭hadoop集群
5.登录HDFS管理界面:http://ip:50070 6.登录MR管理界面: http://ip:8088

我们要准备好以下条件:
1.我们的机器上需要安装VM虚拟软件
我安装的是VMware Workstation pro,安装方式大家可自行百度。

2.在虚拟软件上安装Linux(RHEL CENTOS UBUNTU…)
我安装的是Centos 7,安装方式可参考这里

3.配置好我们的java环境
Hadoop毕竟是Java程序的集合,所以在安装Hadoop软件之前,我们必须配置好Java环境。我安装的的是jdk1.8版本。

4.安装HADOOP并做相应配置
我安装的是hadoop-3.1.0.tar.gz

这真是我踩过的一个大坑,当我好不容易安装了hadoop-3.1.0之后,再安装hbase时,发现竟然hadoop-3.1.0不支持任何版本的hbase。。。。好心塞啊,所以大家如果想要后期学习hbase的话,还是建议不要安装这个版本的hadoop了,最好安装hadoop-2.7.1+版本,因为它支持所有的hbase版本。具体看这里。
再多说一句,hadoop3.1.0不兼容hive1.*的版本,建议使用hive2.*的版本比较好。

---------------------------------------------------华丽的分割线------------------------------------

第一部分 安装前部署

1.首先,我们使用xshell远程连接我们的虚拟机,最好用root用户登录。

使用cat /etc/redhat-release 命令来查看系统版本

hadoop3伪分布式搭建集群 hadoop伪分布式集群安装步骤_hadoop3伪分布式搭建集群


2.使用 ifconfig 命令查看本机ip地址,这里虚拟机直接使用的桥接模式(直接连接主机物理网络)

hadoop3伪分布式搭建集群 hadoop伪分布式集群安装步骤_大数据_02


3.修改主机名为hadoop。方法:修改配置文件 /etc/hostname 保存退出

hadoop3伪分布式搭建集群 hadoop伪分布式集群安装步骤_Hadoop_03


4.修改 /etc/hosts。这里的192.168.8.10是我自己的ip地址,后边的hadoop是我的主机名,修改之后,Esc+:+wq 即可保存退出(source /etc/hosts 命令使得文件修改生效)

hadoop3伪分布式搭建集群 hadoop伪分布式集群安装步骤_Hadoop_04


5.关闭防火墙(参考这里)

首先安装iptables服务:yum install iptables-services

关闭防火墙:/bin/systemctl stop iptables.service && /bin/systemctl stop ip6tables.service

永久关闭防火墙:systemctl disable iptables.service && systemctl disable ip6tables.service

查看防火墙是否关闭:firewall-cmd --state

hadoop3伪分布式搭建集群 hadoop伪分布式集群安装步骤_java_05


6.安装Java环境。rpm -qa|grep java命令查看是否系统已安装jdk包,如果有的话需要使用 rmp -e 软件包名称 命令先卸载(我的centos7 默认没有java)。

上传jdk包到/usr/目录。然后解压,重命名,配置环境变量(我的目录结构 /usr/java/bin)

安装好之后vi /etc/profile 命令配置环境变量加入以下几行

hadoop3伪分布式搭建集群 hadoop伪分布式集群安装步骤_hadoop_06


配置好之后使用 java -version 命令查看环境变量是否生效(记得source /etc/profile)

hadoop3伪分布式搭建集群 hadoop伪分布式集群安装步骤_hadoop_07