CentOS 7 安装Hadoop
1、Hadoop安装前的准备
(1)复制文件到CentOS 7
1)建立共享文件夹,如下图所示:
2)将文件复制到hadoop文件夹下
(2)时间同步,如下图所示:
(3)修改主机名,如下图所示:
(4)配置网络环境,如下图所示:
(5)关闭防火墙,如下图所示:
(6)配置hosts列表,如下图所示:
(7)测试主节点和从节点是否能够相互ping通,如下图所示:
(8) 安装jdk
1)新建目录java,并将jdk复制到java下,如下图所示:
2)解压jdk的压缩包,如下图所示:
3)添加jdk的路径,如下图所示:
4)查看jdk版本,如下图所示: 从节点也安装好了
(9)免密钥登陆
1)切换为普通用户,如下图所示:
2)在master节点终端生成密钥,如下图所示:
3)复制公钥文件,如下图所示:
4)修改文件权限,如下图所示:
5)将文件复制到slave节点
6)在slave节点终端生成密钥,如下图所示:
7)将密钥文件移动到.ssh目录,如下图所示:
8)修改文件权限,如下图所示:
9)验证,如下图所示:
2、Hadoop安装
(1)复制Hadoop安装包,如下图所示:
(2)解压Hadoop安装包,如下图所示:
(3)修改hadoop-env.sh文件,如下图所示:
(4)修改core-site.xml文件,如下图所示:
(5)修改hdfs-site.xml文件,如下图所示:
(6)修改mapred-site.xml文件,如下图所示:
(7)修改workers文件,如下图所示:
(8)修改yarn-site.xml文件,如下图所示:
(9)复制到从节点,如下图所示:
(10)修改bash_profile文件,并使其生效,主从节点都要做,如下图所示:
(11)新建文件夹hadoopdata,主从节点都要做,如下图所示:
(12)格式化文件系统,如下图所示:
(13)启动hadoop,并jps验证,如下图所示:
(14)运行pi实例,如下图所示:
3、遇到的问题
1、第一次配置的时候,从节点配置到了works文件中,配置错了,于是又重新格式化了一遍,启动没问题了;
2、在运行pi实例的时候,出现了错误,不能找到或加载主类,找了半天也不知道是为什么,就去问了老师,发现是yarn-site.xml这个配置文件写错了。
3、第一个错误解决了以后,发现又出现了新的错误,时间不同步,原来是配置了静态IP后虚拟机连不上网了,于是去修改IP地址,如下图所示,第一个图是自己电脑的IP地址
使IP地址生效
使IP地址生效
能连上网了,如下图所示:
修改hosts文件,主从节点都要修改,并进行ping测试,如下图所示:
4、上一个问题解决之后,又出现了一个新的问题,如下图所示,于是按照网上的方法修改了mapred-site.xml文件,重新格式化,启动Hadoop;
5、上一个问题解决之后,又出现了新的问题,虚拟内存不够,如下图所示在网上找解决方案,修改yarn-site.xml和mapred-site.xml
在yarn-site.xml中添加下图所示内容
在mapred-site.xml中添加下图所示内容
6、实验过程中还出现了如下图所示的错误,原因是登录的时候使用root用户登录的,级视切换到了yss,也不能使用gedit,可以重启虚拟机登录一下,也可以用vi这个命令代替gedit。