最近练习了一下Hadoop的配置安装,以免自己有给忘了,写个博客备个案

我的路径:/opt/software

hadoop多机房 hadoop三台集群_hadoop多机房


注意路径位置。

1.vim /etc/hostname修改主机名,重启后修改成功

2.添加域名映射

hadoop多机房 hadoop三台集群_hadoop多机房_02


3.停用防火墙

hadoop多机房 hadoop三台集群_hadoop多机房_03


4.设置三台虚拟机相互免密登录(先找到登录密钥,将密钥分别复制到3台虚拟机),三台虚拟机都要弄一遍

hadoop多机房 hadoop三台集群_hadoop_04


hadoop多机房 hadoop三台集群_Hadoop_05


hadoop多机房 hadoop三台集群_hadoop多机房_06


hadoop多机房 hadoop三台集群_hadoop多机房_07


5.测试免密登录成功没有

hadoop多机房 hadoop三台集群_Hadoop_08


6.查看jdk安装情况,(如果没有安装,现将jdk的rpm包传到相应文件夹运用rpm -ivh解压安装,javac查看安装成功没有

hadoop多机房 hadoop三台集群_hadoop多机房_09


7.查看jdk安装路径(如果jdk版本比我的高,请自行查看网址=的安装路径查看方式)

hadoop多机房 hadoop三台集群_hadoop多机房_10


8.在/etc/profile文件里设置JDK环境变量

hadoop多机房 hadoop三台集群_hadoop多机房_11


hadoop多机房 hadoop三台集群_Hadoop_12

9.执行:source /etc/profile,让配置生效

hadoop多机房 hadoop三台集群_hadoop_13


10.传入Hadoop到文件夹解压安装,执行:tar -zxvf hadoop-3.0.0-alpha4.tar.gz

hadoop多机房 hadoop三台集群_Hadoop_14


hadoop多机房 hadoop三台集群_hadoop多机房_15


hadoop多机房 hadoop三台集群_hdfs_16


11.进入Hadoop3.2.0/etc/hadoop查看文件

hadoop多机房 hadoop三台集群_hdfs_17


12.进入profile文件配置Hadoop环境变量,使其生效

hadoop多机房 hadoop三台集群_hdfs_18


hadoop多机房 hadoop三台集群_hadoop_19

hadoop多机房 hadoop三台集群_hadoop_20


创建HDFS存储目录

cd /opt/software/hadoop3.2.0(hadoop目录下)

mkdir hdfs

cd hdfs

mkdir name data tmp

/usr/hadoop/hdfs/name --存储namenode文件

/usr/hadoop/hdfs/data --存储数据

/usr/hadoop/hdfs/tmp --存储临时文件

13.进入Hadoop目录修改文件

(1)编写hadoop-env.sh

hadoop多机房 hadoop三台集群_hadoop多机房_21


hadoop多机房 hadoop三台集群_hdfs_22


使其生效

hadoop多机房 hadoop三台集群_Hadoop_23


(2)编辑core-site.xml

hadoop多机房 hadoop三台集群_hdfs_24




hadoop.tmp.dir

/opt/software/hadoop-3.2.0/tmp(文件夹不要写错)



fs.defaultFS

hdfs://hadoop1:9000(主机名)



(3)编辑hdfs-site.xml

hadoop多机房 hadoop三台集群_hadoop多机房_25




dfs.replication

3



dfs.name.dir

/opt/software/hadoop-3.2.0/hdfs/name



dfs.data.dir

/opt/software/hadoop-3.2.0/hdfs/data



dfs.permissions

false



(4)编辑yarn-site.xml

hadoop多机房 hadoop三台集群_hdfs_26




yarn.resourcemanager.hostname

cmaster



yarn.nodemanager.aux-services

mapreduce_shuffle



yarn.nodemanager.vmem-check-enbled

false



(5)编辑mapred-site.xml

hadoop多机房 hadoop三台集群_Hadoop_27




mapreduce.framework.name

yarn



(6)配置workers文件(相当于hadoop2.x里的slaves文件)

hadoop多机房 hadoop三台集群_Hadoop_28


14.在start-dfs.sh和stop-dfs.sh的最前面添加四行代码

hadoop多机房 hadoop三台集群_Hadoop_29


hadoop多机房 hadoop三台集群_hdfs_30


HDFS_DATANODE_USER=root

HDFS_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

15.在start-yarn.sh和stop-yarn.sh的最前面添加量行代码

hadoop多机房 hadoop三台集群_hdfs_31


hadoop多机房 hadoop三台集群_hdfs_32


YARN_RESOURCEMANAGER_USER=root

YARN_NODEMANAGER_USER=root

最后创建tmp文件夹

hadoop多机房 hadoop三台集群_hdfs_33


类似的,配置其它两台虚拟机的hadoop。将Hadoop目录远程拷贝过去就行了16.启动三台虚拟机的hadoop

(1)格式化主节点名称空间

[root@cmaster ~]# hdfs namenode -format

hadoop多机房 hadoop三台集群_hadoop_34


出现successfully则格式化成功

(2)在主节点上启动start-all.sh

hadoop多机房 hadoop三台集群_hdfs_35


hadoop多机房 hadoop三台集群_hadoop多机房_36


hadoop多机房 hadoop三台集群_hdfs_37


各节点jps出现就成功了