配置Hadoop集群

在master虚拟机上配置hadoop

编辑Hadoop环境配置文件 - hadoop-env.sh

命令:cd $HADOOP_HOME/etc/hadoop,进入hadoop配置目录

hadoop中配置slaves干什么 hadoop配置slaves文件_xml


命令:vim hadoop-env.sh

hadoop中配置slaves干什么 hadoop配置slaves文件_hadoop中配置slaves干什么_02


命令source hadoop-env.sh,让配置生效

hadoop中配置slaves干什么 hadoop配置slaves文件_hadoop_03


hadoop中配置slaves干什么 hadoop配置slaves文件_hadoop_04


编辑Hadoop核心配置文件 - core-site.xml

命令:vim core-site.xml

hadoop中配置slaves干什么 hadoop配置slaves文件_hadoop_05


hadoop中配置slaves干什么 hadoop配置slaves文件_hdfs_06


编辑HDFS配置文件 - hdfs-site.xml

命令:vim hdfs-site.xml

hadoop中配置slaves干什么 hadoop配置slaves文件_大数据_07


编辑MapReduce配置文件 - mapred-site.xml

命令:vim mapred-site.xml

hadoop中配置slaves干什么 hadoop配置slaves文件_大数据_08


编辑yarn配置文件 - yarn-site.xml

命令:vim yarn-site.xml

hadoop中配置slaves干什么 hadoop配置slaves文件_xml_09


编辑workers文件确定数据节点

执行命令:vim workers

hadoop中配置slaves干什么 hadoop配置slaves文件_hadoop_10


在slave1虚拟机上安装配置hadoop

将master虚拟机上的hadoop分发到slave1虚拟机

hadoop中配置slaves干什么 hadoop配置slaves文件_hdfs_11


hadoop中配置slaves干什么 hadoop配置slaves文件_hadoop中配置slaves干什么_12


将master虚拟机上环境配置文件分发到slave1虚拟机

命令:scp /etc/profile root@slave1:/etc/profile

hadoop中配置slaves干什么 hadoop配置slaves文件_大数据_13


在slave1虚拟机上让环境配置生效

切换到slave1虚拟机

命令:source /etc/profile

hadoop中配置slaves干什么 hadoop配置slaves文件_hdfs_14


在slave2虚拟机上安装配置hadoop

将master虚拟机上的hadoop分发到slave2虚拟机

hadoop中配置slaves干什么 hadoop配置slaves文件_hadoop中配置slaves干什么_15


hadoop中配置slaves干什么 hadoop配置slaves文件_hadoop_16


将master虚拟机上环境配置文件分发到slave2虚拟机

命令:scp /etc/profile root@slave2:/etc/profile

hadoop中配置slaves干什么 hadoop配置slaves文件_hdfs_17


在slave2虚拟机上让环境配置生效

切换到slave2虚拟机

命令:source /etc/profile

hadoop中配置slaves干什么 hadoop配置slaves文件_大数据_18

格式化文件系统

初次启动HDFS集群时,必须对主节点进行格式化处理。

命令:hdfs namenode -format

hadoop中配置slaves干什么 hadoop配置slaves文件_hadoop_19


hadoop中配置slaves干什么 hadoop配置slaves文件_xml_20


查看名称节点格式化成功的信息

hadoop中配置slaves干什么 hadoop配置slaves文件_xml_21

启动和关闭Hadoop集群

start-all.sh命令,一起启动hdfs和yarn服务,也可以分开启动两种服务。

启动hdfs服务

执行命令:start-dfs.sh

hadoop中配置slaves干什么 hadoop配置slaves文件_hadoop_22


查看虚拟机上的进程

hadoop中配置slaves干什么 hadoop配置slaves文件_hdfs_23


hadoop中配置slaves干什么 hadoop配置slaves文件_大数据_24

hadoop中配置slaves干什么 hadoop配置slaves文件_hadoop_25


启动yarn服务

命令:start-yarn.sh

hadoop中配置slaves干什么 hadoop配置slaves文件_大数据_26


查看master虚拟机的进程

命令jps

hadoop中配置slaves干什么 hadoop配置slaves文件_大数据_27


hadoop中配置slaves干什么 hadoop配置slaves文件_大数据_28


hadoop中配置slaves干什么 hadoop配置slaves文件_大数据_29


主节点上停止Hadoop集群

命令:stop-all.sh

hadoop中配置slaves干什么 hadoop配置slaves文件_大数据_30