hadoop 自动化部署 部署hadoop集群

Hadoop集群配置及运行

• 一、集群配置
• 二、运行

一、集群配置

1、修改安装好的hadoop260文件的用户权限，修改为root用户。

• chown -R root:root hadoop260/
  
  2、设置JDK，进入安装好的hadoop260文件下的etc/hadoop/目录下，编辑hadoop-env.sh文件。
  
  
  3、配置hadoop文件系统，进入安装好的hadoop260文件下的etc/hadoop/目录下，编辑core-site.xml文件。
  
  
  4、设置hadoop replicas备份，进入安装好的hadoop260文件下的etc/hadoop/目录下，编辑hdfs-site.xml文件。
  
  
  5、配置hadoop mapreduce计算框架，首先将安装好的hadoop260文件下的etc/hadoop/目录下mapred-site.xml.template文件复制一份到mapred-site.xml文件中，再编辑mapred-site.xml文件。
  
  
  6、配置hadoop yarn管理调度，进入安装好的hadoop260文件下的etc/hadoop/目录下，编辑yarn-site.xml文件。
  
  
  7、配置hadoop slaves主机名，进入安装好的hadoop260文件下的etc/hadoop/目录下，编辑slaves文件。
  
  
  8、上述所有hadoop配置文件完成配置后，我们可以将主机上的存放hadoop260目录的上一级目录hadoop打包，分别远程拷贝到其余从机中，因为各个虚拟上的hadoop配置文件都相同。将压缩包远程拷贝各个虚拟机后，再解压缩，便可完成各个虚拟机的hadoop配置文件的配置。
• 将hadoop目录打包到当前目录
  tar -zcf lunix-hadoop260.tar.gz hadoop/
• 远程拷贝给各个从机
  scp lunix-hadoop260.tar.gz root@host_name:/opt/bigdata/
• 在各个从机的/opt/bigdata目录下解压缩该压缩包，完成hadopp配置文件的配置
  tar -zxvf lunix-hadoop260.tar.gz

9、配置hadoop环境变量，在根目录下编辑/etc/目录下的profile文件，当主机上的环境变量配置完成后，同样可以用远程拷贝的方式，将环境变量配置拷贝给各个从机，前提是，里面的各个从机里目录的层级都和主机一样，否则拷贝过后需要修改环境变量配置。最后激活各个虚拟机上的环境变量配置。

• 远程拷贝环境变量配置
  scp /etc/profile root@host_name:/etc
• 激活环境变量配置
  source /etc/profile

10、hadoop格式化HDFS，注意该步骤只在主机上进行格式化，进入安装的hadoop260文件夹的bin目录下格式化hdfs。见到以下结果，说明格式化成功。

• 格式化hdfs
  hdfs namenode -format

11 、配置hadoop-native库，将tar -xf hadoop-native-64-2.6.0.tar解压到安装好的hadoop260文件下的/lib/native目录下面。

二、运行

1、上述配置文件完成后，开始启动hadoop。进入hadoop260/sbin目录下，启动dfs和yarn以及jobhistory。

• start-dfs.sh
• start-yarn.sh
• ./mr-jobhistory-daemon.sh start historyserver

2、查看hadoop服务状态，先查看主机服务状态，当显示下列结果说明，主机hadoop启动成功。

3、再查看每个从机hadoop服务状态

4、当上述主机和从机的hadoop服务状态都满足要求时，说明hadoop集群启动成功。最后浏览器访问hadoop页面成功即可。