一、实验环境:

本文的环境搭建是: Mac OS 中利用virtualbox虚拟三台基于centos的服务器。如下图

hadoop初始化line304 初始化hadoop集群(执行命令后 )_hadoop初始化line304


IP 域名配置表如下:

主机名

别名

IP地址

系统版本

角色

lhmaster

lhmaster.lihui.hadoop

192.168.1.4

Centos 6.3

master

lhslave01

lhslave01.lihui.hadoop

192.168.1.5

Centos 6.3

slave

lhslave02

lhslave02.lihui.hadoop

192.168.1.6

Centos 6.3

slave






二. 部署前准备:

     集群部署涉及的软件包括: jdk ,ssh ,dns, nfs 和 hadoop-1.2.1

配置JAVA, Hadoop环境变量:

第一步:terminal中输入命令 vi /etc/profile

第二步:在编辑状态下加入如下的环境变量

#setJava environment
exportJAVA_HOME=/usr/java/jdk1.7.0_25
exportCLASSPATH=./:$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
exportPATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME
#sethadoop environment
exportHADOOP_HOME=/home/lihui/hadoop/hadoop-1.2.1
exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/conf



三.配置DNS服务器

    说明:在生产的hadoop集群环境中,由于服务器可能会有许多台,通过配置DNS映射机器名,相比配置/etc/host方法,可以避免在每个节点都配置各自       的host文件,而且在新增节点时也不需要修改每个节点的/etc/host的主机名-IP映射文件。减少了配置步骤和时间,便于管理。

    详细步骤见:
   【生产环境下hadoop集群配置之DNS配置实验】


四. 配置NFS服务器进行SSH免密码登录

      说明:通过NFS配置ssh免密码连入时,当我们有新的节点接入时,不再需要分别向其它节点各自添加自己公钥信息,只需要把公钥信息追加到共享的         authorized_keys公钥当中,其它节点就直接指向最新的公钥文件。便于分配公钥和管理。


    详细步骤见:


  

【生产环境下hadoop集群配置之NFS配置实验】


五. hadoop 相关配置文件 修改

      1:hadoop-env.sh 修改:

           修改JAVA_HOME目录

           

hadoop初始化line304 初始化hadoop集群(执行命令后 )_hadoop集群_02

    2:core-site.xml 修改

        在其中增加两个属性,如下图:

        

hadoop初始化line304 初始化hadoop集群(执行命令后 )_JAVA_03

    3: hdfs-site.xml 修改

       增加属性如下:

      

hadoop初始化line304 初始化hadoop集群(执行命令后 )_hadoop初始化line304_04

    4:mapred-site.xml 修改

      增加属性如下:

      

hadoop初始化line304 初始化hadoop集群(执行命令后 )_hadoop_05

    5:masters 修改

      

hadoop初始化line304 初始化hadoop集群(执行命令后 )_hadoop集群_06

    6:slaves 修改

     

hadoop初始化line304 初始化hadoop集群(执行命令后 )_hadoop集群_07


六. 向各个结点复制 配置好的hadoop 

      运行 scp.sh 脚本 即可完成向各个结点的复制

     scp.sh 脚本生成步骤:

   【生产环境下hadoop集群配置之awk生成hadoop拷贝脚本】


七. 格式化并运行hadoop

     1:格式化

      

hadoop初始化line304 初始化hadoop集群(执行命令后 )_JAVA_08

     2:启动hadoop

     

hadoop初始化line304 初始化hadoop集群(执行命令后 )_hadoop初始化line304_09

    3: 查看运行进程

         

hadoop初始化line304 初始化hadoop集群(执行命令后 )_JAVA_10

        

hadoop初始化line304 初始化hadoop集群(执行命令后 )_JAVA_11

        

hadoop初始化line304 初始化hadoop集群(执行命令后 )_hadoop初始化line304_12


       4:进入web ui 查看运行状态

               50030 端口:

                

hadoop初始化line304 初始化hadoop集群(执行命令后 )_hadoop初始化line304_13


      50070 端口 查看:

      

hadoop初始化line304 初始化hadoop集群(执行命令后 )_hadoop初始化line304_14