一、实验环境:
本文的环境搭建是: Mac OS 中利用virtualbox虚拟三台基于centos的服务器。如下图
IP 域名配置表如下:
主机名 | 别名 | IP地址 | 系统版本 | 角色 |
lhmaster | lhmaster.lihui.hadoop | 192.168.1.4 | Centos 6.3 | master |
lhslave01 | lhslave01.lihui.hadoop | 192.168.1.5 | Centos 6.3 | slave |
lhslave02 | lhslave02.lihui.hadoop | 192.168.1.6 | Centos 6.3 | slave |
二. 部署前准备:
集群部署涉及的软件包括: jdk ,ssh ,dns, nfs 和 hadoop-1.2.1
配置JAVA, Hadoop环境变量:
第一步:terminal中输入命令 vi /etc/profile
第二步:在编辑状态下加入如下的环境变量
#setJava environment
exportJAVA_HOME=/usr/java/jdk1.7.0_25
exportCLASSPATH=./:$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
exportPATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME
#sethadoop environment
exportHADOOP_HOME=/home/lihui/hadoop/hadoop-1.2.1
exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/conf
三.配置DNS服务器
说明:在生产的hadoop集群环境中,由于服务器可能会有许多台,通过配置DNS映射机器名,相比配置/etc/host方法,可以避免在每个节点都配置各自 的host文件,而且在新增节点时也不需要修改每个节点的/etc/host的主机名-IP映射文件。减少了配置步骤和时间,便于管理。
详细步骤见:
【生产环境下hadoop集群配置之DNS配置实验】
四. 配置NFS服务器进行SSH免密码登录
说明:通过NFS配置ssh免密码连入时,当我们有新的节点接入时,不再需要分别向其它节点各自添加自己公钥信息,只需要把公钥信息追加到共享的 authorized_keys公钥当中,其它节点就直接指向最新的公钥文件。便于分配公钥和管理。
详细步骤见:
【生产环境下hadoop集群配置之NFS配置实验】
五. hadoop 相关配置文件 修改
1:hadoop-env.sh 修改:
修改JAVA_HOME目录
2:core-site.xml 修改
在其中增加两个属性,如下图:
3: hdfs-site.xml 修改
增加属性如下:
4:mapred-site.xml 修改
增加属性如下:
5:masters 修改
6:slaves 修改
六. 向各个结点复制 配置好的hadoop
运行 scp.sh 脚本 即可完成向各个结点的复制
scp.sh 脚本生成步骤:
【生产环境下hadoop集群配置之awk生成hadoop拷贝脚本】
七. 格式化并运行hadoop
1:格式化
2:启动hadoop
3: 查看运行进程
4:进入web ui 查看运行状态
50030 端口:
50070 端口 查看: