hadoop部署

精选转载

sdkuiwei 2016-10-08 21:58:19

Hadoop对我来说是一个全新的东西，不知道它是啥，也不知道它能做什么。求懂的大神指点一二。
  花了差不多一个上午加半个下午的时间研究了一下官网（http://hadoop.apache.org/docs/current/index.html）的文档，成功搭建了Hadoop单节点集群的安装，觉得官网的安装文档有的问题，因此记录一下我的安装过程。
参考文献http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html
1.我的安装环境
centos6.5操作系统的虚拟机。
2. 安装必须的一些软件。
(1) jdk。我用的版本是jdk-7u67-linux-x64.rpm。
rpm -ivh jdk-7u67-linux-x64.rpm
           (2) ssh，并实现本地无密码登陆
yum intall ssh
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
(3) rsync
yum install rsync
3. 下载Hadoop的安装包
到http://mirrors.cnnic.cn/apache/hadoop/common/下载Hadoop的安装包，里面有不同的版本给你选择，选一个稳定版。我选择的是hadoop-2.6.0。
下载完成后，解压。
tar -zxvf hadoop-2.6.0.tar.gz
4. 配置环境变量
我尝试了官网给的配置方法，执行下面的指令的时候回遇到错误，我参考了别人的配置方式，找到了一种可行的方式。
(1)编辑/etc/profile文件
vi /etc/profile
  添加下面内容：
  export JAVA_HOME=/usr/java/jdk1.7.0_67 #java的安装路径

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

export HADOOP_HOME=/home/hadoop/hadoop-2.6.0 #Hadoop安装包解压目录

   export PATH=$PATH :$HADOOP_HOME/bin
    保存退出，还有重新source一下。
  source /etc/profile
(2)配置hadoop-env.sh
该文件在Hadoop解压目录的 etc/hadoop/目录下，添加
export JAVA_HOME=/usr/java/jdk1.7.0_67 #Java安装路径
5. Hadoop的配置
(1) etc/hadoop/core-site.xml：
<configuration>

<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

(2) etc/hadoop/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
6. 执行
(1)系统格式化
cd /home/hadoop/hadoop-2.6.0
bin/hdfs namenode -format
(2)启动NameNode守护进程和DataNode守护进程: