Hadoop-2.4.1安装配置
1、下载地址
http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.4.1/
linux命令下具体操作如下：
wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.4.1/hadoop-2.4.1.tar.gz
2、安装配置参考文档
官网：
这是单机配置
http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/SingleCluster.html
博客：
http://blog.csdn.net/liangliangdetianxia/article/details/37716141
3、具体安装配置
1、下载
2、解压
root@i-5ygfjuik:~#tar zxvf hadoop-2.4.1.tar.gz.1
3、单机配置
在hadoop文件夹下
etc/hadoop/hadoop-env.sh
修改下面内容
# set to theroot of your Java installation
export JAVA_HOME=/usr/java/latest
本例中用到export JAVA_HOME=/opt/jdk
//hadoop的安装路径
Hadoop 环境配置
需要在linux系统下 找到profile文件进行配置 profile文件一般都在/etc/profile
以本文为例具体配置如下：
# vim /etc/profile
export HADOOP_PREFIX=/root/hadoop-2.4.1
export PATH=$PATH:$HADOOP_PREFIX/bin
#Assuming your installation directory is /usr/local/hadoop
exportHADOOP_PREFIX=/usr/local/hadoop
启动hadoop
$ bin/hadoop
4、伪分布配置(配置不全)
root@i-5ygfjuik:~/hadoop-2.4.1/etc/hadoop# vimcore-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
root@i-5ygfjuik:~/hadoop-2.4.1/etc/hadoop#vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
伪分布配置
需要进入hadoop安装目录下找到 hadoop目录下的etc/hadoop
--------------------------------------------------------
对etc/hadoop中的文件进行配置（相关文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml）
a.配制core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/hadoop-2.4.1/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/hadoop-2.4.1/dfs/data</value>
</property>
</configuration>
注意红色字体hadoop是我为配置hadoop2.4.1设立的账户名称，是系统在home目录下自动创建的，可以根据需要更改。
b.配制hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<!--系统默认文件保存3份，因伪分布模式，故改为1份-->
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/hadoop-2.4.0/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/hadoop-2.4.0/dfs/data</value>
</property>
</configuration>
c.配制mapred-site.xml（具体参考安装的版本）
<configuration>
<property>
<name>mapreduce.jobtracker.address</name>
<value>localhost:9001</value>
</property>
</configuration>
d.配置yarn-site.xml
<configuration>
<!-- Sitespecific YARN configuration properties -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
---------------------------------------------------
现在，检查SSh 能否自动登录（不需要密码）
root@i-5ygfjuik:~/hadoop-2.4.1/etc/hadoop#ssh localhost
如果不可以，就按下面设置
root@i-5ygfjuik:~/hadoop-2.4.1/etc/hadoop#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
root@i-5ygfjuik:~/hadoop-2.4.1/etc/hadoop#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
执行
1、格式化
root@i-5ygfjuik:~/hadoop-2.4.1#bin/hdfs namenode –format
必须这样执行，不能进入bin 在执行
2、开始NameNode 和DataNode的守护进程
root@i-5ygfjuik:~/hadoop-2.4.1# sbin/start-dfs.sh
3、浏览NameNode的界面 默认情况下是可以的
4、使HDFS目录能够执行MAPReduce的工作
root@i-5ygfjuik:~/hadoop-2.4.1#bin/hdfs dfs –mkdir /user
root@i-5ygfjuik:~/hadoop-2.4.1#bin/hdfs dfs –mkdir /user/username
5、复制输入文件到这个分布式系统
（还没跑通）
root@i-5ygfjuik:~/hadoop-2.4.1# bin/hdfs dfs -putetc/hadoop input
6、运行一些提供的例子
root@i-5ygfjuik:~/hadoop-2.4.1# bin/hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar grep input output'dfs[a-z.]+'
7、检查输出结果
把输出文件从分布式文件系统拷贝到本地文件系统，以便研究结果
root@i-5ygfjuik:~/hadoop-2.4.1#bin/hdfs dfs -get output output
root@i-5ygfjuik:~/hadoop-2.4.1#cat output/*
在分布式系统中查看结果
root@i-5ygfjuik:~/hadoop-2.4.1#bin/hdfs dfs -cat output/*
8、当你完成后，停止守护进程
root@i-5ygfjuik:~/hadoop-2.4.1#sbin/stop-dfs.sh
