1. 下载JDK,安装部署JAVA环境。

   (1)export JAVA_HOME=/home/xxx/jdk1.6.0_24 
  
(2)export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 
  
(3)export PATH=$JAVA_HOME/bin:$PATH 
  


2. 设置ssh免登录

   (1) 在机器A上执行ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa,这个命令会在.ssh文件夹下产生id_dsa和id_dsa.pub两个文件,这是ssh的一对私钥和公钥; 
  
(2) 将A的公钥id_dsa.pub分发出去,比如要实现A到B的登录,则将A的公钥注册到B机器的autorized_keys中去;在A上执行cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys,因为本地也需要打通;在B上执行cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys,注意id_dsa.pub是A的公钥; 
  
3. 下载解压hadoop-2.0.5-alpha,进入到hadoop-2.0.5-alpha/etc/hadoop做如下修改其中core-env.sh,hdfs-env.sh,mapred-env.sh,yarn-env.sh中的java路径要改成目前使用的java路径。(1) 修改core-site.xml,配置hdfs   
<configuration>
	<property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>

</configuration>

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

(3) 修改yarn-site.xml

<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>

(4) 修改hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property> </configuration>

(6) 启动hdfs
可以使用以下命令分别启动NameNode和DataNode
bin/hadoop namenode -format
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode (如果有多个datanode,需要使用hadoop-daemons.sh)
或者一次启动:sbin/start-dfs.sh

(7) 启动yarn
可以使用以下命令分别启动ResourceManager和NodeManager
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager(若有多个nodemanager,需要使用yarn-daemons.sh)
或者一次启动:sbin/start-yarn.sh



启动 Hadoop 时提示 Could not resolve hostname

如果启动 Hadoop 时遇到输出非常多“ssh: Could not resolve hostname xxx”的异常情况,如下图所示:

启动Hadoop时的异常提示

这个并不是 ssh 的问题,可通过设置 Hadoop 环境变量来解决。首先按键盘的 ctrl + c


1. export HADOOP_HOME=/usr/local/hadoop
2. export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native


Shell

保存后,务必执行 source ~/.bashrc 使变量设置生效,然后再次执行 ./sbin/start-dfs.sh

启动完成后,可以通过命令 jps

通过jps查看启动的Hadoop进程

Hadoop无法正常启动的解决方法

一般可以查看启动日志来排查原因,注意几点:

  • 启动时会提示形如 “DBLab-XMU: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.out”,其中 DBLab-XMU 对应你的机器名,但其实启动日志信息是记录在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.log 中,所以应该查看这个后缀为 .log
  • 每一次的启动日志都是追加在日志文件之后,所以得拉到最后面看,对比下记录的时间就知道了。
  • 一般出错的提示在最后面,通常是写着 Fatal、Error、Warning 或者 Java Exception 的地方。
  • 可以在网上搜索一下出错信息,看能否找到一些相关的解决方法。

此外,若是 DataNode 没有启动,可尝试如下的方法(注意这会删除 HDFS 中原有的所有数据,如果原有的数据很重要请不要这样做):

1. # 针对 DataNode 没法启动的解决方法
2. ./sbin/stop-dfs.sh   # 关闭
3. rm -r ./tmp     # 删除 tmp 文件,注意这会删除 HDFS 中原有的所有数据
4. ./bin/hdfs namenode -format   # 重新格式化 NameNode
5. ./sbin/start-dfs.sh  # 重启

Shell 命令


成功启动后,可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。


jps

开启YARN

启动 YARN 之后,运行实例的方法还是一样的,仅仅是资源管理方式、任务调度不同。观察日志信息可以发现,不启用 YARN 时,是 “mapred.LocalJobRunner” 在跑任务,启用 YARN 之后,是 “mapred.YARNRunner” 在跑任务。启动 YARN 有个好处是可以通过 Web 界面查看任务的运行情况:http://localhost:8088/cluster,如下图所示。


开启YARN后可以查看任务运行信息

但 YARN 主要是为集群提供更好的资源管理与任务调度,然而这在单机上体现不出价值,反而会使程序跑得稍慢些。因此在单机上是否开启 YARN 就看实际情况了。


不启动 YARN 需重命名 mapred-site.xml

如果不想启动 YARN,务必把配置文件 mapred-site.xml