hadoop如何开启稽核日志 hadoop启动日志

前言

当开始着手实践Hadoop时，安装Hadoop往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有Hadoop安装配置教程，但由于对Linux环境不熟悉，书上跟官网上简略的安装步骤新手往往Hold不住。加上网上不少教程也甚是坑，导致新手折腾老几天愣是没装好，很是打击学习热情。

本教程由厦门大学数据库实验室出品，转载请注明。本教程适合于原生Hadoop 2，包括Hadoop 2.6.0, Hadoop 2.4.1等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，保证按照步骤来，都能顺利安装并运行Hadoop。另外有Hadoop安装配置简略版方便有基础的读者快速完成安装。此外，希望读者们能多去了解一些Linux的知识，以后出现问题时才能自行解决。

环境

Ubuntu 14.04 64位

Hadoop 2.6.0 (stable)

本教程所使用的集群环境: 两台主机，一台作为 Master，局域网 IP 为 192.168.1.121；另一台作为 Slave，局域网 IP 为 192.168.1.122。

准备工作

Hadoop 集群的安装配置大致为如下流程:

1. 选定一台机器作为 Master
2. 在 Master 主机上配置hadoop用户、安装SSH server、安装Java环境
3. 在 Master 主机上安装Hadoop，并完成配置
4. 在其他主机上配置hadoop用户、安装SSH server、安装Java环境
5. 将 Master 主机上的Hadoop目录复制到其他主机上
6. 开启、使用 Hadoop

配置hadoop用户、安装SSH server、安装Java环境、安装Hadoop已经在Hadoop安装教程_单机/伪分布式配置中有详细介绍，请前往浏览，不再重复叙述。

伪分布式环境的 Hadoop，毕竟平时写程序，还是会先在伪分布式环境下进行调试的。待伪分布式能够正常使用后，再继续浏览本教程后续的集群配置。

网络配置

/usr/local/hadoop/sbin/stop-dfs.sh)，再进行后续集群配置。

我这边是使用了两台主机搭建集群，主机名与IP地址对应如下：

Master  192.168.1.121
Slave1  192.168.1.122

（注：自己实验时，IP地址可以与上面的不同，根据要求修改就可以了。）

/etc/hostname 中，修改机器名为Master，将其他主机命令为Slave1、Slave2等。接着在 /etc/hosts

1. sudo vim /etc/hostname # 在此处修改主机名
2. sudo vim /etc/hosts # 在此处修改主机与 IP 的映射关系

完成后，如下图所示(/etc/hosts 中只能有一个127.0.0.1，对应为localhost，否则会出错)。最好重启一下，在终端中才会看到机器名的变化。

Hadoop中的hosts设置

注意，该网络配置需要在所有主机上进行

如上面讲的是 Master 主机的配置，而在其他的 Slave 主机上，也要对 /etc/hostname（修改为 Slave1、Slave2等） 和 /etc/hosts（一般跟 Master 上的配置一样） 这两个文件进行相应的修改！

ping Master和ping Slave1测试一下，看是否相互ping得通。

（注：Ctrl+C可以停止ping，默认是不会停止的。）

ping

SSH无密码登陆节点

这个操作是要让Master节点可以无密码SSH登陆到Slave节点上。

首先生成 Master 的公匙，在 Master 节点终端中执行：

（注：cd ~回到用户家目录，这得看你是用什么用户登录了，如果是以root身份登录，执行此命令后，回到/root/目录下，如果是以其他用户等录得话，则是回到/home/目录下

在shell中以 . 开头的表示隐藏文件或目录，用ls是默认看不到的。这里.ssh也就是个隐藏目录。）

1. cd ~/.ssh # 如果没有该目录，先执行一次ssh localhost
2. ssh-keygen -t rsa # 一直按回车就可以，生成的密钥保存为.ssh/id_rsa

Master 节点需能无密码 ssh 本机，这一步还是在 Master 节点上执行：

1. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

ssh Master

1. scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/

scp时会要求输入Slave1上hadoop用户的密码(hadoop)，输入完成后会提示传输完毕。

Slave1节点

1. cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

如果有其他 Slave 节点，也要执行 将公匙传输到 Slave 节点、在 Slave 节点上加入授权 这两步。

最后在 Master 节点上就可以无密码SSH到Slave1节点了。

1. ssh Slave1

配置集群/分布式环境

集群/分布式模式需要修改 etc/hadoop 中的5个配置文件，后四个文件可点击查看官方默认设置值，这里仅设置了正常启动所必须的设置项： slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。

（注：这一部分在Master上进行，因为这些配置文件在之后都会被复制到Slave上。）

slave

1. cd /usr/local/hadoop/etc/hadoop
2. vim slaves

localhostcore-site.xml

<property>
</property>

改为下面的配置。后面的配置文件的修改类似。

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://Master:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/hadoop/tmp</value>
    <description>Abase for other temporary directories.</description>
</property>

hdfs-site.xml，因为只有一个Slave，所以dfs.replication的值设为1。

<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>Master:50090</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

mapred-site.xml，这个文件不存在，首先需要从模板中复制一份：

1. cp mapred-site.xml.template mapred-site.xml

然后配置修改如下：

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

yarn-site.xml：

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>Master</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

配置好后，将 Master 上的 Hadoop 文件复制到各个节点上(虽然直接采用 scp 复制也可以正确运行，但会有所不同，如符号链接 scp 过去后就有点不一样了。所以先打包再复制比较稳妥)。因为之前有跑过伪分布式模式，建议在切换到集群模式前先删除之前的临时文件。

./hadoop的意思

. 在这里表示的是当前目录，就像 .. 表示上级目录一样。

这个 / 表示的是目录级别的分隔符，他之前的就是目录名，./aaa/ 表明的就是 . （也就是当前目录）下面的 aaa 目录。当然这个 aaa 后面的 / 可以省略，就像 ./ 表示当前目录时，其实 / 是不需要的。
对应的 ./bbb 表示的是当前目录下面的 bbb 文件，但也可以表示 bbb 这个目录，区别就在于这个 bbb 是文件还是目录，所以目录一般都在后面加 / 来表示。尤其是鉴于 . 这个符号太过常用，单拿出来容易引起混乱，所以大家都用 ./ 表示当前目录。同样的 xxxx/ 表示 xxxx 目录。）

1. cd /usr/local
2. rm -r ./hadoop/tmp # 删除 Hadoop 临时文件
3. sudo tar -zcf ./hadoop.tar.gz ./hadoop
4. scp ./hadoop.tar.gz Slave1:/home/hadoop

Slave1上执行：

(在前面，虚拟机确实应该重启，否则下面这两步都会出问题。)

1. sudo tar -zxf ~/hadoop.tar.gz -C /usr/local
2. sudo chown -R hadoop:hadoop /usr/local/hadoop

切换 Hadoop 模式应删除之前的临时文件

切换 Hadoop 的模式，不管是从集群切换到伪分布式，还是从伪分布式切换到集群，如果遇到无法正常启动的情况，可以删除所涉及节点的临时文件夹，这样虽然之前的数据会被删掉，但能保证集群正确启动。或者可以为集群模式和伪分布式模式设置不同的临时文件夹（未验证）。所以如果集群以前能启动，但后来启动不了，特别是 DataNode 无法启动，不妨试着删除所有节点（包括 Slave 节点）上的 tmp 文件夹，重新执行一次 bin/hdfs namenode -format，再次启动试试。

Master节点上就可以启动hadoop了。

1. cd /usr/local/hadoop/
2. bin/hdfs namenode -format # 首次运行需要执行初始化，后面不再需要
3. sbin/start-dfs.sh
4. sbin/start-yarn.sh

jps可以查看各个节点所启动的进程。

通过jps查看Master的Hadoop进程NameNode、SecondrryNameNode、ResourceManager进程。

通过jps查看Slave的Hadoop进程DataNode和NodeManager进程。

（注：在这里出现过问题，重启Master后运行成功。）

Master节点上通过命令bin/hdfs dfsadmin -report查看DataNode是否正常启动。例如我这边一共有1个Datanodes。

通过dfsadmin查看DataNode的状态

通过查看启动日志分析启动失败原因

有时Hadoop集群无法正确启动，如 Master 上的 NameNode 进程没有顺利启动，这时可以查看启动日志来排查原因，不过新手可能需要注意几点：

• 启动时会提示 “Master: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-Master.out”，但其实启动日志信息是记录在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-Master.log 中；
• 每一次的启动日志都是追加在日志文件之后，所以得拉到最后面看，这个看下记录的时间就知道了。
• 一般出错的提示在最后面，也就是写着 Error 或者 Java 异常的地方。

也可以通过Web页面看到查看DataNode和NameNode的状态，http://master:50070/

关闭Hadoop集群也是在Master节点上执行：

1. sbin/stop-dfs.sh
2. sbin/stop-yarn.sh

执行分布式实例

执行分布式实例过程与伪分布式模式一样。首先创建所需的几个目录

1. bin/hdfs dfs -mkdir -p /user/hadoop

将etc/hadoop中的文件作为输入文件复制到分布式文件系统中。

1. bin/hdfs dfs -put etc/hadoop input

通过查看DataNode的状态（占用大小有改变），输入文件确实复制到了DataNode中。

( http://localhost:50070 )

通过Web页面查看DataNode的状态

接着就可以运行MapReduce作业了。

1. bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar grep input output 'dfs[a-z.]+'

（注：这里的2.4.1.jar是java的版本号，根据安装jdk的不同，进行修改。）

运行时的信息如下所示，显示Job的进度。可能会比较慢，但如果迟迟没有进度，比如10分钟都没看到进度，那不妨重启Hadoop再试试。

显示MapReduce Job的进度

同样可以通过Web界面查看任务进度 http://master:8088/cluster

通过Web页面集群状态和MapReduce作业的信息

在 Web 界面点击 “Tracking UI” 这一列的 History，可能会提示网页无法打开，遇到这种情况需要手动开启 jobhistory server，开启之后刷新页面再点击就可以打开了。

1. /usr/local/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver

执行完毕后的输出结果：

MapReduce作业的输出结果

相关教程

• 使用Eclipse编译运行MapReduce程序: 用文本编辑器写 Java 程序是不靠谱的，还是用 Eclipse 比较方便。
• 使用命令行编译打包运行自己的MapReduce程序: 有时候需要直接通过命令来编译 MapReduce 程序。

(注：遇到一切问题，不浪费时间，暂时再换个虚拟机试试。)

参考资料

• http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html