Hadoop 启动与 JPS 监测: 初学者指南
Hadoop 是一个强大的框架，用于处理大量数据，在启动 Hadoop 集群后，常常会使用 jps 命令来检查不同的服务是否正常运行。然而，初学者常常会遇到一个问题：启动 Hadoop 后，为什么 jps 命令只显示了 jps 本身而没有其他服务？本文将帮助你理解和解决这个问题，指导你完成 Hadoop 的安装和配置。
总体流程
以下是启动 Hadoop 并检查 JPS 状态的基本流程。我们将这些步骤列在表格中：
| 步骤 | 描述 |
|---|---|
| 1 | 下载并解压 Hadoop |
| 2 | 配置 Hadoop 配置文件 |
| 3 | 配置 SSH 信任 |
| 4 | 启动 Hadoop 服务 |
| 5 | 使用 jps 检查服务状态 |
流程图
使用 Mermaid 语法展示总体流程：
flowchart TD
A[下载并解压 Hadoop] --> B[配置 Hadoop 配置文件]
B --> C[配置 SSH 信任]
C --> D[启动 Hadoop 服务]
D --> E[使用 jps 检查服务状态]
每一步详细说明
1. 下载并解压 Hadoop
首先，你需要从 Apache Hadoop 的官方网站下载最新的 Hadoop 版本。使用如下命令：
# 下载 Hadoop 的最新版本
wget
# 解压 Hadoop
tar -xzvf hadoop-3.3.1.tar.gz
# 进入 Hadoop 目录
cd hadoop-3.3.1
2. 配置 Hadoop 配置文件
你需要配置 Hadoop 的核心配置文件。以下是主要需要编辑的文件：
hadoop-env.sh: 设置 Java 环境变量core-site.xml: 设置 Hadoop 核心配置hdfs-site.xml: 设置 Hadoop 分布式文件系统(HDFS)的配置mapred-site.xml: 设置 MapReduce 的配置yarn-site.xml: 设置 YARN 的配置
# 编辑 hadoop-env.sh
nano etc/hadoop/hadoop-env.sh
# 确保添加 Java 环境变量
export JAVA_HOME=/usr/local/java/jdk1.8.0_191
接下来是 core-site.xml 的配置：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
然后是 hdfs-site.xml 的配置：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
然后是 mapred-site.xml 的配置：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
最后是 yarn-site.xml 的配置：
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
3. 配置 SSH 信任
Hadoop 需要通过 SSH 来进行节点间的通信。你需要设置 SSH 信任，这样 Hadoop 各节点才能相互访问。使用如下命令：
# 生成 SSH 密钥
ssh-keygen -t rsa -P ''
# 将公钥添加到授权的密钥列表中
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
# 启动 SSH 服务
service ssh start
4. 启动 Hadoop 服务
在配置完成后，启动 Hadoop 服务。使用如下命令：
# 格式化 HDFS（首次启动时需要）
bin/hadoop namenode -format
# 启动 Hadoop 服务
sbin/start-dfs.sh
sbin/start-yarn.sh
5. 使用 jps 检查服务状态
现在可以使用 jps 命令来检查 Hadoop 服务是否正常启动。运行如下命令：
# 检查 Hadoop 服务
jps
正常情况下，你应该看到类似如下的输出（表示 Hadoop 服务已正常启动）：
12345 NameNode
12346 DataNode
12347 ResourceManager
12348 NodeManager
12349 SecondaryNameNode
67890 jps
如果你只看到一个 jps，很可能是服务未正常启动。请检查以下几点：
- 确认 Hadoop 配置文件是否正确。
- 确保 JAVA_HOME 设置正确。
- 检查 Hadoop 日志文件以获取详细错误信息（位于
logs目录下）。
结论
本文详细介绍了如何配置和启动 Hadoop，以及如何使用 jps 命令来检查服务状态。确保遵循每个步骤，仔细检查配置，特别是 Java 环境变量和 SSH 信任设置。
如果在某些步骤中遇到问题，可以查看 Hadoop 的官方文档，或查阅相关错误信息来进行调试。祝你在学习 Hadoop 的过程中顺利！
