Hadoop 单机启动

Hadoop是Apache基金会开发的一个开源分布式处理框架，用于存储和处理大规模数据。它的设计目标是能够在廉价的硬件上处理大量的数据，并且具有容错性和可靠性。

本文将介绍如何在单机上启动Hadoop，并且提供相应的代码示例。

准备工作

在开始之前，我们需要完成以下准备工作：

  1. 安装Java开发工具包（JDK），并配置环境变量。

  2. 下载Hadoop安装包，并解压到本地目录。

配置Hadoop

在启动Hadoop之前，我们需要进行一些配置。

  1. 打开Hadoop安装目录下的conf文件夹，编辑hadoop-env.sh文件，设置JAVA_HOME为Java安装目录。
export JAVA_HOME=/usr/java/jdk1.8.0_281
  1. 编辑core-site.xml文件，设置Hadoop的核心配置参数。
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
  1. 编辑hdfs-site.xml文件，设置Hadoop分布式文件系统（HDFS）的配置参数。
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

启动Hadoop

我们已经完成了Hadoop的配置，现在可以启动Hadoop了。

  1. 在Hadoop安装目录下，执行以下命令格式，格式为：
sbin/start-dfs.sh

这个命令将启动Hadoop的分布式文件系统（NameNode和DataNode）。

  1. 启动完成后，可以通过以下命令检查Hadoop的运行状态：
jps

如果一切正常，你将能够看到类似以下的输出：

NameNode
DataNode
SecondaryNameNode

运行示例程序

我们已经成功启动了Hadoop，现在可以运行示例程序来验证Hadoop是否正常工作。

  1. 打开Hadoop安装目录下的share/hadoop/mapreduce文件夹，执行以下命令运行示例程序：
bin/hadoop jar hadoop-mapreduce-examples-*.jar wordcount input output

这个命令将在input文件夹中的文本文件上运行一个WordCount程序，并将结果输出到output文件夹中。

  1. 执行完成后，可以通过以下命令查看结果：
bin/hadoop fs -cat output/*

总结

通过本文，我们学习了如何在单机上启动Hadoop，并运行一个简单的示例程序。你可以根据自己的需求，进一步学习和探索Hadoop的更多功能和用法。

希望本文对你理解Hadoop的单机启动过程有所帮助。

journey
    title Hadoop 单机启动之旅
    section 准备工作
    section 配置Hadoop
    section 启动Hadoop
    section 运行示例程序
    section 总结

参考文献：

  • [Hadoop官方网站](
  • [Hadoop - 单节点启动](