Windows 10 安装启动 Hadoop

Hadoop 是一个开源的分布式计算框架，用于处理大规模数据集。它提供了可靠的、高效的、分布式的计算能力，适用于各种类型的数据处理任务。本文将介绍如何在 Windows 10 系统上安装和启动 Hadoop。

系统要求

在安装和启动 Hadoop 之前，确保你的系统满足以下要求：

  • Windows 10 操作系统
  • Java Development Kit (JDK) 8 或更高版本
  • Hadoop 安装包

安装 Java Development Kit (JDK)

  1. 下载 JDK 安装包。你可以从 Oracle 官方网站下载最新的 JDK 安装包。

  2. 双击安装包并按照安装向导的指示完成安装。

  3. 配置环境变量。在 Windows 10 上，右键点击“此电脑”，选择“属性”，然后点击“高级系统设置”。在弹出的窗口中，点击“环境变量”按钮。在系统变量中，找到“Path”变量，并点击“编辑”按钮。在弹出的编辑窗口中，点击“新建”按钮并添加 JDK 的安装路径。点击“确定”保存更改。

  4. 验证安装。打开命令提示符，输入以下命令来验证 JDK 是否成功安装：

java -version

如果成功安装，你将看到 Java 的版本信息。

下载和安装 Hadoop

  1. 下载 Hadoop 安装包。你可以从 Hadoop 官方网站下载最新的稳定版本。

  2. 解压安装包。将下载的 Hadoop 安装包解压到你喜欢的目录中，例如 C:\hadoop。

  3. 配置环境变量。在 Windows 10 上，右键点击“此电脑”，选择“属性”，然后点击“高级系统设置”。在弹出的窗口中，点击“环境变量”按钮。在系统变量中，点击“新建”按钮，并添加以下变量：

    • 变量名：HADOOP_HOME
    • 变量值：Hadoop 的安装路径，例如 C:\hadoop

    在系统变量中，找到“Path”变量，并点击“编辑”按钮。在弹出的编辑窗口中，点击“新建”按钮，并添加以下路径：

    • %HADOOP_HOME%\bin
    • %HADOOP_HOME%\sbin

    点击“确定”保存更改。

  4. 配置 Hadoop。在 Hadoop 安装目录中，找到 etc\hadoop 目录，复制 core-site.xml.template 并将副本重命名为 core-site.xml。用文本编辑器打开 core-site.xml 文件，并添加以下配置：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

将 localhost 替换为你的计算机的主机名或 IP 地址。

  1. 启动 Hadoop。打开命令提示符，输入以下命令以启动 Hadoop：
start-all.cmd

验证 Hadoop 安装

  1. 打开 Web 浏览器，并访问以下地址以验证 Hadoop 是否成功启动：
http://localhost:50070

如果成功启动，你将看到 Hadoop 的集群状态页面。

  1. 验证 Hadoop 文件系统。打开命令提示符，输入以下命令以验证 Hadoop 文件系统是否正常工作：
hadoop fs -mkdir /test
hadoop fs -ls /

如果成功运行，你将看到文件系统中的 /test 目录。

Hadoop 启动序列图

下面是一个简单的 Hadoop 启动序列图，展示了各个组件之间的交互过程：

sequenceDiagram
    participant HDFS NameNode
    participant HDFS DataNode
    participant YARN ResourceManager
    participant YARN NodeManager
    participant Hadoop Client

    Hadoop Client->>HDFS NameNode: 启动请求
    HDFS NameNode->>HDFS DataNode: 数据块位置信息
    Hadoop Client->>HDFS DataNode: 数据读取请求