单机安装 Hadoop

Hadoop 是一个开源的分布式存储和计算框架,用于处理大规模数据。在实际应用中,我们可以在单机上安装 Hadoop 以便进行开发和测试。本文将介绍如何在单机上安装和配置 Hadoop。

步骤

1. 下载和解压 Hadoop

首先,我们需要从官方网站上下载 Hadoop 的压缩包。然后解压缩到指定目录下,例如 /usr/local/hadoop

wget 
tar -zxvf hadoop-3.3.1.tar.gz -C /usr/local

2. 配置环境变量

接下来,我们需要配置 Hadoop 的环境变量。编辑 ~/.bashrc 文件,添加以下内容:

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

然后运行以下命令使配置生效:

source ~/.bashrc

3. 修改配置文件

进入 Hadoop 的配置目录,修改 hadoop-env.sh 文件,设置 Java 路径:

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

然后修改 core-site.xml 文件,添加以下配置:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

4. 启动 Hadoop

运行以下命令启动 Hadoop:

start-all.sh

5. 验证安装

打开浏览器,访问 http://localhost:9870,可以看到 Hadoop 的 Web 界面,表明安装成功。

序列图

下面是安装 Hadoop 过程的序列图:

sequenceDiagram
    participant User
    participant Hadoop
    User->>Hadoop: 下载和解压 Hadoop
    User->>Hadoop: 配置环境变量
    User->>Hadoop: 修改配置文件
    User->>Hadoop: 启动 Hadoop

甘特图

下面是安装 Hadoop 过程的甘特图:

gantt
    title Hadoop 安装过程
    section 下载和解压
    下载和解压: done, 2022-01-01, 1d
    section 配置环境变量
    配置环境变量: done, 2022-01-02, 1d
    section 修改配置文件
    修改配置文件: done, 2022-01-03, 1d
    section 启动 Hadoop
    启动 Hadoop: done, 2022-01-04, 1d

至此,我们已经成功在单机上安装和配置了 Hadoop。通过上述步骤,您可以开始使用 Hadoop 来处理大规模数据。希望本文对您有帮助。