LINUX查看hadoop

原创

mob64ca12d0e5a4 2023-09-29 01:26:41 ©著作权

文章标签 hadoop bash hdfs 文章分类 Hadoop 大数据

©著作权归作者所有：来自51CTO博客作者mob64ca12d0e5a4的原创作品，请联系作者获取转载授权，否则将追究法律责任

LINUX查看hadoop流程

本文将为你详细介绍如何在LINUX系统中查看hadoop信息。首先，让我们来看一下整个过程的流程图。

pie
    title LINUX查看hadoop流程
    "步骤1" : 50
    "步骤2" : 30
    "步骤3" : 20

步骤1：安装hadoop

在LINUX系统上查看hadoop信息之前，你需要先安装hadoop。以下是安装hadoop的步骤：

下载hadoop二进制文件
```
wget 
```
解压hadoop文件
```
tar -xzvf hadoop-x.x.x.tar.gz
```

配置环境变量

export HADOOP_HOME=/path/to/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

步骤2：启动hadoop集群

接下来，让我们来启动hadoop集群，以便你能够查看hadoop信息。以下是启动hadoop集群的步骤：

启动hdfs

hdfs namenode -format
hdfs datanode -format
start-dfs.sh

启动yarn
```
start-yarn.sh
```

启动hadoop历史服务器

mr-jobhistory-daemon.sh start historyserver

步骤3：查看hadoop信息

现在，hadoop集群已经启动，你可以使用以下命令来查看hadoop相关信息：

查看hdfs文件系统
```
hdfs dfs -ls /
```
查看hadoop集群状态
```
yarn node -list
```
查看hadoop任务信息
```
mapred job -list
```

至此，你已经成功地在LINUX系统上查看了hadoop相关信息。

类图

下面是一个简单的hadoop类图，展示了hadoop的主要组件和它们之间的关系。

classDiagram
    class Hadoop {
        +start-dfs.sh()
        +start-yarn.sh()
        +mr-jobhistory-daemon.sh()
    }

    class HDFS {
        +hdfs namenode -format()
        +hdfs datanode -format()
        +hdfs dfs -ls()
    }

    class YARN {
        +yarn node -list()
    }

    class MapReduce {
        +mapred job -list()
    }

    Hadoop --> HDFS
    Hadoop --> YARN
    Hadoop --> MapReduce

希望这篇文章对你有所帮助，让你能够轻松地在LINUX系统上查看hadoop信息。如果有任何问题，请随时联系我。