yarn提交任务的流程

原创

mob64ca12f5c08e 2024-08-07 07:38:17 ©著作权

©著作权归作者所有：来自51CTO博客作者mob64ca12f5c08e的原创作品，请联系作者获取转载授权，否则将追究法律责任

使用YARN提交任务的流程

YARN (Yet Another Resource Negotiator) 是Hadoop生态系统中的一个资源管理器，用于管理计算资源并协调分布式应用程序的执行。对于刚入行的小白，了解YARN提交任务的流程至关重要。本文将逐步指导你如何通过YARN提交任务。

提交任务的流程

在使用YARN提交任务前，我们首先了解整个流程。下面是一个简化的提交流程：

步骤	描述
1. 准备应用程序	编写并打包你的应用程序（如JAR包）
2. 配置YARN参数	设置YARN集群参数和资源配置
3. 提交应用程序	使用`yarn`命令提交应用程序
4. 监控任务状态	观察任务的执行状态及日志
5. 获取结果	任务完成后收集输出结果

步骤详解

以下将对每一步进行详细说明。

1. 准备应用程序

首先，你需要编写自己的应用程序。以Java为例，使用Maven构建项目并打包成JAR文件。

mvn clean package

这条命令会清理项目并生成一个新的JAR包。

2. 配置YARN参数

你需要配置YARN集群的参数，通常这可以在yarn-site.xml中进行配置，包括内存、CPU限制等。

<configuration>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>8192</value> <!-- 设置每个节点的内存限制为8GB -->
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>8192</value> <!-- 最大可分配内存 -->
    </property>
</configuration>

这段配置确定了YARN在运行你的任务时的资源限制。

3. 提交应用程序

使用YARN的命令行工具提交应用程序。这个一般通过yarn jar命令完成。

yarn jar /path/to/your-app.jar your.main.ClassName [args]

/path/to/your-app.jar: 替换为你应用程序的JAR包路径。
your.main.ClassName: 主类的名称。
[args]: 可选的输入参数。

举个例子，如果你的JAR包名为example.jar，主类为com.example.Main，可以这样提交：

yarn jar /path/to/example.jar com.example.Main input.txt output

这条命令将input.txt作为输入，并将结果写入到output目录。

4. 监控任务状态

你可以通过以下命令查看YARN的活动应用程序：

yarn application -list

这将列出当前正在运行的所有应用程序，包括您的应用程序的状态信息。

还可以使用以下方式获取更详细的信息，比如日志：

yarn logs -applicationId <your_application_id>

<your_application_id>: 替换为你应用程序的ID。

5. 获取结果

任务完成后，结果会保存在你指定的输出目录中。

hadoop fs -ls /output

类图

以下是YARN中任务提交及资源管理的类图示例，它帮助理解整个流程和各个组件之间的关系：

classDiagram
    class ApplicationMaster {
        +String appId
        +ResourceRequest resourceRequest
        +void monitorApplication()
    }
    
    class ResourceManager {
        +void allocateResources()
        +void submitApplication()
    }

    class NodeManager {
        +void launchContainer()
        +void monitorContainer()
    }

    ApplicationMaster --> ResourceManager
    ResourceManager --> NodeManager