dolphinscheduler连接yarn

原创

mob64ca12d8c182 2024-01-13 11:33:04 ©著作权

文章标签 apache 代码示例 Hadoop 文章分类 Yarn 大数据

©著作权归作者所有：来自51CTO博客作者mob64ca12d8c182的原创作品，请联系作者获取转载授权，否则将追究法律责任

Dolphinscheduler连接Yarn

简介

DolphinScheduler是一个分布式易于使用的可视化工作流任务调度系统，支持大数据分析、机器学习、数据挖掘等应用场景。它充分利用Yarn作为资源调度框架，以实现任务的并发执行和资源的高效利用。本文将介绍如何在DolphinScheduler中连接Yarn，以便更好地管理和调度任务。

连接Yarn的配置

在DolphinScheduler中连接Yarn需要进行一些配置。首先，在DolphinScheduler的conf目录下找到application.properties文件，修改以下配置项：

ds.yarn.am.env=HADOOP_CONF_DIR=/etc/hadoop/conf
ds.yarn.am.jvm.opts=-Xmx1024m
ds.yarn.am.log.enable=true
ds.yarn.queue=default

ds.yarn.am.env：设置Hadoop配置文件所在的路径，这里默认为/etc/hadoop/conf。
ds.yarn.am.jvm.opts：设置DolphinScheduler的Yarn Application Master的内存设置，这里默认为1G。
ds.yarn.am.log.enable：设置是否开启日志记录，这里默认为开启。
ds.yarn.queue：设置任务所在的Yarn队列，这里默认为default。

代码示例

下面是一个使用DolphinScheduler连接Yarn的代码示例：

import org.apache.dolphinscheduler.api.enums.ExecuteType;
import org.apache.dolphinscheduler.api.service.ProcessDefinitionService;
import org.apache.dolphinscheduler.api.service.impl.ProcessDefinitionServiceImpl;
import org.apache.dolphinscheduler.common.enums.ResourceType;
import org.apache.dolphinscheduler.common.utils.PropertyUtils;

public class YarnConnectionExample {

    public static void main(String[] args) {
        // load configuration
        PropertyUtils.loadPropertyFile("classpath:application.properties");

        // create process definition service
        ProcessDefinitionService processDefinitionService = new ProcessDefinitionServiceImpl();

        // submit a Yarn task
        processDefinitionService.submitTask(ExecuteType.YARN, ResourceType.FILE, "path/to/task.jar", "path/to/task.properties");
    }
}

上述代码示例中，我们首先加载配置文件application.properties，然后创建一个ProcessDefinitionService对象，最后使用submitTask方法提交一个Yarn任务。

甘特图

以下是一个使用mermaid语法绘制的甘特图，展示了DolphinScheduler连接Yarn的整个过程：

gantt
    title DolphinScheduler连接Yarn任务调度流程
    dateFormat  YYYY-MM-DD
    section 配置
    配置Yarn参数 : 2022-01-01, 1d
    完成配置 : 2022-01-02, 1d
    section 提交任务
    创建ProcessDefinitionService对象 : 2022-01-03, 1d
    提交Yarn任务 : 2022-01-04, 1d
    section 完成
    检查任务状态 : 2022-01-05, 1d
    完成 : 2022-01-06, 1d

上述甘特图展示了配置Yarn参数、创建ProcessDefinitionService对象、提交Yarn任务以及完成任务的整个流程。

关系图

以下是一个使用mermaid语法绘制的关系图，展示了DolphinScheduler连接Yarn的主要组件及其之间的关系：

erDiagram
    DolphinScheduler ||--o Yarn : 连接
    DolphinScheduler ||--o Hadoop : 依赖
    DolphinScheduler ||--o YarnHBaseStorage : 依赖
    Yarn ||--o ApplicationMaster : 运行
    YarnHBaseStorage ||--o HBase : 依赖

上述关系图展示了DolphinScheduler与Yarn、Hadoop、YarnHBaseStorage以及ApplicationMaster之间的依赖关系。