一、安全中心配置

安全中心主要有租户管理、用户管理、告警组管理、Worker分组管理、队列管理、令牌管理等功能。安全中心只有管理员账户才有操作权限

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_用户管理

1.1 队列管理

此处的队列对应的是Yarn调度器的资源队列。故队列概念只对跑在Yarn上的任务类型有效。此处创建出的队列,可供后续任务进行选择。需要注意的是,在DolphinScheduler中创建队列,并不会影响到Yarn调度器的队列配置

此处可不创建队列。

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_用户管理_02

1.2 租户管理

租户对应的是Linux系统用户,是Worker执行任务使用的用户。如果Worker所在节点没有这个用户,Worker会在执行任务时创建这个用户。

此处创建一个atguigu租户,如下图。

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_big data_03

注:

  • 租户编码:对应Worker执行任务所使用的用户名。
  • 租户名称:用于在DolphinScheduler中显示。
  • 队列:该租户提交Yarn任务时的默认队列。

1.3 用户管理

用户对应的是DolphinScheduler的用户,用于登录DolphinScheduler。用户分管理员用户和普通用户。默认情况下,管理员只有授权和用户管理等权限,而普通用户只有创建项目,定义工作流、执行工作流等权限。
此处创建一个普通用户atguigu,如下图。

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_普通用户_04

注:

  • 用户名:DolphinScheduler登录账户
  • 租户:该用户关联的租户
  • 队列:默认为租户所关联的队列。
  • 邮件、手机号:主要用于告警通知。

1.4 告警组管理

告警组可包含多名用户,用于指定告警发送对象。

1)创建告警组

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_普通用户_05


2)增加用户

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_用户管理_06

1.5 Worker分组管理

在任务执行时,可以将任务分配给指定Worker组,最终由该组中的Worker节点执行该任务。默认情况下,所有Worker均位于default组。

此处可不做配置。

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_hdfs_07

1.6 令牌管理

令牌用于通过接口访问DolphinScheduler各项服务时的用户验证。普通用户通过UI页面访问各项服务时,无需使用令牌。若需将DolphinScheduler与第三方服务进行集成,则需调用其接口,此时需使用令牌。

二、项目管理

2.1 切换用户

默认不使用管理员用户操作项目和工作流等,故需先切换到普通用户atguigu。
1)admin用户退出

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_普通用户_08


2)使用atguigu用户登录

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_linux_09

2.2 创建项目

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_用户管理_10

2.3 查看项目

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_用户管理_11

三、工作流基础配置

下图为工作流配置页面,共包含三个模快,分别为工作流定义、工作流实例和任务实例。

  • 工作流定义:用于定义工作流,包括工作流各节点任务详情及各节点依赖关系等。
  • 工作流实例:工作流每执行一次就会生成一个工作流示例。此处可查看正在运行的工作流以及已经完成的工作流。
  • 任务实例:工作流中的一个节点任务,每执行一次就会生成一个任务实例。此处可用于查看正在执行的节点任务以及已经完成的节点任务。

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_big data_12

3.1 工作流定义

工作流要求:工作流需包含三个Shell类型的任务节点,分别是A,B,C。三个任务的依赖关系如下图所示:

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_hdfs_13


1)创建工作流

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_linux_14


2)配置任务节点

(1)节点A

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_普通用户_15


(2)节点B

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_linux_16


(3)节点C

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_普通用户_17


3)配置任务节点的依赖关系

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_hdfs_18


4)保存工作流定义

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_linux_19

3.2 提交执行工作流

1)上线工作流
工作流须上线之后才能执行。处于上线状态的工作流定义不可修改,如需修改,须先下线。

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_用户管理_20


2)单次运行工作流

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_big data_21


3)定时执行工作流

(1)点击定时

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_普通用户_22


(2)配置定时规则

此处示例为每分钟执行一次

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_hdfs_23


(3)定时管理

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_普通用户_24


(4)定时上线

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_linux_25

3.2 查看工作流实例

1)查看所有工作流实例

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_hdfs_26


2)查看工作流执行状态

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_hdfs_27

3.3 查看任务实例

1)查看所有任务实例

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_linux_28

2)查看任务实例日志

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_普通用户_29

dolphinscheduler 实时任务停止yarn dolphinscheduler使用_普通用户_30

三、进阶

引用依赖资源等