文章目录

  • 安全中心配置
  • Yarn队列管理
  • 租户管理
  • 用户管理
  • 告警实例管理与告警组管理
  • Worker 分组管理
  • 环境管理
  • 令牌管理


安全中心配置

安全中心主要有租户管理、用户管理、告警组管理、告警实例管理、Worker 分组管理、Yarn 队列管理、环境管理、令牌管理等功能。

DolphinScheduler 和yarn dolphinscheduler 和yarn关系_普通用户

Yarn队列管理

队列是在执行 spark、mapreduce 等程序,需要用到“队列”参数时使用的。此处的队列对应的是 Yarn 调度器的资源队列。故队列概念只对跑在 Yarn 上的任务类型有效。

此处创建出的队列,可供后续任务进行选择。需要注意的是,在DolphinScheduler 中创建队列,并不会影响到 Yarn 调度器的队列配置。

DolphinScheduler 和yarn dolphinscheduler 和yarn关系_安全_02

注:
➢ 名称:DS 执行任务时可以选择的队列名称。
➢ 队列值:与名称相对应的 Yarn 调度队列的名称。

租户管理

租户对应的是 Linux 的用户,用于 worker 提交作业所使用的用户。如果 linux 没有这个用户,默认情况下会导致任务运行失败。可以通过修改 worker.properties 配置文件中参数worker.tenant.auto.create=true(默认值为 false)实现当 linux 用户不存在时自动创建该用户。

worker.tenant.auto.create=true 参数会要求 worker 可以免密运行 sudo 命令。
此处创建一个 root 租户,如下图。

DolphinScheduler 和yarn dolphinscheduler 和yarn关系_普通用户_03

DolphinScheduler 和yarn dolphinscheduler 和yarn关系_运维_04

注:
➢ 租户编码:租户编码是 Linux 上的用户,唯一,不能重复。
➢ 队列:该租户提交 Yarn 任务时的默认队列。

用户管理

用户对应的是 DolphinScheduler 的用户,用于登录 DolphinScheduler。用户分管理员用户和普通用户。

管理员有授权和用户管理等权限,没有创建项目和工作流定义的操作的权限。
普通用户可以创建项目和对工作流定义的创建,编辑,执行等操作。此处创建一个普通用户 haohuan,密码:用户+123,如下图。

DolphinScheduler 和yarn dolphinscheduler 和yarn关系_用户管理_05

注:
➢ 用户名:DolphinScheduler 登录账户
➢ 租户:该用户关联的租户
➢ 队列:默认为租户所关联的队列。
➢ 邮件、手机号:主要用于告警通知。

告警实例管理与告警组管理

告警实例与告警组用于任务运行成功或者失败之后的告警通知。一个告警组可包含多个告警实例,一个告警实例,需选择一个告警插件,并配置相应参数,目前支持的告警插件有电子邮件、钉钉、企业微信、飞书等。
此处暂不配置。

Worker 分组管理

一个 Worker 分组由多个 Worker 组成。在任务执行时,可以将任务分配给指定 Worker组,由该组中的 Worker 节点执行该任务。每个 Worker 至少属于一个组,默认为 default 组。Worker 所属分组可以调整,调整方式如下:
1)方式一
打开要设置分组的 Worker 节点上的 worker.properties 配置文件,修改worker.groups 参 数,worker.groups 参数的值为该 Worker 节点对应的分组名称,默认为 default,如果该 worker节点属于多个分组,则多个分组名称以逗号隔开。
示例:

worker.groups=default,test

2)方式二
在 Web UI 的安全中心的 Workder 分组管理中修改,如下图所示。

DolphinScheduler 和yarn dolphinscheduler 和yarn关系_运维_06

此处可不做配置。

环境管理

此处可配置 Worker 运行环境(任务运行时所需的环境变量),默认的运行环境由 Worker节点中,dolphinscheduler 安装目录下的 conf/env/dolphinscheduler_env.sh 决定。

创建环境的操作如下图所示,环境创建完毕之后,就可供 Worker 运行任务时选择。

DolphinScheduler 和yarn dolphinscheduler 和yarn关系_普通用户_07

注:
➢ 环境名称:用户自定义名称。
➢ 环境配置:与 dolphinscheduler_env.sh 配置格式相同。
➢ 详细描述:环境的详细描述,不能为空,否则无法创建
➢ Worker 组:环境所属的 Worker 组。

此处暂不做配置。

令牌管理

令牌用于通过接口访问 DolphinScheduler 各项服务时的用户验证。普通用户通过 UI 页面访问各项服务时,无需使用令牌。若需将 DolphinScheduler 与第三方服务进行集成,则需调用其接口,此时需使用令牌。