文章目录
- 安全中心配置
- Yarn队列管理
- 租户管理
- 用户管理
- 告警实例管理与告警组管理
- Worker 分组管理
- 环境管理
- 令牌管理
安全中心配置
安全中心主要有租户管理、用户管理、告警组管理、告警实例管理、Worker 分组管理、Yarn 队列管理、环境管理、令牌管理等功能。
Yarn队列管理
队列是在执行 spark、mapreduce 等程序,需要用到“队列”参数时使用的。此处的队列对应的是 Yarn 调度器的资源队列。故队列概念只对跑在 Yarn 上的任务类型有效。
此处创建出的队列,可供后续任务进行选择。需要注意的是,在DolphinScheduler 中创建队列,并不会影响到 Yarn 调度器的队列配置。
注:
➢ 名称:DS 执行任务时可以选择的队列名称。
➢ 队列值:与名称相对应的 Yarn 调度队列的名称。
租户管理
租户对应的是 Linux 的用户,用于 worker 提交作业所使用的用户。如果 linux 没有这个用户,默认情况下会导致任务运行失败。可以通过修改 worker.properties 配置文件中参数worker.tenant.auto.create=true(默认值为 false)实现当 linux 用户不存在时自动创建该用户。
worker.tenant.auto.create=true 参数会要求 worker 可以免密运行 sudo 命令。
此处创建一个 root 租户,如下图。
注:
➢ 租户编码:租户编码是 Linux 上的用户,唯一,不能重复。
➢ 队列:该租户提交 Yarn 任务时的默认队列。
用户管理
用户对应的是 DolphinScheduler 的用户,用于登录 DolphinScheduler。用户分管理员用户和普通用户。
管理员有授权和用户管理等权限,没有创建项目和工作流定义的操作的权限。
普通用户可以创建项目和对工作流定义的创建,编辑,执行等操作。此处创建一个普通用户 haohuan,密码:用户+123,如下图。
注:
➢ 用户名:DolphinScheduler 登录账户
➢ 租户:该用户关联的租户
➢ 队列:默认为租户所关联的队列。
➢ 邮件、手机号:主要用于告警通知。
告警实例管理与告警组管理
告警实例与告警组用于任务运行成功或者失败之后的告警通知。一个告警组可包含多个告警实例,一个告警实例,需选择一个告警插件,并配置相应参数,目前支持的告警插件有电子邮件、钉钉、企业微信、飞书等。
此处暂不配置。
Worker 分组管理
一个 Worker 分组由多个 Worker 组成。在任务执行时,可以将任务分配给指定 Worker组,由该组中的 Worker 节点执行该任务。每个 Worker 至少属于一个组,默认为 default 组。Worker 所属分组可以调整,调整方式如下:
1)方式一
打开要设置分组的 Worker 节点上的 worker.properties 配置文件,修改worker.groups 参 数,worker.groups 参数的值为该 Worker 节点对应的分组名称,默认为 default,如果该 worker节点属于多个分组,则多个分组名称以逗号隔开。
示例:
worker.groups=default,test
2)方式二
在 Web UI 的安全中心的 Workder 分组管理中修改,如下图所示。
此处可不做配置。
环境管理
此处可配置 Worker 运行环境(任务运行时所需的环境变量),默认的运行环境由 Worker节点中,dolphinscheduler 安装目录下的 conf/env/dolphinscheduler_env.sh 决定。
创建环境的操作如下图所示,环境创建完毕之后,就可供 Worker 运行任务时选择。
注:
➢ 环境名称:用户自定义名称。
➢ 环境配置:与 dolphinscheduler_env.sh 配置格式相同。
➢ 详细描述:环境的详细描述,不能为空,否则无法创建
➢ Worker 组:环境所属的 Worker 组。
此处暂不做配置。
令牌管理
令牌用于通过接口访问 DolphinScheduler 各项服务时的用户验证。普通用户通过 UI 页面访问各项服务时,无需使用令牌。若需将 DolphinScheduler 与第三方服务进行集成,则需调用其接口,此时需使用令牌。