目录

前言

正文

        一、部署方式

        二、软硬件要求

        三、下载源码包

        四、拉取镜像

        五、启动服务 

        六、登陆系统

        七、首页展示

        八、项目管理

        ​九、资源管理中心

        十、监控中心

        十一、安全中心

最后


前言

Apache DolphinScheduler(海豚调度),是一款分布式易扩展的带有强大可视化 DAG 界面的新一代工作流任务调度系统,致力于“解决大数据任务之间错综复杂的依赖关系,并监控整个数据处理过程”。它能够实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及 Kill 任务等操作。

正文

Apache DolphinScheduler 作为一款分布式易扩展的带有强大可视化 DAG 界面的新一代工作流任务调度系统,现在具备广泛的热度,在github上有6000星标记。今天我们就来了解一下这个开源的分布式调度系统。

一、部署方式

海豚调度常用的部署方式有五种,分别是单机部署、集群部署、Docker部署、Kubernetes部署、SkyWalking-Agent部署。Apache DolphinScheduler 之前的名字是 Easy Scheduler,它和同类调度系统的对比图如下:

Apache DolphinScheduler 征稿 — 极速入门Apache DolphinScheduler分布式调度系统_JAVA

二、软硬件要求

今天我们重点介绍使用Docker部署海豚调度的方式,软件要求使用Docker 1.13.1+、Docker Compose 1.11.0+。

三、下载源码包

登陆网址:https://dolphinscheduler.apache.org/zh-cn/download/download.html

这里我们选择下载源码,具体条目如下图所示:

Apache DolphinScheduler 征稿 — 极速入门Apache DolphinScheduler分布式调度系统_JAVA_02

当然,我们也可以下载对应bin包,可以跳转到如下页面进行下载操作。

Apache DolphinScheduler 征稿 — 极速入门Apache DolphinScheduler分布式调度系统_JAVA_03

四、拉取镜像

对于不同的操作系统,具体的操作步骤还不太一样,具体情况可以参考如下说明。

如果是 Mac 和 Linux 用户,打开 Terminal。如果是 Windows Docker Toolbox 用户,打开 Docker Quickstart Terminal。如果是 Windows Docker Desktop 用户,打开 Windows PowerShell。

解压上一步下载的源码压缩包,具体命令如下:

tar -zxvf apache-dolphinscheduler-1.3.6-src.tar.gz

进入对应的目录:

cd apache-dolphinscheduler-1.3.6-src/docker/docker-swarm

使用docker命令拉取最新的dolphinscheduler镜像,命令如下:

docker pull apache/dolphinscheduler:latest

五、启动服务 

启动镜像服务非常简单,我们利用docker-compose命令,启动对应的容器服务,具体命令如下:

docker-compose up -d

六、登陆系统

dolphinscheduler服务默认端口是12345,服务地址为 http://127.0.0.1:12345/dolphinscheduler。访问服务地址,出现如下图所示的登陆界面。其中,默认的用户是admin,默认的密码是dolphinscheduler123。

Apache DolphinScheduler 征稿 — 极速入门Apache DolphinScheduler分布式调度系统_JAVA_04

七、首页展示

输入用户名和密码后,我们进入dolphinscheduler服务首页,显示了服务任务状态的统计信息以及流程状态的统计信息,具体内容如下所示:

Apache DolphinScheduler 征稿 — 极速入门Apache DolphinScheduler分布式调度系统_JAVA_05

八、项目管理

项目管理页签,我们可以添加项目信息,操作如下图所示:

Apache DolphinScheduler 征稿 — 极速入门Apache DolphinScheduler分布式调度系统_JAVA_06

创建对应的项目后,显示效果如下:

Apache DolphinScheduler 征稿 — 极速入门Apache DolphinScheduler分布式调度系统_JAVA_07九、资源管理中心

在资源管理中心,我们管理自己的项目资源,比如上传文件、添加函数等。

Apache DolphinScheduler 征稿 — 极速入门Apache DolphinScheduler分布式调度系统_JAVA_08

十、监控中心

在监控中心里,我们可以查看master、worker、zookeeper、DB的运行状态,如下图所示,展示了master的CPU占用率是1%,内存利用率是24%,平均负载35%。

Apache DolphinScheduler 征稿 — 极速入门Apache DolphinScheduler分布式调度系统_JAVA_09

十一、安全中心

在安全中心,有租户管理、用户管理模块,同时支持告警组管理、worker分组管理、队列管理、令牌管理等内容。

Apache DolphinScheduler 征稿 — 极速入门Apache DolphinScheduler分布式调度系统_JAVA_10

最后

好了,今天关于dolphinscheduler调度服务的介绍就到这里吧,是不是非常简单?大概用了十五分钟左右的时间,我们就非常快速的完成了dolphinscheduler实例服务的启动、访问、设置等操作,感兴趣的小伙伴,现在就可以开始动手了。希望这次分享的内容能够帮助到大家,谢谢!