目录
前言
正文
一、部署方式
二、软硬件要求
三、下载源码包
四、拉取镜像
五、启动服务
六、登陆系统
七、首页展示
八、项目管理
九、资源管理中心
十、监控中心
十一、安全中心
最后
前言
Apache DolphinScheduler(海豚调度),是一款分布式易扩展的带有强大可视化 DAG 界面的新一代工作流任务调度系统,致力于“解决大数据任务之间错综复杂的依赖关系,并监控整个数据处理过程”。它能够实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及 Kill 任务等操作。
正文Apache DolphinScheduler 作为一款分布式易扩展的带有强大可视化 DAG 界面的新一代工作流任务调度系统,现在具备广泛的热度,在github上有6000星标记。今天我们就来了解一下这个开源的分布式调度系统。
一、部署方式
海豚调度常用的部署方式有五种,分别是单机部署、集群部署、Docker部署、Kubernetes部署、SkyWalking-Agent部署。Apache DolphinScheduler 之前的名字是 Easy Scheduler,它和同类调度系统的对比图如下:
二、软硬件要求
今天我们重点介绍使用Docker部署海豚调度的方式,软件要求使用Docker 1.13.1+、Docker Compose 1.11.0+。
三、下载源码包
登陆网址:https://dolphinscheduler.apache.org/zh-cn/download/download.html
这里我们选择下载源码,具体条目如下图所示:
当然,我们也可以下载对应bin包,可以跳转到如下页面进行下载操作。
四、拉取镜像
对于不同的操作系统,具体的操作步骤还不太一样,具体情况可以参考如下说明。
如果是 Mac 和 Linux 用户,打开 Terminal。如果是 Windows Docker Toolbox 用户,打开 Docker Quickstart Terminal。如果是 Windows Docker Desktop 用户,打开 Windows PowerShell。
解压上一步下载的源码压缩包,具体命令如下:
tar -zxvf apache-dolphinscheduler-1.3.6-src.tar.gz
进入对应的目录:
cd apache-dolphinscheduler-1.3.6-src/docker/docker-swarm
使用docker命令拉取最新的dolphinscheduler镜像,命令如下:
docker pull apache/dolphinscheduler:latest
五、启动服务
启动镜像服务非常简单,我们利用docker-compose命令,启动对应的容器服务,具体命令如下:
docker-compose up -d
六、登陆系统
dolphinscheduler服务默认端口是12345,服务地址为 http://127.0.0.1:12345/dolphinscheduler。访问服务地址,出现如下图所示的登陆界面。其中,默认的用户是admin,默认的密码是dolphinscheduler123。
七、首页展示
输入用户名和密码后,我们进入dolphinscheduler服务首页,显示了服务任务状态的统计信息以及流程状态的统计信息,具体内容如下所示:
八、项目管理
项目管理页签,我们可以添加项目信息,操作如下图所示:
创建对应的项目后,显示效果如下:
九、资源管理中心
在资源管理中心,我们管理自己的项目资源,比如上传文件、添加函数等。
十、监控中心
在监控中心里,我们可以查看master、worker、zookeeper、DB的运行状态,如下图所示,展示了master的CPU占用率是1%,内存利用率是24%,平均负载35%。
十一、安全中心
在安全中心,有租户管理、用户管理模块,同时支持告警组管理、worker分组管理、队列管理、令牌管理等内容。
最后好了,今天关于dolphinscheduler调度服务的介绍就到这里吧,是不是非常简单?大概用了十五分钟左右的时间,我们就非常快速的完成了dolphinscheduler实例服务的启动、访问、设置等操作,感兴趣的小伙伴,现在就可以开始动手了。希望这次分享的内容能够帮助到大家,谢谢!