Apache DolphinScheduler(Incubating)社区在节后上周第一周就迎来了好消息,经过 Apache DolphinScheduler PPMC 们的推荐和投票,我们高兴的宣布:Apache DolphinScheduler 迎来了第二批共 7 位新 Committer。他们是(github id):break60、samz406、Yeleights、Jave-Chen、xingchun-chen、lfyee、chongchongzi ,至此 DolphinScheduler 社区已经诞生了 22 位 Committer(含PPMC)。
我们也收到以下小伙伴的当选感言:
chongchongzi:
DolphinScheduler 把我们杂乱无章的调度脚本整理成优雅的调度管理平台,让不懂开发的人也能使用上调度,让我们放心的喝着咖啡跑数据。
samz406:
非常高兴成为Committer,继续努力,使DolphinScheduler槽点越来越少,功能越来越强,早日毕业成为顶级项目。
break60:
非常高兴成为DolphinScheduler的Committer,接下来再接再厉,吸引更多的用户,使DolphinScheduler变的更加极简、极致、易用,早日成为Apache顶级项目。
Apache DolphinScheduler 是一个非常多样化的社区,至今贡献者已超过 60 名,他们分别来自 30 多家不同的公司。
Apache DolphinScheduler 是什么?
Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
DolphinScheduler设计特点:- 以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态
- 支持丰富的任务类型:Shell、MR、Spark、Flink、SQL(mysql、postgresql、hive、sparksql)、Python、Http、Sub_Process、Procedure等
- 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
- 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
- 支持工作流全局参数及节点自定义参数设置
- 支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑
- 支持任务日志在线查看及滚动、在线下载日志等
- 实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化
- 支持对Master/Worker
cpu load,memory,cpu在线查看
- 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
- 支持补数
- 支持多租户
- 支持国际化
需要着重说明的是:近期社区也收到了来自社区贡献者的诸多新特性贡献,比如DataX数据同步、条件判断任务类型,DolphinScheduler的Ambari插件化部署、及CI/CD自动化等等新功能,预计不久后就会放出
系统部分截图
在线DEMO试用
http://106.75.43.194:8888/
使用的公司(部分统计,Wanted: who's using DolphinScheduler)
已经有大量知名企业和科研机构在使用 Apache DolphinScheduler,来处理各类调度和定时任务:
加入 Apache DolphinScheduler在使用 DolphinScheduler 的过程中,如果您有任何问题或者想法、建议,都可以通过Apache 邮件列表参与到 DolphinScheduler 的社区建设中来。
发送订阅邮件也非常简单,步骤如下:1. 用自己的邮箱向 dev-subscribe@dolphinscheduler.apache.org 发送一封邮件,主题和内容任意。2. 接收确认邮件并回复。 完成步骤1后,您将收到一封来自dev-help@dolphinscheduler.apache.org 的确认邮件(如未收到,请确认邮件是否被自动归入垃圾邮件、推广邮件、订阅邮件等文件夹)。然后直接回复该邮件,或点击邮件里的链接快捷回复即可,主题和内容任意。
接收欢迎邮件。 完成以上步骤后,您会收到一封主题为WELCOME to dev@dolphinscheduler.apache.org的欢迎邮件,至此您已成功订阅Apache DolphinScheduler(Incubating)的邮件列表。强烈推荐订阅开发邮件列表,与社区保持最新信息同步,这一点非常重要。