金秋十月 - Apache DolphinScheduler 收获 2 位新 Committer_sql

Apache DolphinScheduler(incubating),简称”DS”, 中文名 “海豚调度”(海豚聪明、人性化,又左右脑可互相换班,终生不用睡觉)。DolphinScheduler 正在像它的名字一样,努力成为一个“开箱即用”的灵活易用的大数据任务调度系统。


金秋十月 - Apache DolphinScheduler 收获 2 位新 Committer_github_02


金秋十月,秋风送爽,伴随着盛大的 1024 程序员节及 Apache Roadshow-China 的圆满落幕, Apache DolphinScheduler 社区也传来了好消息,经过 PPMC 们的推荐和投票,Apache DolphinScheduler 收获了2位新Committer 。他们分别是github id: yangyichao-mango 和 github id: CalvinKirs。对于成为 Committer ,2 位小伙伴说道:


yangyichao-mango

非常荣幸能够成为 DolphinScheduler 的 Committer,从加入社区,到慢慢的学习和理解 Apache Way,过程是充满喜悦的。最后希望社区能能够快速发展,早日毕业~


CalvinKirs

非常感谢社区的认可,在DS社区持续贡献的同时也是在跟随社区不断的成长拔节,同时,参与社区,参与开源,也让我觉得这个世界的美好和我有了那么一点点的关系。未来的日子,我将继续跟随DS一路成长。



关于个人为何要参与开源,估计有很多小伙伴还不太清晰,借用Apache Member、HBase项目主席张铎昨天在COSCon’20 & Apache Roadshow上的分享来说:

金秋十月 - Apache DolphinScheduler 收获 2 位新 Committer_apache_03


关于公司为何要参与开源,比如提升技术影响力,缩短销售路径,更容易找人才等等,这里铎神也简要分享了几点:

金秋十月 - Apache DolphinScheduler 收获 2 位新 Committer_apache_04



Apache DolphinScheduler 社区介绍

Apache DolphinScheduler(incubator) 是一个非常多样化的社区,至今代码和文档贡献者已 150+ 名。 微信群用户近 4000 人。


金秋十月 - Apache DolphinScheduler 收获 2 位新 Committer_apache_05


Apache DolphinScheduler 部分用户案例(排名不分先后)

已经有 400 多家企业和科研机构在使用 DolphinScheduler,来处理各类调度和定时任务,另有 1200 多家公司开通了海豚调度的试用: 


金秋十月 - Apache DolphinScheduler 收获 2 位新 Committer_github_06


Apache DolphinScheduler 是什么

Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。


Apache DolphinScheduler项目起源 - 需求决定

金秋十月 - Apache DolphinScheduler 收获 2 位新 Committer_github_07


Apache DolphinScheduler四大特性

金秋十月 - Apache DolphinScheduler 收获 2 位新 Committer_github_08



Apache DolphinScheduler 能力:


  • 以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态
  • 支持丰富的任务类型:Shell、MR、Spark、Flink、SQL(mysql、postgresql、hive、sparksql)、Python、Http、Sub_Process、Procedure等
  • 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
  • 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
  • 支持工作流全局参数及节点自定义参数设置
  • 支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑
  • 支持任务日志在线查看及滚动、在线下载日志等
  • 实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化
  • 支持对Master/Worker cpu load,memory,cpu在线查看
  • 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
  • 支持补数
  • 支持多租户
  • 支持国际化


Apache DolphinScheduler 1.3.x 新特性


  • Worker实现重构,提升Worker性能


    • Master和Worker引入Netty通信

    • 去zookeeper任务队列

    • Worker节点的三种选择:随机、循环和CPU和内存的线性加权负载平衡

    • Worker去数据库操作


  • 资源中心支持多目录

  • 添加 if/else 条件任务

  • 添加 sqoop/datax 任务

  • 支持 k8s 部署

  • 添加DAG流程图一键格式化

  • 流程图美化

  • 支持 ambari 插件安装

  • 批量导出和导入工作流

  • 流程定义支持复制

  • 添加钉钉告警


大幅简化配置项,简化部署




Apache DolphinScheduler Roadmap

总体依照社区需求和关注度来安排功能优先


  •  master 重构:建立 api 和 master 通信等

  •  任务类型插件化Plugin

  •  任务参数传递

  •  工作流触发

  •  数据质量

  •  列表依赖(上游依赖)

  •  告警服务化

  •  权限改造

  •  支持多集群上线发布

  •  工作流版本管理

  •  Easy to use



系统部分截图


金秋十月 - Apache DolphinScheduler 收获 2 位新 Committer_github_09

金秋十月 - Apache DolphinScheduler 收获 2 位新 Committer_apache_10金秋十月 - Apache DolphinScheduler 收获 2 位新 Committer_apache_11

金秋十月 - Apache DolphinScheduler 收获 2 位新 Committer_github_12金秋十月 - Apache DolphinScheduler 收获 2 位新 Committer_apache_13

金秋十月 - Apache DolphinScheduler 收获 2 位新 Committer_apache_14

金秋十月 - Apache DolphinScheduler 收获 2 位新 Committer_github_15


在线DEMO试用

​http://106.75.43.194:8888/​


DolphinScheduler Slogan

金秋十月 - Apache DolphinScheduler 收获 2 位新 Committer_apache_16




加入 Apache DolphinScheduler在使用 DolphinScheduler 的过程中,如果您有任何问题或者想法、建议,都可以通过Apache 邮件列表参与到 DolphinScheduler 的社区建设中来。


最后送一个铎神关于参与开源的一些Tips,希望能更好的帮到大家参与开源

金秋十月 - Apache DolphinScheduler 收获 2 位新 Committer_sql_17