关于 Apache DolphinScheduler:

Apache DolphinScheduler(Incubating) 是一个分布式去中心化、易扩展的可视化工作流任务调度系统,致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在大数据处理流程中开箱即用。DolphinScheduler 源于易观,目前已捐赠给 Apache 软件基金会,正在进行孵化中,预计明年初提请毕业。


???? 官网:https://dolphinscheduler.apache.org

关于 Apache Pulsar:

Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体。该系统源于 Yahoo,最初在 Yahoo 内部开发和部署,支持 Yahoo 应用服务平台 140 万个主题,日处理超过 1000 亿条消息。Pulsar 于 2016 年由 Yahoo 开源并捐赠给 Apache 软件基金会进行孵化,2018 年成为 Apache 软件基金会顶级项目。Pulsar 采用计算与存储分离的分层架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时以及高可扩展流数据存储特性。


???? 官网:http://pulsar.apache.org

 

各位 DolphinScheduler 和 Pulsar 社区小伙伴们,在线 Meetup 活动回顾资料来啦!

 

DolphinScheduler 作为 Apache 软件基金会孵化项目,目前已有 120 多位贡献者;Pulsar 作为 Apache 软件基金会顶级项目,全球已有 300 多位贡献者。这两个项目在中国有大量的开发者和贡献者与用户,本次活动为大家提供了广阔交流空间。

 

本次活动成功聚集了 200+ 小伙伴,直播观看人次突破 1000+。本次活动顺利举办,特别感谢来自 DolphinScheduler、Pulsar 社区的分享嘉宾——翟佳、刘慧娟、陈航、鲍亮,他们为此做了充分准备。同时,也特别感谢社区合作伙伴——开源社、SegmentFault 、示说网的大力支持。

 

下面对本次活动做简单回顾,方便大家参考。

 

 

细节回顾

 

????️ Introduction to Apache Pulsar

翟佳,Apache Pulsar PMC 成员,StreamNative 联合创始人兼 CTO

 

Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体。Pulsar 于 2016 年由 Yahoo 开源并捐赠给 Apache 软件基金会进行孵化,2018 年成为 Apache 软件基金会顶级项目。Pulsar 采用计算与存储分离的分层架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐以及低延时的高可扩展流数据存储特性。本次分享将介绍 Apache Pulsar 的功能特性,及社区参与、未来发展等内容。

活动回顾|Apache DolphinScheduler x Pulsar 在线 Meetup_在线 Meetup活动回顾|Apache DolphinScheduler x Pulsar 在线 Meetup_在线 Meetup_02活动回顾|Apache DolphinScheduler x Pulsar 在线 Meetup_在线 Meetup_03活动回顾|Apache DolphinScheduler x Pulsar 在线 Meetup_在线 Meetup_04活动回顾|Apache DolphinScheduler x Pulsar 在线 Meetup_在线 Meetup_05

左右滑动查看更多

 

 

PPT 查看/下载地址:

https://www.slidestalk.com/DolphinScheduler/Apache_Pulsar_Introduction_20200905

 

 

????️ DolphinScheduler 与工业互联网平台 xIn3Plat 牵手之路

刘慧娟,宝信工业互联网研究院, 大数据中心开发经理,负责工业互联网平台 xIn3Plat 之 5S 大数据套件分布式计算引擎和调度研发工作。

 

介绍如何将 DolphinScheduler 融入宝信软件 xIn3Plat 所做的功能增强和适应性改造,包括:DolphinScheduler 在多数据源集成、并行任务控制、审计告警、插件扩展性等方面的关键特性;以及我们后续的社区参与计划及未来功能规划,与社区一起推动 DolphinScheduler 的发展。

活动回顾|Apache DolphinScheduler x Pulsar 在线 Meetup_在线 Meetup_06活动回顾|Apache DolphinScheduler x Pulsar 在线 Meetup_在线 Meetup_07活动回顾|Apache DolphinScheduler x Pulsar 在线 Meetup_在线 Meetup_08活动回顾|Apache DolphinScheduler x Pulsar 在线 Meetup_在线 Meetup_09活动回顾|Apache DolphinScheduler x Pulsar 在线 Meetup_在线 Meetup_10

左右滑动查看更多

 

 

PPT 查看/下载地址:
https://www.slidestalk.com/DolphinScheduler/DolphinSchedulerxIn3Plat62248

 

 

 

????️ BIGO 在 Apache Pulsar 上的实践

陈航, BIGO 大数据平台消息系统负责人,Apache Pulsar & BookKeeper Contributor

 

主要介绍 BIGO 引入 Pulsar 的初衷、Pulsar 性能调优上的实践,以及 Flink 与 Pulsar 结合在 BIGO 实时数据处理上的应用。

活动回顾|Apache DolphinScheduler x Pulsar 在线 Meetup_在线 Meetup_11活动回顾|Apache DolphinScheduler x Pulsar 在线 Meetup_在线 Meetup_12活动回顾|Apache DolphinScheduler x Pulsar 在线 Meetup_在线 Meetup_13活动回顾|Apache DolphinScheduler x Pulsar 在线 Meetup_在线 Meetup_14

左右滑动查看更多

 

 

PPT 查看/下载地址:

https://www.slidestalk.com/DolphinScheduler/ApachePulsarBIGO87668

 

 

????️ DolphinScheduler 功能深度解析

鲍亮,易观大数据平台专家、DolphinScheduler PPMC

 

重点分享 DolphinScheduler 关于无中心架构的容错设计,工作流及任务状态切换、任务组件的功能设计以及版本升级的兼容设计以及您可能从未注意到的高级功能等。

活动回顾|Apache DolphinScheduler x Pulsar 在线 Meetup_在线 Meetup_15活动回顾|Apache DolphinScheduler x Pulsar 在线 Meetup_在线 Meetup_16活动回顾|Apache DolphinScheduler x Pulsar 在线 Meetup_在线 Meetup_17活动回顾|Apache DolphinScheduler x Pulsar 在线 Meetup_在线 Meetup_18活动回顾|Apache DolphinScheduler x Pulsar 在线 Meetup_在线 Meetup_19

左右滑动查看更多

 

 

PPT 查看/下载地址:

https://www.slidestalk.com/DolphinScheduler/DolphinScheduler20200905

 

 

参与贡献

 

目前 DolphinScheduler 与 Pulsar 正在快速成长之中,欢迎对此感兴趣的加入到项目贡献中来,可访问官网查看参与指南。

 

DolphinScheduler 官网:
https://dolphinscheduler.apache.org

 

Apache Pulsar 官网:
http://pulsar.apache.org