关于 Apache DolphinScheduler:
“
Apache DolphinScheduler(Incubating) 是一个分布式去中心化、易扩展的可视化工作流任务调度系统,致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在大数据处理流程中开箱即用。DolphinScheduler 源于易观,目前已捐赠给 Apache 软件基金会,正在进行孵化中,预计明年初提请毕业。
官网:https://dolphinscheduler.apache.org
”
关于 Apache Pulsar:
“
Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体。该系统源于 Yahoo,最初在 Yahoo 内部开发和部署,支持 Yahoo 应用服务平台 140 万个主题,日处理超过 1000 亿条消息。Pulsar 于 2016 年由 Yahoo 开源并捐赠给 Apache 软件基金会进行孵化,2018 年成为 Apache 软件基金会顶级项目。Pulsar 采用计算与存储分离的分层架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时以及高可扩展流数据存储特性。
官网:http://pulsar.apache.org
”
各位 DolphinScheduler 和 Pulsar 社区小伙伴们,在线 Meetup 活动回顾资料来啦!
DolphinScheduler 作为 Apache 软件基金会孵化项目,目前已有 120 多位贡献者;Pulsar 作为 Apache 软件基金会顶级项目,全球已有 300 多位贡献者。这两个项目在中国有大量的开发者和贡献者与用户,本次活动为大家提供了广阔交流空间。
本次活动成功聚集了 200+ 小伙伴,直播观看人次突破 1000+。本次活动顺利举办,特别感谢来自 DolphinScheduler、Pulsar 社区的分享嘉宾——翟佳、刘慧娟、陈航、鲍亮,他们为此做了充分准备。同时,也特别感谢社区合作伙伴——开源社、SegmentFault 、示说网的大力支持。
翟佳,Apache Pulsar PMC 成员,StreamNative 联合创始人兼 CTO
Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体。Pulsar 于 2016 年由 Yahoo 开源并捐赠给 Apache 软件基金会进行孵化,2018 年成为 Apache 软件基金会顶级项目。Pulsar 采用计算与存储分离的分层架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐以及低延时的高可扩展流数据存储特性。本次分享将介绍 Apache Pulsar 的功能特性,及社区参与、未来发展等内容。
左右滑动查看更多
刘慧娟,宝信工业互联网研究院, 大数据中心开发经理,负责工业互联网平台 xIn3Plat 之 5S 大数据套件分布式计算引擎和调度研发工作。
介绍如何将 DolphinScheduler 融入宝信软件 xIn3Plat 所做的功能增强和适应性改造,包括:DolphinScheduler 在多数据源集成、并行任务控制、审计告警、插件扩展性等方面的关键特性;以及我们后续的社区参与计划及未来功能规划,与社区一起推动 DolphinScheduler 的发展。
左右滑动查看更多
陈航, BIGO 大数据平台消息系统负责人,Apache Pulsar & BookKeeper Contributor
主要介绍 BIGO 引入 Pulsar 的初衷、Pulsar 性能调优上的实践,以及 Flink 与 Pulsar 结合在 BIGO 实时数据处理上的应用。
左右滑动查看更多
鲍亮,易观大数据平台专家、DolphinScheduler PPMC
重点分享 DolphinScheduler 关于无中心架构的容错设计,工作流及任务状态切换、任务组件的功能设计以及版本升级的兼容设计以及您可能从未注意到的高级功能等。
左右滑动查看更多