关于 Apache Pulsar

Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。 
GitHub 地址:http:///apache/pulsar/


2021 年对于 Apache Pulsar 社区来说将是最激动人心的一年。5 月,Pulsar 社区达到了 400 名贡献者里程碑,Apache Pulsar 在月度活跃贡献者方面也超过了 Apache Kafka!

作为黑客马拉松的主办方,StreamNative 于 3 月 25 日正式宣布启动 Pulsar Hackathon 2021,并于 5 月 6 日至 7 日在线举办首届 Pulsar Hackathon,以加速 Apache Pulsar 项目和社区的发展、为更多的爱好者提供参与项目的机会。本次黑客马拉松共有超过 130 人报名参加,感谢所有参赛者与活动支持者们,大家的支持让第一届 Pulsar Hackathon 取得巨大的成功!

在这篇文章中,我们将分享全球 Top5 获奖项目及团队信息。首先让我们回顾一下本次 Hackathon 细节。

活动主题

参赛者/团队可以通过以下五个方向集思广益:

•Pulsar 功能增强:添加新功能、性能升级等;•Pulsar + 大数据生态系统集成:将 Pulsar 与其他热门的系统集成;•Pulsar + Flink 解决方案:基于 Pulsar 和 Apache Flink 开发端到端通用数据处理解决方案;•Pulsar + Cloud:使 Pulsar 可以轻松、无缝地在云环境上运行;•BookKeeper 功能增强:添加新功能、性能改进等。

评委团队

为了把关黑客马拉松活动作品质量,我们邀请到各路大神组建了阵容强大的《黑客马拉松组委会》,他们是(排名不分先后):

•Matteo Merli,Apache Pulsar PMC 主席,StreamNative CTO;•郭斯杰,Apache Pulsar PMC 成员,StreamNative CEO;•Jerry Peng,Apache Pulsar PMC 成员,Splunk 首席软件工程师;•Arvid Heise,Ververica 高级工程师;•Ricardo Ferreira,Elastic 首席布道师;•Addison Higham,Apache Pulsar Committer,StreamNative 首席架构师;•Nozomi Kurihara,Yahoo!Japan 消息平台团队经理。

活动评委根据提交项目的创新性、实用性/适用性、项目难度进行评分。

比赛结果

经过两天争分夺秒的努力,共有 11 个团队在活动期间提交了各自项目成果。各个团队提交的项目都精彩且不失有创意,然获奖名额有限,经过评委团队的专业、多维度评审与艰难取舍,我们在 6 月 16 - 17 日举办的 Pulsar Summit 北美峰会 2021 上宣布了最终结果,前 3 名团队将获得对应奖金。下面展示本活动 Top 5 项目,期待大家能够在来年 Pulsar Hackathon 再展雄风。

第一名(奖金 5,000 美元):去 ZooKeeper

获奖团队成员:丛搏、高冉、杨阳、张勇、刘昱、杨子棵

该项目通过将元数据存储和管理引入 BookKeeper 来消除 Pulsar 对 ZooKeeper 的依赖。该项目还通过为 broker 和 bookie 引入统一的元数据 API,使 Pulsar 用户能够更灵活地处理元数据。

首届全球 Pulsar Hackathon 2021 结果宣布,全球 Top5 团队出炉!_分布式存储


评委寄语

•“该项目不仅创新了 Pulsar 的架构,还最大限度地降低了其架构的操作复杂性。这是迄今为止最难实施的项目。” - Ricardo Ferreira•“简洁易懂。” - Nozomi Kurihara

第二名(奖金 2,500 美元):支持超大规模 Topic 和 Client

获奖团队成员:林琳、陈航、李鹏辉

该项目通过减少 ZooKeeper 中的负载并引入 Topic Level Batch 方法来实现 topic 和 producer 的扩展。

首届全球 Pulsar Hackathon 2021 结果宣布,全球 Top5 团队出炉!_分布式存储_02

点击????观看 demo

评委寄语 

“该项目提供了一个扩展生产负载的简洁的想法。”- 郭斯杰

第三名(奖金 1,000 美元):Pulsar Watermarking

获奖团队成员:Jennifer Huang、Eron Wright、Giannis Polyzos、Murthy Kakarlamudi

该项目解决了在消费 Pulsar topic 时生成 watermark 的相关问题,让 Pulsar 将事件时间 watermark 更好地从 producer 传递给 consumer。

首届全球 Pulsar Hackathon 2021 结果宣布,全球 Top5 团队出炉!_xhtml_03

点击????观看 demo

评委寄语

•“这个项目的整体想法很有趣,因为在流处理应用程序中可能会发生乱序事件。” - Ricardo Ferreira•“非常创新的想法,为 Pulsar 提供了当前其他流系统没有的功能。” - Addison Higham

第四名:多租户 BookKeeper 存储隔离

团队成员:王嘉凌、张浩、王少杰、易新

本项目让 Pulsar 根据租户将 entryLogFiles 存储到不同的文件夹。

首届全球 Pulsar Hackathon 2021 结果宣布,全球 Top5 团队出炉!_项目管理_04


评委寄语 

“这个项目提供的 feature 非常有用,可以让多租户在存储层更容易管理。如果将其与配额方面的一些改进相结合,会对管理更大的 Pulsar 集群提供极大的帮助。” - Addison Higham

第五名:与 APM 集成

团队成员:贺张俭、罗天

本项目旨在填补 Pulsar Ops 中缺失的追踪部分,实现 Pulsar Broker 中的样本追踪以及与 SkyWalking 的集成。

首届全球 Pulsar Hackathon 2021 结果宣布,全球 Top5 团队出炉!_分布式存储_05

点击????观看 demo

评委寄语 

“这个项目成果在对端到端 Pulsar 应用程序进行故障排除提供了很有用的解决方法。” - Ricardo Ferreira

创新仍在继续:StreamNative 孵化器计划

接下来,Hackathon 参与者将通过 StreamNative 孵化器计划继续他们的项目,将项目完善并落地。在 Hackathon 后为期 12 周的孵化中,每个参与团队将与来自 Pulsar/BookKeeper 社区的导师配对。团队成员和导师将共同为项目制定切实可行的执行计划,推动项目孵化成功。

加入 Apache Pulsar 社区

不知道大家看到 Hackathon 后是否对加入 Apache Pulsar 社区心动了呢?参与开源,可以获得公司及社区内外的认可,结交来自各个领域、志同道合的小伙伴;同时也可以提高个人影响力,促进个人发展。参与开源不是码农的专属,社区、文档等各个方面都可以让大家发挥一技之长。

作为全球性开源项目,截至目前,Apache Pulsar 已拥有 400+ 名贡献者、9.1K+ Star 、2.2K+ Fork 。我们为大家提供了参与指南,欢迎越来越多的小伙伴助力 Apache Pulsar 项目的不断发展与前进,并在项目中获得个人发展与成就。

Apache Pulsar 官方贡献指南[1]

引用链接

​[1]​​ Apache Pulsar 官方贡献指南: ​http://pulsar.apache.org/en/contributing/​

首届全球 Pulsar Hackathon 2021 结果宣布,全球 Top5 团队出炉!_项目管理_06