关于 Apache Pulsar

Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
GitHub 地址:http:///apache/pulsar/


导语

各位小伙伴们,Pulsar 社区周报更新来啦!

本次 Pulsar 社区周报,为大家呈现 Pulsar client、broker、transaction 等内容,帮助社区小伙伴们掌握 Pulsar 项目及社区每周进展,也方便大家更好地参与到 Pulsar 社区中来!

感谢本周以下小伙伴为 Apache Pulsar 添砖加瓦(排名不分先后,看看你有没有上榜):


eolivelli、linlinnn、freeznet、hangc0276、lhotari、fantapsody、RobertIndie、codelipenghui、315157973、congbobo184、wolfstudy、wangjialing218、wuzhanpeng、gaoran10、dockerzhang、dlg99、merlimat、ru1996、yangl、lzhpo、michaeljmarshall


接下来,一起看看 5 月 31 日 ~ 6 月 6 日有哪些值得你关注的进展吧!

本周亮点

Sink:支持将 Kafka 的 sink 作为 Pulsar 的 sink 使用。

https:///apache/pulsar/pull/9927

贡献者:@dlg99

重要特性


•因为 PR 较多,仅列举较大 PR 进展,不包括当周全部动态
•下面 PR 均已合入 Pulsar 主分支


Metrics:使用 ZooKeeper Prometheus 指标提供器暴露 ZooKeeper 指标。

https:///apache/pulsar/pull/10803

贡献者:@hangc0276

Transaction:将 ​​managedLedger​​ 指标添加到 Prometheus 指标。

https:///apache/pulsar/pull/10761

贡献者:@congbobo184

Broker:为 geo-replicator 添加广播的 ​​listenerName​​ 以连接到远程集群。

https:///apache/pulsar/pull/10751

贡献者:@wangjialing218

Transaction:为 transaction Admin API 添加同步方法。

https:///apache/pulsar/pull/10745

贡献者:@congbobo184

BookKeeper:将 BookKeeper 升级到 4.14.1 版本。

https:///apache/pulsar/pull/10686

贡献者:@hangc0276

重要 Bug 修复


•因修复内容较多,仅列举较重要修复内容,不包括本周全部动态
•下面修复均已合入 Pulsar 主分支


Pulsar SQL:修复对 primary schema 的表运行 ​​select count(*)​​ 时发生的 Pulsar SQL 问题。

https:///apache/pulsar/pull/10840

贡献者:@codelipenghui

Broker:修复由于重复使用 entry wrapper 而导致消费者卡住的问题。

https:///apache/pulsar/pull/10824

贡献者:@codelipenghui

Schema:修复 ​​AutoConsumeSchema​​ 使用空 schema 版本解码消息时发生的 NEP。

https:///apache/pulsar/pull/10811

贡献者:@gaoran10

Build:支持在未设置 ​​CROWDIN_DOCUSAURUS_API_KEY​​ 的情况下构建 Pulsar。

https:///apache/pulsar/pull/10804

贡献者:@lhotari

Kinesis:修复 Kinesis sink 连接器不确认消息的问题。

https:///apache/pulsar/pull/10769

贡献者:@RobertIndie

Java Client:在调用 ​​redeliverUnacknowledgedMessages​​ 之前释放 ​​UnAckedMessageTracker​​ 的写锁。

https:///apache/pulsar/pull/10768

贡献者:@codelipenghui

BookKeeper:遍历 ​​batchDeletedIndexes​​ 时添加读锁。

https:///apache/pulsar/pull/10763

贡献者:@315157973

Transaction:修复 transaction Admin API 的路径传递参数问题。

https:///apache/pulsar/pull/10748

贡献者:@congbobo184

Broker:启用更新 ​​ManagedLedgerConf#maximumRolloverTimeMs​​。

https:///apache/pulsar/pull/10746

贡献者:@wuzhanpeng

Kinesis:修复找不到 Kinesis sink ​​Backoff​​ 类的问题。

https:///apache/pulsar/pull/10744

贡献者:@gaoran10

Schema:修复死信 producer 不处理 ​​AUTO_CONSUME_SCHEMA​​ 的问题。

https:///apache/pulsar/pull/9970

贡献者:@congbobo184

活动和新闻

•报名 Pulsar Virtual Summit North America 2021[1]•TGIP:关于 Pulsar 及其生态系统的每周直播[2]•Intro to Apache Pulsar 101:关于 Pulsar 的每月直播,包括概念、架构和设计[3]

博文推荐

•Pulsar Isolation for Dummies: Separate Pulsar Clusters[4]•Building Connectors On Pulsar Made Simple[5]•Indestructible Storage in the Cloud with Apache BookKeeper -- Anup Ghatage[6]


译者简介

Apache Pulsar 社区周报由 StreamNative 负责维护,本期周报由社区志愿者王伦辉翻译自英文版周报。
译者简介:我是王伦辉,技术爱好者,喜欢折腾,刚加入 Pulsar 大家庭,希望 Pulsar 越来越好,个人 GitHub:https:///wanglunhui2012



作为全球性开源项目,截至 2021 年 6 月 6 日,Apache Pulsar 已拥有 400+ 贡献者、8.8 K+ Star 、2.1 K+ Fork 。正是由于分布在全球各地的社区开发者的贡献,才使得 Apache Pulsar 项目不断发展与前进。

让我们期待下一周的 Apache Pulsar 周报!

引用链接

​[1]​​ 报名 Pulsar Virtual Summit North America 2021: https://hopin.com/events/pulsar-summit-north-america-2021

​[2]​​ TGIP:关于 Pulsar 及其生态系统的每周直播: https://streamnative.io/resource#tgip

​[3]​​ Intro to Apache Pulsar 101:关于 Pulsar 的每月直播,包括概念、架构和设计: https://streamnative.io/en/resource#intro-to-apache-pulsar-101

​[4]​​ Pulsar Isolation for Dummies: Separate Pulsar Clusters: https://streamnative.io/en/blog/tech/2021-06-03-pulsar-isolation-for-dummies-separate-pulsar-clusters

​[5]​​ Building Connectors On Pulsar Made Simple: https://streamnative.io/en/blog/tech/2021-06-01-building-connectors-on-pulsar-made-simple

​[6]​​ Indestructible Storage in the Cloud with Apache BookKeeper -- Anup Ghatage: https://streamnative.io/en/blog/case/2021-06-01-indestructible-storage-in-the-cloud-with-apache-bookkeeper