关于 Apache Pulsar

Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。

GitHub 地址:http:///apache/pulsar/


导语

各位小伙伴们,Pulsar 社区周报更新来啦!

本次 Pulsar 社区周报,为大家呈现 Pulsar client、broker、transactions 等内容,帮助社区小伙伴们掌握 Pulsar 项目及社区每周进展,也方便大家更好地参与到 Pulsar 社区中来!

感谢本周以下小伙伴为 Apache Pulsar 添砖加瓦(排名不分先后,看看你有没有上榜):


lhotari、kaushik-develop、BewareMyPower、RobertIndie、gaoran10、eolivelli、Technoboy-、codelipenghui、nlu90、jerrypeng、315157973、Shoothzj、equanz、freeznet、horizonzy、wangjialing218、rdhabalia、Demogorgon314、urfreespace、Anonymitaet、zymap、rfigueroa


接下来,一起看看 7 月 19 日 ~ 7 月 25 日有哪些值得你关注的进展吧!

本周亮点

[Broker] PIP-82:更新资源组统计信息。 

​https:///apache/pulsar/pull/11331 ​

贡献者:kaushik-develop

C++ Client:支持 Protobuf 原生 schema。 

​https:///apache/pulsar/pull/11388 ​

贡献者:BewareMyPower

重要特性


•因为 PR 较多,仅列举较大 PR 进展,不包括当周全部动态
•下面 PR 均已合入 Pulsar 主分支


Broker:支持设置多个角色进行授权。 

​https:///apache/pulsar/pull/11341 ​

贡献者:RobertIndie

Python Client:支持复杂的 schema。 

​https:///apache/pulsar/pull/11400 ​

贡献者:gaoran10

Pulsar IO:允许 Pulsar IO sink connector 使用原生 AVRO 和 JSON 格式。 

​https:///apache/pulsar/pull/11322 ​

贡献者:eolivelli

Monitor: 将 ​​storageLogicalSize​​ 统计指标添加到 ​​TopicStats​​ 和 ​​NamespaceStats​​。 

​https:///apache/pulsar/pull/11430 ​

贡献者:Technoboy-

Broker:删除 Pulsar 集群时关闭 replicator 和 replication client。 

​https:///apache/pulsar/pull/11342 ​

贡献者:codelipenghui

重要 Bug 修复


•因修复内容较多,仅列举较重要修复内容,不包括本周全部动态
•下面修复均已合入 Pulsar 主分支


CLI:修复在验证批处理源配置时的 pulsar-admin CLI 工具中的问题。 

​https:///apache/pulsar/pull/11378 ​

贡献者:jerrypeng

Admin:修复在创建特定分区的订阅时仅列出为 ​​Partition-0​​ 创建的订阅的问题。 

​https:///apache/pulsar/pull/11355 ​

贡献者:Technoboy-

Function:降低缓存不一致的概率。 

​https:///apache/pulsar/pull/11423 ​

贡献者:315157973

Trnasaction:修复与提交和中止标记相关的直接内存泄漏的问题。 

​https:///apache/pulsar/pull/11407 ​

贡献者:lhotari

Client:避免关闭 consumer 时无限等待。

​https:///apache/pulsar/pull/11347 ​

贡献者:Shoothzj

Broker:删除 topic 后删除 topic 级策略。 

​https:///apache/pulsar/pull/11316 ​

贡献者:horizonzy

Python Function:修复 Python Functions 运行时不支持 ​​tls_validate_hostname​​ 的问题。 

​https:///apache/pulsar/pull/11087 ​

贡献者:freeznet

C++ Client:在 ​​ZTSClient​​ 中使用相同的正则表达式代码。 

​https:///apache/pulsar/pull/11323 ​

贡献者:equanz

Broker:修复使用复制订阅和 Key_Shared consumer 时,broker 泄漏直接内存的问题。 

​https:///apache/pulsar/pull/11396 ​

贡献者:lhotari

Broker:修复内置连接器不存在时发生的 NPE。 

​https:///apache/pulsar/pull/11385 ​

贡献者:jerrypeng

周边生态

Connector:支持多个 Elasticsearch 主机。 

​https:///apache/pulsar/pull/10973 ​

贡献者:wangjialing218

Pulsar IO:确保 ​​AbstractKafkaSourceRecord​​ 的 ​​ack()​​ 方法没有阻塞以避免死锁。 

​https:///apache/pulsar/pull/11435 ​

贡献者:nlu90

NiFi:修复 NarUnpacker 中的并发问题。

​https:///apache/pulsar/pull/11343 ​

贡献者:lhotari

活动和新闻

•报名 Pulsar Virtual Summit Europe 2021[1]•[英文社区] TGIP:Pulsar 及其生态系统[2]•[中文社区] TGIP-CN:Pulsar 及其生态系统[3]


作为全球性开源项目,截至 2021 年 7 月 25 日,Apache Pulsar 已拥有 430 名贡献者、9.4 K+ Star 、2.3 K+ Fork 。正是由于分布在全球各地的社区开发者的贡献,才使得 Apache Pulsar 项目不断发展与前进。

让我们期待下一周的 Apache Pulsar 周报!

如果你也想为 Apache Pulsar 项目出一份力、成为我们的 Contributor,参考下面链接,来加入我们吧:

Apache Pulsar 官方贡献指南[4]

引用链接

​[1]​​ 报名 Pulsar Virtual Summit Europe 2021: ​https://hopin.com/events/pulsar-summit-europe-2021​

​[2]​​ TGIP:Pulsar 及其生态系统: ​https://streamnative.io/resource#tgip​

​[3]​​ TGIP-CN:Pulsar 及其生态系统: ​https://www.slidestalk.com/ApachePulsar/list/meetup/​

​[4]​​ Apache Pulsar 官方贡献指南: ​http://pulsar.apache.org/en/contributing/​

Pulsar 社区周报|2021-07-19  ~ 2021-07-25_redis