关于 Apache Pulsar

Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。

GitHub 地址:http://github.com/apache/pulsar/

 

导语

各位小伙伴们,Pulsar 社区周报更新来啦!

本次 Pulsar 社区周报,为大家呈现 Pulsar client、broker、Functions、schema、KoP、Pulsar IO 等内容,帮助社区小伙伴们掌握 Pulsar 项目及社区每周进展,也方便大家更好地参与到 Pulsar 社区中来!

感谢本周以下小伙伴为 Apache Pulsar 添砖加瓦(排名不分先后,看看你有没有上榜):

@zymap、@reswqa、@wolfstudy、@315157973、@lhotari、 @Jennifer88huang、@sijie、@sijia-w、@rathipry、@hangc0276、@BewareMyPower、@aahmed-se、@jianyun8023、@merlimat、@aloyszhang、@MarvinCai、@dockerzhang、@rdhabalia、@codelipenghui、@RobertIndie、@zsh0139、@flowchartsman

接下来,一起看看 12-12 ~ 12-18 有哪些值得你关注的进展吧!

本周亮点

Java Client: 实现 producer 内存限制。
https://github.com/apache/pulsar/pull/8965
贡献者:@merlimat

Java Client: 支持 producer 的 WaitForExclusive 创建模式。
https://github.com/apache/pulsar/pull/8992
贡献者:@merlimat

Broker: 引入轻量级 broker 元数据。
https://github.com/apache/pulsar/pull/8618
贡献者:@aloyszhang

重要特性

因为 PR 较多,仅列举较大 PR 进展,不包括当周全部动态
下面 PR 均已合入 Pulsar 主分支

Schema: 为 SchemaInfoBuilder 中的属性添加默认值。
https://github.com/apache/pulsar/pull/8952
贡献者:@jianyun8023

KoP: 支持使用指定统计数据更新统计数据。
https://github.com/apache/pulsar/pull/8951
贡献者:@dockerzhang

Broker: 支持在 topic 级别配置每个 topic 的最大订阅数。
https://github.com/apache/pulsar/pull/8948
贡献者:@315157973

Websocket: 支持 WebSocket producer 的 deliveryAt 和 deliverAfter属性。
https://github.com/apache/pulsar/pull/8945
贡献者:@MarvinCai

Broker: 支持限制每个 namespace 的最大 topic 数量。
https://github.com/apache/pulsar/pull/8942
贡献者:@hangc0276

Broker: 暴露不连续的已删除消息的统计数据。
https://github.com/apache/pulsar/pull/8936
贡献者:@codelipenghui

Broker: 添加 beforeSendMessage 方法,在将 entry 发送给 consumer 之前拦截 entry。
https://github.com/apache/pulsar/pull/8932
贡献者:@sijie

Broker: 支持在 namespace 级别配置每个 topic 的最大订阅数量。
https://github.com/apache/pulsar/pull/8924
贡献者:@315157973

C++ Client: 为 reader 添加 consumer 配置,用于解密加密的消息。
https://github.com/apache/pulsar/pull/8905
贡献者:@BewareMyPower

Functions: 提供 Function worker 服务的接口。
https://github.com/apache/pulsar/pull/8560
贡献者:@sijie

重要 Bug 修复

因修复内容较多,仅列举较重要修复内容,不包括本周全部动态
下面修复均已合入 Pulsar 主分支

Java Client: 修复当 Pulsar 客户端收到来自已关闭 producer 的发布的消息确认时出现的 NPE 问题。
https://github.com/apache/pulsar/pull/8979
贡献者:@rdhabalia

Admin: 修复 AdminApiTest2.testMaxSubPerTopicApi 的 Flaky test。
https://github.com/apache/pulsar/pull/8970
贡献者:@315157973

Broker:修复 PersistentStickyKeyDispatcherMultipleConsumers 中的 NPE。
https://github.com/apache/pulsar/pull/8969
贡献者:@315157973

Broker: 清理无法从缓存中卸载的 topic。
https://github.com/apache/pulsar/pull/8968
贡献者:@rdhabalia

Broker: 更新 Maven 工件版本。
https://github.com/apache/pulsar/pull/8966
贡献者:@aahmed-se

Broker: 解决了元数据导致的兼容性的问题。
https://github.com/apache/pulsar/pull/8959
贡献者:@zymap

Broker: 修复了在没有分发速率限制的情况下卸载 topic 后,订阅的分发速率无法工作的问题。
https://github.com/apache/pulsar/pull/8947
贡献者:@codelipenghui

Pulsar IO: 修复 pulsar-io.yaml 文件名和 sourceConfigClass 类。
https://github.com/apache/pulsar/pull/8941
贡献者:@flowchartsman

Schema: 修复自定义 Avro schema 不适用于 consumer 的问题。
https://github.com/apache/pulsar/pull/8939
贡献者:@reswqa

Broker: 修复 Pulsar broker 中项目的格式错误。
https://github.com/apache/pulsar/pull/8933
贡献者:@zsh0139

Java Client: 在发送 TimeoutException 进行故障排除时添加更多信息。
https://github.com/apache/pulsar/pull/8931
贡献者:@sijie

Pulsar CI: 通过在 MAVEN_OPTS 环境变量中传递 -Dhttp.keepAlive = false -Dmaven.wagon.http.pool = false 来禁用 Maven 的 HTTP 连接池。
https://github.com/apache/pulsar/pull/8921
贡献者:@lhotari

Pulsar Build: 使用绝对路径查找许可证和 checkstyle 插件配置。
https://github.com/apache/pulsar/pull/8918
贡献者:@lhotari

Pulsar Client: 修复带有加密字段(*****) 的 authParams 参数在日志中显示的问题。
https://github.com/apache/pulsar/pull/8910
贡献者:@hangc0276

Pulsar Package: 修复包无法上传的问题。
https://github.com/apache/pulsar/pull/8907
贡献者:@zymap

Java Shade Client: 添加加密集成测试。
https://github.com/apache/pulsar/pull/8850
贡献者:@RobertIndie

活动和新闻

[TGIP] 每周直播:Pulsar 及其生态系统
https://streamnative.io/resource#tgip[TGIP-CN] 每周直播:Pulsar 及其生态系统
https://www.slidestalk.com/ApachePulsar/list/meetup/Pulsar Summit Asia 2020
https://space.bilibili.com/391380821/channel/detail?cid=159884


作为全球性开源项目,截至 2020 年 12 月 18 日,Apache Pulsar 已拥有 343 名贡献者、7.0K+ Star 、1.7K+ Fork 。正是由于分布在全球各地的社区开发者的贡献,才使得 Apache Pulsar 项目不断发展与前进。

让我们期待下一周的 Apache Pulsar 周报!

如果你也想为 Apache Pulsar 项目出一份力、成为我们的 Contributor,参考下面链接,来加入我们吧:

Apache Pulsar 官方贡献指南[1]

引用链接

[1] Apache Pulsar 官方贡献指南: http://pulsar.apache.org/en/contributing/