关于 Apache Pulsar

Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
GitHub 地址:http:///apache/pulsar/


导语

各位小伙伴们,Pulsar 社区周报更新来啦!

本次 Pulsar 社区周报,为大家呈现 Pulsar client、broker、transactions 等内容,帮助社区小伙伴们掌握 Pulsar 项目及社区每周进展,也方便大家更好地参与到 Pulsar 社区中来!

感谢本周以下小伙伴为 Apache Pulsar 添砖加瓦(排名不分先后,看看你有没有上榜):


codelipenghui、bharanic-dev、lhotari、yangl、lhotari、eolivelli、mattisonchao、nlu90、315157973、freeznet、BewareMyPower、Technoboy-、junquero、newur、bharanic-dev、gaoran10、congbobo184、Shoothzj、eolivelli、hangc0276、merlimat、k2la、Jason918


接下来,一起看看 06 月 21 日 ~ 06 月 27 日有哪些值得你关注的进展吧!

本周亮点

Topic Policy:修复尚未触发主题压缩时系统主题上的潜在数据丢失。 

​https:///apache/pulsar/pull/11003 ​

贡献者:@codelipenghui

Broker:添加资源组配置监听器。 

​https:///apache/pulsar/pull/10657 ​

贡献者:@bharanic-dev

重要进展

[PIP-82] Broker:添加资源组配置监听器。

​https:///apache/pulsar/pull/10657 ​

贡献者:@bharanic-dev

重要特性


•因为 PR 较多,仅列举较大 PR 进展,不包括当周全部动态
•下面 PR 均已合入 Pulsar 主分支


Security:将 Vertx 升级到 3.9.8 版本,以解决 CVE-2019-17640 漏洞。 

​https:///apache/pulsar/pull/10889 ​

贡献者:@lhotari

Security:将 Commons Codec 升级到 1.15 版本。 

​https:///apache/pulsar/pull/10864 ​

贡献者:@lhotari

Build:将 NAR 的包名称更改为 ​​pulsar-io-kafka-connect-adaptor​​。 

​https:///apache/pulsar/pull/10976 ​

贡献者:@codelipenghui

Broker:避免向消费者暴露无意义的统计数据。 

​https:///apache/pulsar/pull/11005 ​

贡献者:@codelipenghui

Tests:将 JUnit 测试转换为 TestNG。 

​https:///apache/pulsar/pull/11020 ​

贡献者:@lhotari

Admin:在 ​​maxTopicsPerNamespace​​ 检查中排除系统 topic。 

​https:///apache/pulsar/pull/10850 ​

贡献者:@yangl

Proxy:限制 ​​AdminProxyHandler​​ 中的重放缓冲区大小。 

​https:///apache/pulsar/pull/10944 ​

贡献者:@lhotari

Schema Registry:即使主题上没有设置 schema, 也要让 ​​KeyValueSchema​​​ 和 ​​AutoConsume​​ 组件可以工作。 

​https:///apache/pulsar/pull/10995 ​

贡献者:@eolivelli

Tests:为 ​​TopicCountEquallyDivideBundleSplitAlgorithm​​添加测试。 

​https:///apache/pulsar/pull/11015 ​

贡献者:@mattisonchao

Functions:重新组织 Pulsar Functions 的上下文层次结构。 

​https:///apache/pulsar/pull/10631 ​

贡献者:@nlu90

Tests:使用 TestNG 替代 JUnit 做测试。 

​https:///apache/pulsar/pull/11027 ​

贡献者:@315157973

Python Functions:使用关键字参数创建 ​​pulsar_client​​。 

​https:///apache/pulsar/pull/11080 ​

贡献者:@freeznet

Python Functions:使用在 ​​function_details​​ 中定义的订阅名称。 

​https:///apache/pulsar/pull/11076 ​

贡献者:@lhotari

Broker:通过消息 ID 获取消息时打印消息元数据。 

​https:///apache/pulsar/pull/11092 ​

贡献者:@codelipenghui

C++ and Python:添加连接超时的配置。 

​https:///apache/pulsar/pull/11029 ​

贡献者:@BewareMyPower

Security:排除对 ​​grpc-okhttp​​ 的依赖,设置 OkHttp3 和 Okio 的版本。 

​https:///apache/pulsar/pull/11025 ​

贡献者:@lhotari

Authorization:删除三元操作并纠正 ​​brokerClientAuthenticationParameter​​。 

​https:///apache/pulsar/pull/11090 ​

贡献者:@Technoboy-

Configuration:添加缺失的配置项。 

​https:///apache/pulsar/pull/11095 ​

贡献者:@junquero

重要 Bug 修复


•因修复内容较多,仅列举较重要修复内容,不包括本周全部动态
•下面修复均已合入 Pulsar 主分支


Client:修复 ​​NoClassDefFoundError​​​ 导致的 ​​io.airlift.compress.lz4.UnsafeUtil​​ 类无法初始化的问题。 

​https:///apache/pulsar/pull/10983 ​

贡献者:@newur

Functions:在 Java Function 实例中引入 Common-IO。 

​https:///apache/pulsar/pull/10939 ​

贡献者:@bharanic-dev

Broker:修复在复制的命名空间中创建分区 topic 时出现的问题。 

​https:///apache/pulsar/pull/10963 ​

贡献者:@gaoran10

Broker:修复由 ​​--precise-backlog=true​​参数引起的积压问题。 

​https:///apache/pulsar/pull/10966 ​

贡献者:@congbobo184

Broker:修复 ​​advertisedListener​​ 的错误端口。 

​https:///apache/pulsar/pull/10961 ​

贡献者:@315157973

Tests:修复 ​​testEnableAndDisableTopicDelayedDelivery​​Flaky Test。 

​https:///apache/pulsar/pull/11009 ​

贡献者:@315157973

Client:取消订阅 topic 时,释放 ​​multiTopicsConsumerImpl​​。 

​https:///apache/pulsar/pull/10997 ​

贡献者:@Shoothzj

Tests:修复 ​​ManagedLedgerTest​​ Flaky Test。 

​https:///apache/pulsar/pull/11016 ​

贡献者:@codelipenghui

Topic Policy:修复尚未触发主题压缩时系统 topic 上的潜在数据丢失。 

​https:///apache/pulsar/pull/11003 ​

贡献者:@codelipenghui

Tests:修复 ​​PrimitiveSchemaTest​​ Flaky Test。 

​https:///apache/pulsar/pull/11038 ​

贡献者:@eolivelli

Tests:修复 ​​AdminApiTest​​ Flaky Test。 

​https:///apache/pulsar/pull/11039 ​

贡献者:@hangc0276

Transaction:修复加载 namespace 包时 broker 初始化事务相关 topic 的问题。 

​https:///apache/pulsar/pull/11022 ​

贡献者:@congbobo184

Tests:修复用 TestNG 替换 JUnit 时 ​​assertEquals​​ 方法参数顺序改变的问题。 

​https:///apache/pulsar/pull/11035 ​

贡献者:@hangc0276

Tests:修复 ​​AdminApiOffloadTest​​ Flaky Test。 

​https:///apache/pulsar/pull/11028 ​

贡献者:@hangc0276

Tests:修复 ​​ResourceGroupConfigListenerTest​​ Flaky Test. 

​https:///apache/pulsar/pull/11048 ​

贡献者:@lhotari

Python:修复不使用 AvroSchema 时导入 Pulsar 2.8.0 Python 客户端的错误。 

​https:///apache/pulsar/pull/11034 ​

贡献者:@merlimat

Tests:修复 ​​AdminApiTest​​ Flaky Test。 

​https:///apache/pulsar/pull/11059 ​

贡献者:@mattisonchao

Broker:使 ​​PulsarClusterMetadataTeardown​​ 的删除功能具有幂等性。 

​https:///apache/pulsar/pull/11042 ​

贡献者:@merlimat

C++:修复 Windows 32 位版本 C++ 源代码编译不成功的问题。 

​https:///apache/pulsar/pull/11082 ​

贡献者:@BewareMyPower

Tests:修复 ​​testTransactionMetaStoreAssignAndFailover​​Flaky Test。 

​https:///apache/pulsar/pull/11073 ​

贡献者:@mattisonchao

Broker:修复错误使用的日志记录器。 

​https:///apache/pulsar/pull/11047 ​

贡献者:@mattisonchao

Broker:为 topic 级别的策略添加鉴权标记,以避免重定向循环。 

​https:///apache/pulsar/pull/11051 ​

贡献者:@codelipenghui

Test:修复 ​​testDuplicateConcurrentSubscribeCommand​​Flaky Test。 

​https:///apache/pulsar/pull/11089 ​

贡献者:@hangc0276

C++:修复 ​​KeySharedMeta​​ 未设置为订阅命令的问题。 

​https:///apache/pulsar/pull/11088 ​

贡献者:@k2la

Topic Policy:修复 topic 级别保留策略不起作用的问题。 

​https:///apache/pulsar/pull/11021 ​

贡献者:@hangc0276

Functions:修复 SpotBugs 引起的构建失败。 

​https:///apache/pulsar/pull/10792 ​

贡献者:@Jason918

Build:修复错误参数个数导致的编译错误。 

​https:///apache/pulsar/pull/11104 ​

贡献者:@mattisonchao

Broker:修复响应过滤器不能正确处理异步响应的问题。 

​https:///apache/pulsar/pull/11052 ​

贡献者:@gaoran10

Topic Policy:修复 ​​SystemTopicBasedTopicPoliciesService​​ 的竞态条件。 

​https:///apache/pulsar/pull/11097 ​

贡献者:@codelipenghui

活动和新闻

•Pulsar 及其生态的每周直播,所有的视频都在这里[1]。•视频回顾 | Pulsar Summit 2021 北美峰会 - 主题演讲•[英文社区] TGIP:Pulsar 及其生态系统[2]•[中文社区] TGIP-CN:Pulsar 及其生态系统[3]



本期周报翻译贡献者简介

shaohan.niu,软件工程师,对 Apache Pulsar、 Apache BookKeeper 以及 Pulsar 的生态非常感兴趣,新加入 Pulsar 社区做志愿者,目前做翻译相关工作。



作为全球性开源项目,截至 2021 年 6 月 27 日,Apache Pulsar 已拥有 405 名贡献者、9.1 K+ Star 、2.1 K+ Fork 。正是由于分布在全球各地的社区开发者的贡献,才使得 Apache Pulsar 项目不断发展与前进。

让我们期待下一周的 Apache Pulsar 周报!

如果你也想为 Apache Pulsar 项目出一份力、成为我们的 Contributor,参考下面链接,来加入我们吧:

Apache Pulsar 官方贡献指南[6]

引用链接

​[1]​​​ 这里: ​https://streamnative.io/en/resource

​[2]​​​ TGIP:Pulsar 及其生态系统: ​https://streamnative.io/resource#tgip

​[3]​​​ TGIP-CN:Pulsar 及其生态系统: ​https://www.slidestalk.com/ApachePulsar/list/meetup/

​[4]​​​ Pulsar Hackathon 2021 Winners Announced: ​https://streamnative.io/en/blog/community/2021-06-22-pulsar-hackathon-2021-winners-announced

​[5]​​​ Highlights from The Pulsar Virtual Summit North America 2021: ​https://streamnative.io/en/blog/community/2021-06-22-highlights-from-the-pulsar-virtual-summit-north-america-2021

​[6]​​​ Apache Pulsar 官方贡献指南: ​http://pulsar.apache.org/en/contributing/