Apache Pulsar作为云原生时代的消息中间件标杆,其元数据管理架构的演进历程恰是分布式技术发展史的微观缩影——从
Pulsar 将消息作为持久化的日志流进行处理,支持灵活的订阅模式,使其能够在一个统一的平台上同时支持传统的队
本文首发于 InfoQ 公众号,全文共 9694 字,包含消息系统的背景介绍、选型指南、实践案例等内容。引 言消息系统是现代
可以预期,随着 AI 应用的进一步发展,会对消息处理的延迟、并发、扩容的便捷性和成本考量提出新的严苛要求
迁移过程中,达达团队选择了 Kafka-on-Pulsar(KoP)方案,通过协议兼容实现客户端无感知迁移,避
在可以动态配置Prometheus采集所有线上正在运行的服务指标之后,由于Prometheus的指标是基于protobuf协议进行传输
分布式消息系统中,简单调度无法保障系统稳定性,高效的负载均衡机制至关重要。
Producer 默认启用批量消息,当启用时,多个消息会打包成一个 Entry 数据包,Broker 在推送消息时不会对该 Entry 进外 2 个 Consumer 将会空闲,得不到有效的利用。
此篇 《Pulsar 负载均衡优化》为《Apache Pulsar 优化实战》小册 2.0 中新增的一篇。新增内容覆盖了现有 Pulsar 负载均的线上实测效果,干货满满
跨区域的 Pulsar 集群网络问题的根本原因是防火墙较短的探活周期断开了 Pulsar 和 BookKeeper 的 TCP 连接。
由于不同Subscription的消费进度可能不同,有的较快,有的较慢,因此 Pulsar 对数据的删除是以该 Topic 中消费最慢的 Subs
中国联通联合谙流科技部署谙流 ASK 商业化解决方案,核心依托存储与计算分离架构实现突破,彻底解决传统 Kafka 架构的固有局限
Backlog quota 是对未被消费的消息的限制,它实际工作在 Subscription 级别,通过定时任务来检查 Subscription 中的 Backlog,认,使其对消费者不可见;
ASK通过存算分离、无锁模型和多级缓存三大核心设计,彻底解决了传统消息系统的性能瓶颈,实现百万级 TPS、毫秒级延迟的极致体验。
另外在数据传输过程中,无论是使用Pulsar Producer的同步发送还是异步发送,在消息传输环节本质上都是使用netty将消
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号