Apache Pulsar作为云原生时代的消息中间件标杆,其元数据管理架构的演进历程恰是分布式技术发展史的微观缩影——从
Pulsar 将消息作为持久化的日志流进行处理,支持灵活的订阅模式,使其能够在一个统一的平台上同时支持传统的队
本文首发于 InfoQ 公众号,全文共 9694 字,包含消息系统的背景介绍、选型指南、实践案例等内容。引 言消息系统是现代
可以预期,随着 AI 应用的进一步发展,会对消息处理的延迟、并发、扩容的便捷性和成本考量提出新的严苛要求
迁移过程中,达达团队选择了 Kafka-on-Pulsar(KoP)方案,通过协议兼容实现客户端无感知迁移,避
在可以动态配置Prometheus采集所有线上正在运行的服务指标之后,由于Prometheus的指标是基于protobuf协议进行传输
分布式消息系统中,简单调度无法保障系统稳定性,高效的负载均衡机制至关重要。
Producer 默认启用批量消息,当启用时,多个消息会打包成一个 Entry 数据包,Broker 在推送消息时不会对该 Entry 进外 2 个 Consumer 将会空闲,得不到有效的利用。
此篇 《Pulsar 负载均衡优化》为《Apache Pulsar 优化实战》小册 2.0 中新增的一篇。新增内容覆盖了现有 Pulsar 负载均的线上实测效果,干货满满
跨区域的 Pulsar 集群网络问题的根本原因是防火墙较短的探活周期断开了 Pulsar 和 BookKeeper 的 TCP 连接。
由于不同Subscription的消费进度可能不同,有的较快,有的较慢,因此 Pulsar 对数据的删除是以该 Topic 中消费最慢的 Subs
中国联通联合谙流科技部署谙流 ASK 商业化解决方案,核心依托存储与计算分离架构实现突破,彻底解决传统 Kafka 架构的固有局限
Backlog quota 是对未被消费的消息的限制,它实际工作在 Subscription 级别,通过定时任务来检查 Subscription 中的 Backlog,认,使其对消费者不可见;
ASK通过存算分离、无锁模型和多级缓存三大核心设计,彻底解决了传统消息系统的性能瓶颈,实现百万级 TPS、毫秒级延迟的极致体验。
另外在数据传输过程中,无论是使用Pulsar Producer的同步发送还是异步发送,在消息传输环节本质上都是使用netty将消
它能够主动理解目标、分解任务、调用工具(API)、与环境交互并持续优化。消息队列的核心优势——可靠、解耦
它能够主动理解目标、分解任务、调用工具(API)、与环境交互并持续优化。消息队列的核心优势——可靠、解耦、异步、缓冲——在 AI Agent 分布式、异构、高并发、长流程的生态中,价值不仅未被削弱,反而被显著放大,成为串联智能体的生命线。Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、
ASP 社区版是一款完全免费的 Pulsar 集群管理控制台,基于 Docker 构建,一行命令即可完成本地部署
基于 OpenAI 在 Confluent 技术演讲中披露的内容,本文将从 Kafka 在 OpenAI 中的使用场景出发,揭示业务暴涨后的所面临的痛点,
improve][build]将 org.apache.commons:commons-lang3 从 3.17.0 升级到 3.18.0。[improve][pip]PIP-432:在 EncryptionCo
值得注意的是,通过将journal目录与独立磁盘绑定的部署方式(官方推荐配置),配合多journal目录并行写入的线程隔离
耗时18 us,fsync 平均耗时26 us,总耗时应该在44us左右,结合上面测试,在bookie 中,单条数据写入并完成刷
fix][broker]修复非持久主题的复制器总是出现“Producer send queue is full”的错误,如果设置了较小的配置值 replication本周有哪些重要更新吧~
Pulsar Functions 是基于 Apache Pulsar 的 Serverless 计算框架,它提供了一个方便而强大的解决方案,打破了传统机器学习工结果的机器学习 pipeline 提供解决方案。但独立实例的形式更便于我们在实时 AI 的场景下进行实践
基于这些原因,我们开发了 ASP 社区版(AscentStream Platform Community Edition),一个全新的、现代化的 Pulsar 管控平台,旨在
ASK 如何实现秒级扩容?一文读懂
这个方法,在最新版本的Bookie代码中,读取操作的核心逻辑基于READ_ENTRY操作码(opCode)实现,同时读
improve][pip]PIP-425:支持连接到下一个可用的端点以用于多端点 serviceUrls。[fix][txn]通过确保将批量大小添加到
这是 Spring AI 提供的 MCP 服务器启动器,它处理了与 AI 模型通信的所有底层协议和复杂性,我们只需要专注于实
improve][build]将 org.apache.commons.lang 替换为 org.apache.commons.lang3。[improve][client][pip]要求将 Java 17 作
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号