随着互联网的高速发展，用户规模与业务并发量开始急剧增加，海量的请求需要接收和存储，业务需要中间件来实现削峰填谷；业务也在不断发展，企业内部的系统数量也在不断地增长，不同语言开发出来的系统需要统一的事件驱动；大数据、AI已经成为很多业务中不可或缺的技术，它们都需要统一的数据源。越来越多的场景离不开消息队列，稍具规模的业务，消息队列都是“标配”。有的人可能会问，现在消息队列已经非常成熟了，我们可以使用
转载
2024-08-07 10:28:59
137阅读
前段时间浪尖推荐过一套奈学的pulsar课程，很多粉丝问浪尖pulsar到底值不值得学习，会不会替代kafka。浪尖个人2018年的时候就接触了pulsar，而且贡献了一点点代码到社区里，解决了一个和flink整合的bug。今天是整理一篇文章来简单介绍下pulsar。1. pulsar的架构首先，我们先看下pulsar官网给出的pulsar架构，如下图：从架构图中，pulsar集群主要四大模块：1
转载
2024-05-15 02:44:46
90阅读
pulsar最初由Yahoo开发，并于2016年底开源，现在是Apache软件基金会的一个孵化器项目。Pulsar在Yahoo的生产环境运行了三年多，助力Yahoo的主要应用，如Yahoo Mail、Yahoo Finance、Yahoo Sports、Flickr、Gemini广告平台和Yahoo分布式键值存储系统Sherpa。pulsar和kafka最显而易见的区别是，pulsar支持多租户，
Pulsar与Kafka一样是分布式消息中间件Pulsar特性：1.线性扩展。能够丝滑的扩容到成百上千个节点(Kafka扩容需要占用很多系统资源在节点间拷贝数据，而Plusar完全不用)2.高吞吐。每秒数百万消息3.低延迟。在大规模的消息量下依然能够保持低延迟(< 5ms)4.持久化机制。Plusar的持久化机制构建在Apache BookKeeper之上，提供了写与读之前的IO隔离5.基于
转载
2024-03-15 09:47:16
58阅读
Spring Boot 作为主流微服务框架，拥有成熟的社区生态。市场应用广泛，为了方便大家，整理了一个基于spring boot的常用中间件快速集成入门系列手册，涉及RPC、缓存、消息队列、分库分表、注册中心、分布式配置等常用开源组件，大概有几十篇文章，陆续会开放出来，感兴趣同学请提前关注&收藏Pulsar 介绍Pulsar 是 Yahoo 在 2013 年创建的，2016年贡献给了 Ap
转载
2024-03-12 16:23:57
981阅读
导读：在传统消息系统中，存在一些问题。一方面，消息的存储和服务一般是紧耦合的，节点的扩容和运维不便，特别是在需要多备份来保证高可用性的场景。另一方面，消息的消费模式被固定，在企业内部需要维护多套系统来保证不同的消息消费场景。另外消息系统中，多租户，多机房互备等企业级的特性和功能也不太丰富。Apache Pulsar采用了分层的架构，解决了存储计算的耦合，同时提供了很好的扩展性和可维护性
转载
2024-09-19 16:01:38
9阅读
Pulsar是一款分布式发布/订阅消息平台，近两年非常火，被称为下一代的消息流平台，大有取代Kafka的势头。今天我们就来比较一下Pulsar跟Kafka。历史背景Pulsar源自Yahoo，于2016年开源并捐献给Apache基金会，并在2018年9月升级成为Apache顶级项目。Kafka最初由Linkedin开发，并于2010年贡献给了Apache基金会，之后成为Apache顶级项目。架构K
转载
2024-07-17 06:18:49
433阅读
Pulsar github 下载地址 https://github.com/apache/pulsar.git那么为什么我们使用Apache Pulsar构建我们的消息服务呢？1.流和队列 一起Apache Pulsar就像两个产品一样。它不仅可以处理像Kafka这样的高速实时用例，而且还支持标准的消息队列模式，例如竞争消费者，故障转移订阅和简单的消息扇出。 Apache Pulsar会自动跟踪主
转载
2024-03-18 11:11:38
33阅读
Kafka特性高吞吐 ,低延迟可扩展性持久性 ,可靠性容错性高并发Kafka使用场景异步处理 ,日常解耦 ,削峰 ,提速 ,广播例: 消息队列 ,网站活动 ,监控指标 ,日志集合 ,流处理 ,事件采集 ,日志提交kafka选择Pull模式还是Push模式produce将消息推送到replication副本(push),consumer从replication副本拉取消息(pull)说明: 一些消息
转载
2024-08-07 09:00:01
26阅读
ApacheKafka是最流行的事件流处理系统。在这个领域中有很多同类的系统可以拿来比较。但是最关键的一点就是性能。Kafka以速度著称，但是，它现在能有多快，以及与其他系统相比又如何呢？我们决定在最新的云硬件上测试kafka的性能。 为了进行比较，我们选择了传统的消息broker RabbitMQ和基于Apache Bookeeper的消息broker Apache Pulsar。我们要关注以下
转载
2024-07-01 09:47:51
89阅读
kafkakafka 属于 Stream 的消费模型，为了支持多 partition 的消费关系，引入了 consumer group 的概念，同时支持在消费端动态的 r...
转载
2021-06-10 21:24:43
290阅读
kafkakafka 属于 Stream 的消费模型，为了支持多 partition 的消费关系，引入了 consumer group 的概念，同时支持在消费端动态的 r...
转载
2021-06-10 21:24:44
361阅读
导语 | 市面上有非常多的消息中间件，rabbitMQ、kafka、rocketMQ、pulsar、 redis等等，多得令人眼花缭乱。它们到底有什么异同，你应该选哪个？本文尝试通过技术演进的方式，以redis、kafka和 pulsar为例，逐步深入，讲讲它们架构和原理，帮助你更好地理解和学习消息队列。文章作者：刘德恩，腾讯IEG研发工程师。一、最基础的队列最基础的消息队列其实就是一
转载
2022-04-23 22:53:31
174阅读
通过 Pulsar 与 Kafka 架构对比，了解 Pulsar 数据存储方式
转载
2021-07-26 11:16:02
122阅读
通过 Pulsar 与 Kafka 架构对比，了解 Pulsar 数据存储方式
原创
2021-07-27 17:29:38
111阅读
本文作者是 David Kjerrumgaard，目前任职于 Splunk，Apache Pulsar 和 Apache NiFi 项目贡献者。
原创
2021-08-19 15:14:30
172阅读
导语 | 市面上有非常多的消息中间件，rabbitMQ、kafka、rocketMQ、pulsar、 redis等等，多得令人眼花缭乱。它们到底有什么异同，你应该选哪个？本文尝试通过技术演进的方式，以redis、kafka和 pulsar为例，逐步深入，讲讲它们架构和原理，帮助你更好地理解和学习消息队列。文章作者：刘德恩，腾讯IEG研发工程师。
一、最基础的队列
最基础的消息队列其实就
转载
2021-06-12 17:26:12
495阅读
导读
市面上有非常多的消息中间件，rabbitMQ、kafka、rocketMQ、pulsar、 redis等等，多得令人眼花缭乱。它们到底有什么异同，你应该选哪个？本文尝试通过技术演进的方式，以redis、kafka和 pulsar为例，逐步深入，讲讲它们架构和原理，帮助你更好地理解和学习消息队列。
一、最基础的队列
最基础的消息队列其实就是一个双端队列，我们可以用双向链表来实现，如下图所示：
转载
2021-06-18 20:54:04
140阅读
市面上有非常多的消息中间件，rabbitMQ、kafka、rocketMQ、pulsar、 redis等等，多得令人眼花缭乱。它们到底有什么异同，你应该选哪个？本文尝试通过技术演进的方式，以redis、kafka和 pulsar为例，逐步深入，讲讲它们架构和原理，帮助你更好地理解和学习消息队列。文章作者：刘德恩，腾讯IEG研发工程师。...
转载
2021-07-28 16:50:24
193阅读
