ApachePulsar的博客_Pulsar介绍

Pulsar IO 简介

翻译：StreamNative——SijiaApache Pulsar 是业界领先的消息系统。使用消息系统时，一个较为常见的问题就是：将数据移入或移出消息平台的最佳方法是什么？当然，用户可以使用 Pulsar 的 consumer 和 producer API 编写自定义代码，来传输数据。但除此之外，是否还有其他方法呢？以下为用户提出的一些相关问题：要将数据发布到 Pulsar 或使用 Pulsa

大数据

Pulsar Pulsar

数据

twitter

自定义

翻译 2022-04-01 17:53:07 267 阅读

Apache Pulsar 的访问模式与分层存储

原作者：Ivan Kelly 翻译：StreamNative——Sijia之前我们谈到了 Apache Pulsar 如何利用 BookKeeper 多副本的工作方式以及 BookKeeper 中不同的 I/O 模式。本文将讨论在 Pulsar 中多副本怎样与不同的 I/O 模式交互，以及 Pulsar 如何通过这种交互实现分层存储等。从本质上看，Pulsar 采用分层架构，而这种分层架构使得每种

Pulsar

消息系统

缓存

偏移量

翻译 2022-04-01 17:52:46 328 阅读

基于 Pulsar Functions 的事件处理设计模式

原作者：David Kjerrumgaard 翻译：StreamNative——Sijia本文将介绍一些常见的实时流式传输模式及其实现。模式 1：动态路由首先回顾一下如何使用 Apache Pulsar Functions 实现基于内容的路由。基于内容的路由是一种集成模式。该模式已经存在多年，通常用于事件中心和消息框架中。基本思路是检查每条消息的内容，根据消息内容将消息路由到不同目的地。下面的

Pulsar

apache

数据

滑动窗口

翻译 2022-04-01 17:52:40 105 阅读

KoP 正式开源：在 Apache Pulsar 上支持原生 Kafka 协议

我们很高兴地宣布 StreamNative 和 OVHcloud 开源了 “KoP“（Kafka on Pulsar）。KoP 将 Kafka 协议处理插件引入 Pulsar broker。这样一来，Apache Pulsar 就支持原生 Apache Kafka 协议。将 KoP 协议处理插件添加到现有 Pulsar 集群后，用户不用修改代码就可以将现有的 Kafka 应用程序和服务迁移到 Pu

Pulsar

kafka

apache

偏移量

原创 2022-04-01 17:51:45 410 阅读

为什么选择 Apache BookKeeper？（第 1 部分）

原作者：Sijie Guo 翻译: StreamNative——SijiaApache BookKeeper 针对实时工作负载进行了优化，是可扩展、可容错、低延迟的日志存储服务。BookKeeper 最初由雅虎研究院（Yahoo! Research）开发，而后于 2011 年作为 Apache ZooKeeper 的子项目孵化，最终在 2015 年 1 月作为 Apache 的顶

Pulsar

数据

持久性

客户端

翻译 2022-04-01 17:47:14 146 阅读

Apache BookKeeper 简介

原作者：Sijie Guo 翻译：StreamNative——SijiaApache BookKeeper 是企业级存储系统，旨在保证高持久性、一致性与低延迟。Pulsar 由雅虎研究院（Yahoo! Research）开发，旨在实现 Hadoop 分布式文件系统（HDFS）NameNode 的高可用，在此之前，NameNode 不具备高可用特性，存在单点故障的问题。自 2011 年起，

Pulsar

数据

客户端

apache

翻译 2022-04-01 17:46:53 131 阅读

选择 APACHE PULSAR 而非 KAFKA 的另外 5 个原因

原作者：Chris Bartholomew 翻译：StreamNative——Sijia前段时间，我在一篇博客中提到了选择 Apache Pulsar 而不是 Apache Kafka 的 7 个原因。之后我一直在准备一份比较 Kafka 和 Pulsar 的详细报告，并一直与 Pulsar 开源项目的用户交谈，同时也与我们托管的 Pulsar 服务 —— Kafkaesque

Pulsar

kafka

消息传递

多租户

翻译 2022-04-01 17:46:33 81 阅读

Pulsar Functions Worker 的选举机制

摘要在 Pulsar 中，Function、Source 和 Sink 都是运行在 Function Worker 上

docker

apache

bash

3d

高可用

原创 2021-08-26 13:30:53 218 阅读

在 Spark SQL 和 Spark Structured Streaming 中使用 Pulsar

**????️大纲提要：**你可以使用 Pulsar Spark Connector 读取 Pulsar 的数据，并将结果写回 Pulsar。本文介绍 Pulsar Spark Connector 的使用方法。????Pulsar Spark Connector 在 2019 年 7 月 9 日开源，源代码与用户指南参见这里。配置环境以下示例使用 Homebrew 包管理器在 macOS 下载和安装软件...

Pulsar

Spark

Connector

spark

maven

原创 2021-08-25 10:02:37 195 阅读

KoP 正式开源：在 Apache Pulsar 上支持原生 Kafka 协议

我们很高兴地宣布 StreamNative 和 OVHcloud 开源了 “KoP“（Kafka on Pulsar）。KoP 将 Kafka 协议处理插件引入 Pulsar broker。这样一来，Apache Pulsar 就支持原生 Apache Kafka 协议。将 KoP 协议处理插件添加到现有 Pulsar 集群后，

Pulsar

kafka

apache

偏移量

客户端

原创 2021-08-20 15:56:02 129 阅读

基于 Pulsar Functions 的事件处理设计模式

原作者：David Kjerrumgaard翻译：StreamNative——Sijia本文将介绍一些常见的实时流式传输模式及其实现。模式 1：动态路由首先回顾一下如何使用 Apache Pulsar Functions 实现基于内容的路由。基于内容的路由是一种集成模式。该模式已经存在多年，通常用于事件中心和消息框架中。基本思路是检查每条消息的内容，根据消息内容将消息路由到不同目的地。

Pulsar

apache

数据

滑动窗口

聚合函数

翻译 2021-08-20 15:40:29 274 阅读

Apache Pulsar 的访问模式与分层存储

原作者：Ivan Kelly翻译：StreamNative——Sijia之前我们谈到了 Apache Pulsar 如何利用 BookKeeper 多副本的工作方式以及 BookKeeper 中不同的 I/O 模式。本文将讨论在 Pulsar 中多副本怎样与不同的 I/O 模式交互，以及 Pulsar 如何通过这种交互实现分层存储等。

Pulsar

消息系统

一级缓存

缓存

发送消息

翻译 2021-08-20 15:38:51 96 阅读

一张图表告诉你谁对 Apache Pulsar 感兴趣

原作者：Ben Lorica、Jesse Anderson翻译：StreamNative——Sijia多层架构、可扩展、多租户和持久性只是众多公司选择 Pulsar 的一部分原因。企业通过越来越多的系统和设备生成数据，消息传递和事件流解决方案也（尤其是 Apache Kafka）得以广泛使用。

Pulsar

数据

apache

解决方案

kafka

翻译 2021-08-20 15:38:08 204 阅读

Apache BookKeeper 简介

原作者：Sijie Guo翻译：StreamNative——SijiaApache BookKeeper 是企业级存储系统，旨在保证高持久性、一致性与低延迟。Pulsar 由雅虎研究院（Yahoo! Research）开发，旨在实现 Hadoop 分布式文件系统（HDFS）NameNode 的高可用，

Pulsar

数据

客户端

apache

命名空间

翻译 2021-08-20 15:37:44 385 阅读

为什么选择 Apache BookKeeper？（第 2 部分）

Sijia在前一篇文章中，我介绍了 Apache BookKeeper 如何保证其持久性、一致性、高可用与低延迟。希望前一篇文章能够为你选择 BookKeeper 作为实时工作负载存储平台提供支持。在本文中，我将会介绍 Apache BookKeeper 一系列具有竞争力的功能，主要包括 I/O 隔离、数据分布、可扩展性与可操作性。I/O 隔离可预测的低延迟对实时应用程序而言十分重要，

Pulsar

数据

apache

客户端

运维

翻译 2021-08-20 11:50:17 135 阅读

为什么选择 Apache BookKeeper？（第 1 部分）

原作者：Sijie Guo翻译: StreamNative——SijiaApache BookKeeper 针对实时工作负载进行了优化，是可扩展、可容错、低延迟的日志存储服务。BookKeeper 最初由雅虎研究院（Yahoo! Research）开发，而后于 2011 年作为 Apache ZooKeeper 的子项目孵化，

Pulsar

数据

持久性

客户端

apache

翻译 2021-08-20 11:35:12 294 阅读

如何使用 Apache Flume 发送日志数据至 Apache Pulsar

Apache Flume 是一个分布式的、可靠易用的系统，可以有效地收集和汇总来自多种源系统的大量日志数据，或转移这些数据至一个数据中心存储。Apache

Apache Pulsar

flume

sink

docker

apache

原创 2021-08-20 10:38:41 161 阅读

简介Apache Pulsar-下一代分布式消息系统

Apache Pulsar（孵化器项目）是一个企业级的发布订阅（pub-sub）消息系统，最初由Yahoo开发，并于2016年底开源，现在是Apache软件基金会的一个孵化器项目。Pulsar在Yahoo的生产环境运行了三年多，助力Yahoo的主要应用，如Yahoo Mail、Yahoo Fina...

Apache Pulsar

总体介绍

命名空间

数据

应用程序

转载 2021-08-20 10:28:20 123 阅读

深入理解之 Apache Pulsar Connector 与 Partition 关系篇

在前几篇文章中，我们已经介绍了 Connector 与 Function 的关系、在 Function Worker 中如何选举等。其中都涉及到了对 Producer 和 Consumer 的应用。本篇文章我们就来尝试学习一下 pub/sub 模型与 Partition 的关系。Partition下面是官方文档对 Partition 的描述：通常一个 Topic 仅被一个 Broker ...

数据

初始化

优先级

发送消息

高优先级

原创 2021-08-19 16:28:49 147 阅读

Pulsar Kafka Client 简单介绍

摘要为了方便 Kafka 用户使用 Pulsar，Pulsar 对 Kafka Client 作了一些封装，让 Kafka 用户更方便的使用 Pulsar。本篇内容主要介绍 Kafka Client 如何将消息发送到 Pulsar, 并从 Pulsar 消费消息，以及如何使用 Pulsar Schema。引入依赖<dependency> <groupId>org....

kafka

bootstrap

d3

序列化

封装

原创 2021-08-19 16:28:27 151 阅读

选择 APACHE PULSAR 而非 KAFKA 的另外 5 个原因

原作者：Chris Bartholomew翻译：StreamNative——Sijia前段时间，我在一篇博客中提到了选择 Apache Pulsar 而不是 Apache Kafka 的 7 个原因。之后我一直在准备一份比较 Kafka 和 Pulsar 的详细报告，并一直与 Pulsar 开源项目的用户交谈，

Pulsar

kafka

消息传递

消息系统

多租户

翻译 2021-08-19 16:06:23 120 阅读

Pulsar IO 中 Schema 的调用流程

背景Pulsar Connector 系列的前几篇文章已介绍了 Source、Sink 与 Producer、Consumer 的关系。内建的 Source 封装了 Consumer、内建的 Sink 封装了 Producer，因此，Source 与 Sink 是对 pub/sub 模式的一个深层次的应用。

数据

json

封装

系统集成

数据库

原创 2021-08-19 15:45:38 265 阅读

基于 Apache Pulsar 和 Apache Spark 进行批流一体的弹性数据处理

本文介绍了以 Pulsar 做流数据平台，使用 Spark 进行批流一体数据处理的编程实践。（阅读本文需要约 15 分钟）批流现状在大规模并行数据分析领域，AMPLab 的『One stack to rule them all』提出用 Apache Spark 作为统一的引擎支持批处理、流处理、交互查询和机器学习等常见的数据处理场景。 2017 年 7 月，Spark 2.2.0 版本正式推...

Pulsar

Spark

批流一体

数据

spark

原创 2021-08-19 15:12:03 137 阅读

Pulsar IO 简介

翻译：StreamNative——SijiaApache Pulsar 是业界领先的消息系统。使用消息系统时，一个较为常见的问题就是：将数据移入或移出消息平台的最佳方法是什么？当然，用户可以使用 Pulsar 的 consum

大数据

Pulsar Pulsar

数据

twitter

自定义

翻译 2021-08-19 15:10:38 283 阅读

深入理解 Apache Pulsar Connector 与 Functions 的关系

Instance 架构使用 pulsar-admin source、pulsar-admin sink 或 pulsar-admin function 命令操作 Source、Sin...

数据

初始化

自定义

java

ide

原创 2021-08-19 14:41:53 341 阅读

Pulsar Source 入门篇

阅读本文需要约 5 分钟。Apache Pulsar 是一个分布式发布订阅的消息系统。Source 是 Pulsar 的一个组件，用来将其他系统的数据输入至 Pulsar。摘要本文介绍 Apache Pulsar Source 的基础知识，例如，Source 的常用命令、环境搭建以及使用示例。Source 常用命令create创建 source。参数解释-...

pulsar

source

kafka

命名空间

docker

原创 2021-08-19 14:32:40 207 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Apache Pulsar

Pulsar IO 简介

Apache Pulsar 的访问模式与分层存储

基于 Pulsar Functions 的事件处理设计模式

KoP 正式开源：在 Apache Pulsar 上支持原生 Kafka 协议

为什么选择 Apache BookKeeper？（第 1 部分）

Apache BookKeeper 简介

选择 APACHE PULSAR 而非 KAFKA 的另外 5 个原因

Pulsar Functions Worker 的选举机制

在 Spark SQL 和 Spark Structured Streaming 中使用 Pulsar

KoP 正式开源：在 Apache Pulsar 上支持原生 Kafka 协议

基于 Pulsar Functions 的事件处理设计模式

Apache Pulsar 的访问模式与分层存储

一张图表告诉你谁对 Apache Pulsar 感兴趣

Apache BookKeeper 简介

为什么选择 Apache BookKeeper？（第 2 部分）

为什么选择 Apache BookKeeper？（第 1 部分）

如何使用 Apache Flume 发送日志数据至 Apache Pulsar

简介Apache Pulsar-下一代分布式消息系统

深入理解之 Apache Pulsar Connector 与 Partition 关系篇

Pulsar Kafka Client 简单介绍

选择 APACHE PULSAR 而非 KAFKA 的另外 5 个原因

Pulsar IO 中 Schema 的调用流程

基于 Apache Pulsar 和 Apache Spark 进行批流一体的弹性数据处理

Pulsar IO 简介

深入理解 Apache Pulsar Connector 与 Functions 的关系

Pulsar Source 入门篇

欢迎