ApachePulsar的博客_Pulsar介绍原创博文

KoP 正式开源：在 Apache Pulsar 上支持原生 Kafka 协议

我们很高兴地宣布 StreamNative 和 OVHcloud 开源了 “KoP“（Kafka on Pulsar）。KoP 将 Kafka 协议处理插件引入 Pulsar broker。这样一来，Apache Pulsar 就支持原生 Apache Kafka 协议。将 KoP 协议处理插件添加到现有 Pulsar 集群后，用户不用修改代码就可以将现有的 Kafka 应用程序和服务迁移到 Pu

Pulsar

kafka

apache

偏移量

原创 2022-04-01 17:51:45 409 阅读

Pulsar Functions Worker 的选举机制

摘要在 Pulsar 中，Function、Source 和 Sink 都是运行在 Function Worker 上

docker

apache

bash

3d

高可用

原创 2021-08-26 13:30:53 218 阅读

在 Spark SQL 和 Spark Structured Streaming 中使用 Pulsar

**????️大纲提要：**你可以使用 Pulsar Spark Connector 读取 Pulsar 的数据，并将结果写回 Pulsar。本文介绍 Pulsar Spark Connector 的使用方法。????Pulsar Spark Connector 在 2019 年 7 月 9 日开源，源代码与用户指南参见这里。配置环境以下示例使用 Homebrew 包管理器在 macOS 下载和安装软件...

Pulsar

Spark

Connector

spark

maven

原创 2021-08-25 10:02:37 195 阅读

KoP 正式开源：在 Apache Pulsar 上支持原生 Kafka 协议

我们很高兴地宣布 StreamNative 和 OVHcloud 开源了 “KoP“（Kafka on Pulsar）。KoP 将 Kafka 协议处理插件引入 Pulsar broker。这样一来，Apache Pulsar 就支持原生 Apache Kafka 协议。将 KoP 协议处理插件添加到现有 Pulsar 集群后，

Pulsar

kafka

apache

偏移量

客户端

原创 2021-08-20 15:56:02 131 阅读

如何使用 Apache Flume 发送日志数据至 Apache Pulsar

Apache Flume 是一个分布式的、可靠易用的系统，可以有效地收集和汇总来自多种源系统的大量日志数据，或转移这些数据至一个数据中心存储。Apache

Apache Pulsar

flume

sink

docker

apache

原创 2021-08-20 10:38:41 163 阅读

深入理解之 Apache Pulsar Connector 与 Partition 关系篇

在前几篇文章中，我们已经介绍了 Connector 与 Function 的关系、在 Function Worker 中如何选举等。其中都涉及到了对 Producer 和 Consumer 的应用。本篇文章我们就来尝试学习一下 pub/sub 模型与 Partition 的关系。Partition下面是官方文档对 Partition 的描述：通常一个 Topic 仅被一个 Broker ...

数据

初始化

优先级

发送消息

高优先级

原创 2021-08-19 16:28:49 148 阅读

Pulsar Kafka Client 简单介绍

摘要为了方便 Kafka 用户使用 Pulsar，Pulsar 对 Kafka Client 作了一些封装，让 Kafka 用户更方便的使用 Pulsar。本篇内容主要介绍 Kafka Client 如何将消息发送到 Pulsar, 并从 Pulsar 消费消息，以及如何使用 Pulsar Schema。引入依赖<dependency> <groupId>org....

kafka

bootstrap

d3

序列化

封装

原创 2021-08-19 16:28:27 153 阅读

Pulsar IO 中 Schema 的调用流程

背景Pulsar Connector 系列的前几篇文章已介绍了 Source、Sink 与 Producer、Consumer 的关系。内建的 Source 封装了 Consumer、内建的 Sink 封装了 Producer，因此，Source 与 Sink 是对 pub/sub 模式的一个深层次的应用。

数据

json

封装

系统集成

数据库

原创 2021-08-19 15:45:38 264 阅读

基于 Apache Pulsar 和 Apache Spark 进行批流一体的弹性数据处理

本文介绍了以 Pulsar 做流数据平台，使用 Spark 进行批流一体数据处理的编程实践。（阅读本文需要约 15 分钟）批流现状在大规模并行数据分析领域，AMPLab 的『One stack to rule them all』提出用 Apache Spark 作为统一的引擎支持批处理、流处理、交互查询和机器学习等常见的数据处理场景。 2017 年 7 月，Spark 2.2.0 版本正式推...

Pulsar

Spark

批流一体

数据

spark

原创 2021-08-19 15:12:03 137 阅读

深入理解 Apache Pulsar Connector 与 Functions 的关系

Instance 架构使用 pulsar-admin source、pulsar-admin sink 或 pulsar-admin function 命令操作 Source、Sin...

数据

初始化

自定义

java

ide

原创 2021-08-19 14:41:53 340 阅读

Pulsar Source 入门篇

阅读本文需要约 5 分钟。Apache Pulsar 是一个分布式发布订阅的消息系统。Source 是 Pulsar 的一个组件，用来将其他系统的数据输入至 Pulsar。摘要本文介绍 Apache Pulsar Source 的基础知识，例如，Source 的常用命令、环境搭建以及使用示例。Source 常用命令create创建 source。参数解释-...

pulsar

source

kafka

命名空间

docker

原创 2021-08-19 14:32:40 207 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Apache Pulsar

KoP 正式开源：在 Apache Pulsar 上支持原生 Kafka 协议

Pulsar Functions Worker 的选举机制

在 Spark SQL 和 Spark Structured Streaming 中使用 Pulsar

KoP 正式开源：在 Apache Pulsar 上支持原生 Kafka 协议

如何使用 Apache Flume 发送日志数据至 Apache Pulsar

深入理解之 Apache Pulsar Connector 与 Partition 关系篇

Pulsar Kafka Client 简单介绍

Pulsar IO 中 Schema 的调用流程

基于 Apache Pulsar 和 Apache Spark 进行批流一体的弹性数据处理

深入理解 Apache Pulsar Connector 与 Functions 的关系

Pulsar Source 入门篇

欢迎