作者：Susan

编辑：Irene

 

[Recap] EMQ X Meetup 北京站 - 5/18_分享

 

 

2019 年 5 月 18 日，EMQ 团队在北京举办了主题为基于 EMQ X 打造 5G 时代物联网（loT）平台和应用的技术沙龙，我司 CEO 郭斯杰受邀参与本次沙龙，与 EMQ 解决方案总监 Frank Wang 合作发表了 Apache Pulsar 在 EMQ 开源物联网平台产品 ActorCloud 上的应用主题演讲。

 

很多技术爱好者参与了此次干货满满的分享，进行了热烈的讨论，以下为本节内容导航。

 

 

郭斯杰

ASF member | StreamNative 联合创始人

 

本次分享中，郭斯杰介绍了什么是 Pulsar、Pulsar 的核心功能和生态组件，Frank 随后介绍了开源物联网设备管理平台 ActorCloud，以及 Pulsar 在 ActorCloud 上的应用场景：

 

  • Apache Pulsar 是什么？

  • Apache Pulsar 核心功能

  • Apache Pulsar 生态组件

  • 开源物联网设备管理平台 - ActorCloud

  • Apache Pulsar 在 ActorCloud 上的应用

 

[Recap] EMQ X Meetup 北京站 - 5/18_分享_02

 

 

Apache Pulsar 是一个发布-订阅消息系统，区别于传统的消息中间件，Pulsar 是带日志存储的分布式流存储的消息中间件。Apache Pulsar 是什么？一节包含以下内容：

 

  • 什么是 Pulsar?

  • 为什么做 Pulsar?

  • Pulsar 项目状态

 

在 Apache Pulsar 核心功能方面，Pulsar 主要在三个方面区别于传统消息中间件：从用户实用角度来说，Pulsar 是“队列+流”的统⼀消息模型；从架构角度来说，Pulsar 实现了存储和计算的分离；从存储角度来说，Pulsar 从物理分区降维到逻辑分片，实现不同程度的独立扩容。本次分享中，斯杰进一步介绍了 Pulsar 的概念，详细阐述了 Pulsar 多租户、统一的消息模型、存储计算分离、逻辑分片存储等几个特性。

 

  • Pulsar 和传统消息中间件的三个不同

  • Pulsar 概念

  • Pulsar 多租户

  • 统一的消息模型

  • 存储计算分离

  • 逻辑分片存储

 

在 Apache Pulsar 生态组件方面，本次分享主要从内置 Schema 管理、Pulsar Fundtions、Pulsar IO 和 Presto SQL 四个方面展开，最后分享了 Pulsar 生态的应用。

 

  • Pulsar Schema

  • Pulsar Functions

  • Pulsar IO - Connectors

  • Presto SQL

  • Pulsar 生态

 

 

Frank Wang

EMQ 解决方案总监

 

[Recap] EMQ X Meetup 北京站 - 5/18_分享_03

 

Frank 介绍了开源物联网设备管理平台 ActorCloud，以及 Pulsar 在 ActorCloud 上的应用场景，详细内容可查看文末视频（33分钟左右开始）。

 

ActorCloud 是一个开源的物联网平台，集成了物联网平台所需的设备多协议接入、基于 SQL 的轻量级流式物联网数据处理、可扩展的数据持久化等功能，并且向上提供了基本的设备管理 API 和参考 UI 实现，第三方可以基于此平台快速开发出满足定制需求的物联网平台。ActorCloud 的开源能力主要分为六个模块：

 

  • 连接与数据采集

  • 设备管理

      产品管理（数据流、功能点）

      分组管理

      证书管理

  • 应用管理

      应用权限可自定义

      提供丰富的 API：设备管理 API，数据查询 API，告警管理 API

  • 用户管理

      租户隔离、租户内用户可分权、分域

  • 基于 SQL 可扩展业务规则引擎

  • 大数据平台对接

 

其中，作为流处理引擎，Pulsar 替代了 Kafka ，在平台中承担数据处理的任务，下图是基于 EMQ 和 Pulsar 消息处理引擎的 ActorCloud 平台架构。

 

[Recap] EMQ X Meetup 北京站 - 5/18_分享_04

 

Apache Pulsar 是云原生新一代的消息流数据平台，它具有存储计算分离的先进架构、统一的消息消费模型、高可用和高可扩展性、以及丰富的企业级特性。Pulsar 的特性满足了物联网平台实时处理数据的需求。基于 Pulsar Functions 的能力，ActorCloud 平台可将物联网行业内的规则实时运用到消息处理引擎中。

 

ActorCloud 平台应用了 Pulsar 的一部分功能，其中包括 Pulsar 提供的基础 Window 支持、用于 Functions 实时增删改查的 API，还有无状态 Functions 带来的灵活的订阅模式，存储与计算分离特性带来的其他便利。Pulsar 在 ActorCloud 平台上的应用还可以进一步挖掘。

 

本次演讲中，Frank 还分享了 ActorCloud 数据处理样例和平台发布计划，ActorCloud 平台会在后续会开源 EMQ 基于 Pulsar Functions 的规则引擎

Apache Pulsar 在 EMQ 开源物联网平台产品 ActorCloud 上的应用

 

更多关于 Pulsar 的干货和动态，请关注公众号 ApachePulsar。

[Recap] EMQ X Meetup 北京站 - 5/18_分享_05