原文作者 Anonymitaet@StreamNative,文章首发于公众号 StreamNative,如需转载,请前往联络。

关于 Apache Pulsar

Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
GitHub 地址:http://github.com/apache/pulsar/

今天,我们很自豪地宣布 StreamNative 发布并开源首版 AWS Simple Queue Service (SQS) connector[1]!通过 SQS connector,你能轻松地在 Pulsar 与 SQS 之间移动数据,并充分利用这两种消息系统的优势。这标志着 StreamNative 在提升 Pulsar 生态系统的多样性、完整性和生产力方面又向前跨越了一大步。

SQS connector 是什么?

众所周知,检验消息系统的重要指标之一是与周边生态的集成状况。与其它 Pulsar connector[2] 一样,SQS connector 是构建 Apache Pulsar 周边生态的重要组成部分。SQS connector 能够帮助你快速高效地在 Pulsar 和 SQS 之间移动数据,具有以下两类 connector:

SQS source connector – 将 SQS 的数据导入至 Pulsar。

周边生态 | StreamNative 宣布开源 AWS SQS Connector_云计算

SQS sink connector – 将 Pulsar 的数据导出至 SQS。

周边生态 | StreamNative 宣布开源 AWS SQS Connector_SQS_02

 

为什么开发 SQS connector?

在当今云原生时代,Apache Pulsar 与 AWS SQS[3] 是构建分布式架构的重要组件和基础软件。

Pulsar 是下一代云原生分布式消息系统,具备强扩展性、高一致性和高弹性,有着非常广阔的应用前景。近年来,Pulsar 发展势如破竹,全球用户基数迅速增长,催生了更多集成流数据管道与事件驱动应用程序的需求。

SQS 是 Amazon 完全托管的消息队列服务,适用于分离和扩展微服务、分布式系统和无服务器应用程序,并支持动态弹性扩展。因为其操作简单、上手快速等特点,颇受用户青睐。

Pulsar 和 SQS 都拥有广泛的用户群体和强劲的开发支持,越来越多的用户都在使用这两种消息系统。同时,我们也收到了用户的需求,希望能在 Pulsar 与 SQS 之间移动数据,并充分利用这两种消息系统的优势。

SQS connector 有哪些优势?

为了使 Pulsar 与 SQS 拥有稳定的流式集成,SQS connector 具备诸多优势,包括但不限于:

易上手。无需编写任何代码,只需进行一些简单配置,便可通过 SQS connector 在 Pulsar 和 SQS 之间移动数据。简化的数据导入和导出过程能大幅提升企业的数据使用效率。易扩展。根据不同的业务需求,可以选择在单机或集群上运行 SQS connector,助力企业构建实时数据管道。可持续。SQS connector 简单的安装和部署过程,使企业能更专注和更高效地探索数据的商业价值。

如何参与?

此次,我们发布了 SQS connector 2.7.0,并构建了丰富的周边资源和活跃的开发社区。你可以通过以下任一方式参与该项目:

想上手试试?
如需下载 SQS connector 2.7.0 和查阅用户指南(帮助你快速上手使用),点击这里查看[4]想解决问题?
如有任何问题,你都可以在 SQS connector GitHub repo 中创建 issue[5]、或发送至 Pulsar mailing list[6]、或在 Twitter[7] 上留言、或加入 Pulsar Slack[8] 的 #connector-sqs 频道或加入 Pulsar 微信群进行讨论。无论哪种方式,Pulsar 资深专家都随时 standby。想参与贡献?
SQS connector 源码开放并托管在 GitHub 上。如需改进功能或修复 bug,欢迎提交 PR。

StreamNative 一直致力于为 Pulsar 构建丰富和完善的生态系统。与其它 Pulsar 集成和插件一样,SQS connector 也是 StreamNative Hub[9] 的重要组成部分。作为 Pulsar 的“活水源”,StreamNative 孜孜不倦多筑渠,引得潺潺活水来,竭尽全力为用户赋能,为企业增效,共同努力破局下一个云时代。

引用链接

[1] AWS Simple Queue Service (SQS) connector: https://github.com/streamnative/pulsar-io-sqs
[2] Pulsar connector: http://pulsar.apache.org/docs/en/io-overview/
[3] AWS SQS: https://aws.amazon.com/sqs/
[4] SQS connector 文档: https://github.com/streamnative/pulsar-io-sqs/blob/master/README.md
[5] 反馈 SQS connector 问题: https://github.com/streamnative/pulsar-io-sqs/issues/new/choose
[6] Pulsar mailing list: https://lists.apache.org/list.html?dev@pulsar.apache.org
[7] StreamNative Twitter: https://twitter.com/streamnativeio
[8] Pulsar Slack #connector-sqs 频道: https://apache-pulsar.slack.com/archives/C01NG4T1BU6
[9] StreamNative Hub: https://streamnative.io/en/blog/tech/2020-05-26-intro-to-hub