Pulsar Summit Asia 2020 | 场景案例论坛(上):多行业,多场景_Pulsar Summit Asia

 

关于 Apache Pulsar

Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。

关于 Pulsar Summit

Pulsar Summit 是 StreamNative 组织的 Apache Pulsar 社区年度盛会,它将分布在世界各地的 Apache Pulsar 项目 Contributor、Commiter 和各企业 CTO/ CIO、开发者、架构师、数据科学家,以及消息和流计算社区的精英召集在一起。于此盛会,大家分享实践经验、交流想法、探讨关于 Pulsar 项目和社区的知识,切磋互动。Pulsar Summit Asia 旨在聚集亚洲地区 Pulsar 开发者和贡献者,促进 Apache Pulsar 在亚洲地区的发展。Pulsar Summit Asia 2020 将于 11 月 28-29 日以线上直播形式开展。

 

近期我们将陆续对 Pulsar Summit Asia 2020 中英文专场及分论坛议题予以详细介绍,帮助大家更好地了解即将到来的 Pulsar 社区盛会分享什么、有哪些亮点。


我们已经为大家介绍了主题演讲相关信息,今天继续带来 Pulsar Summit Asia 2020 场景案例论坛演讲详情,因本论坛内容较多,故分成 2 篇文章,今天是场景论坛演讲介绍上篇。

 

备注:下面演讲时间及内容不能保证为最终版本,请关注 Pulsar Summit Asia 2020 官网获取最新动态 https://pulsar-summit.org/en/event/asia-2020 。

 

 

助力构建本地即时零售和配送平台:Apache Pulsar 在达达集团的实践

 

Pulsar Summit Asia 2020 | 场景案例论坛(上):多行业,多场景_Pulsar Summit Asia _02

张清华


在达达集团云平台基础架构任职,架构师,目前主要负责公司消息中间件。

 

万明明

 

在达达集团云平台基础架构任职,架构师,目前主要研究方向:Apache Pulsar 在日志和流式处理的应用。

演讲时间:11 月 28 日 1:30pm-2:10pm

 

演讲详情:
达达集团是中国领先的本地即时零售和配送平台,在支撑实时零售配送业务的基础技术架构中,对消息系统选型有着严格要求。伴随着业务不断快速发展,原有的其他消息平台遭遇到诸多瓶颈难以满足需求,比如 RabbitMQ 吞吐在流量高峰时抖动异常非常不稳定,Kafka 在扩容时需要较高的人工操作成本等,因此 Apache Pulsar 凭借着优秀的特征引起了我们的注意。在引入 Apache Pulsar 的过程中,我们从业务和日志两个场景对 Apache Pulsar 做了性能基础测试,并最终引入到正式线上环境。在本次分享中,我们将分享 Apache Pulsar 在达达集团的落地实践,以及我们后续针对 Apache Pulsar 的计划。

 

 

 

Apache Pulsar 在腾讯云的最佳实践与未来展望

 

 

Pulsar Summit Asia 2020 | 场景案例论坛(上):多行业,多场景_Pulsar Summit Asia _03

林琳

 

 

腾讯云高级工程师,活跃于开源社区,目前是 Apache Pulsar Contributor,专注于中间件领域,在消息队列和微服务方向具有丰富的经验。在加入腾讯后,林琳一直负责 CKafka/CMQ/mPass 的后端设计于开发工作,目前致力于打造稳定、高效和可扩展的基础组件与服务。


演讲时间:11 月 28 日 2:10pm-2:50pm


演讲详情:
当我们在云上使用消息系统时遇到了诸多挑战,比如动态伸缩扩容、维护大量分区等等。在本次演讲中,我将分享在腾讯云如何利用 Apache Pulsar 解决上述问题。

 

分享大纲:
1. 背景:云原生环境下,消息系统面临的新挑战
2. Apache Pulsar 在腾讯云的实践
2.1 性能与一致性测试对比
2.2 平滑动态伸缩扩容
2.3 大量分区管理与支持
2.4 同城跨机房、两地三机房
3. 总结与展望

 

Apache Pulsar 助力涂鸦智能打造世界领先的 AI+IoT 平台

 

Pulsar Summit Asia 2020 | 场景案例论坛(上):多行业,多场景_Pulsar Summit Asia _04

高天赐

 

2018 至今任职涂鸦智能,担任高级软件工程师;2017-2018 任职同程艺龙网络科技,担任软件工程师


演讲时间:11 月 28 日 2:50pm-3:30pm

 

演讲详情:

涂鸦智能是世界领先的 AI+IoT 平台,在涂鸦智能消息系统架构中,在最上层接入了大量独立的设备,比如智能开关、智能投影仪等等,这些智能设备通过 MQTT 协议向消息系统报告消息。在涂鸦智能旧的消息系统架构中,我们遇到了很多痛点,比如 Kafka 主题数量增多的复杂管理,以及 Kafka 维护和运维需要较高的人力成本和投入。鉴于 Apache Pulsar 的诸多特性,比如计算与存储分离的架构、跨区域数据复制、低延迟和高可扩展性等功能,我们将消息系统迁移到 Apache Pulsar 上来,解决了我们长期以来架构和业务上面对的痛点。本次演讲,我将分享 Apache Pulsar 在涂鸦智能云开发平台上的应用和实践。

 

最早吃螃蟹的人:Apache Pulsar 在智联招聘的发展历程、现状及展望

 

Pulsar Summit Asia 2020 | 场景案例论坛(上):多行业,多场景_Pulsar Summit Asia _05

高顺利


智联招聘高级软件工程师

演讲时间:11 月 28 日 3:30pm-4:10pm

演讲详情:
智联招聘是国内最早的一批 Apache Pulsar 落地企业,我们从 RabbitMQ 迁移到 Apache Pulsar 的过程中,踩过了坑,也取得了很大的成就。Pulsar 在智联内部已经稳定运行近两年的时间,Pulsar 陪伴了智联的业务发展,为业务赋能,我们内部接入的消息已经达到百亿级别量级,我们团队也从 Apache Pulsar 的小白到精通。随着接入消息量级和使用范围不断进阶扩展,我们对 Pulsar 的需求进一步扩大,我们即将迈入 Pulsar 的深水区。在使用 Apache Pulsar 过程中,我们也不断与社区积极互动,积极贡献功能与改进,希望通过我们贡献能够促进 Pulsar 的进一步发展。

 

实践案例:Apache Pulsar 驱动新大陆电信计费系统

 

Pulsar Summit Asia 2020 | 场景案例论坛(上):多行业,多场景_Pulsar Summit Asia _06

周小华

 

周小华,新大陆软件公司技术架构师。

演讲时间:11 月 28 日 4:10pm-4:50pm

演讲详情:
新大陆软件为电信运营商提供商业支持服务,众所周知,电信运营主要提供固定电话、移动电话和互联网接入的通信服务,电信业务拥有海量的的话单数据和信令数据,在流处理技术的推动下,需要实时处理话单,对它进行批价计费,从网元采集话单到话单入库是一个计费的全流程。为了提高处理效率,我们使用消息队列作为传递话单的媒介,在业务系统上使用过 Kafka、RocketMQ 等做为消息队列,但越来越无法满足我们的需求。我们关注并迁移到 Apache Pulsar,充分发挥它在消息队列、分层存储、Function、地域复制、Pulsar SQL 等方向的巨大潜力。在本次分享中,我将分享 Apache Pulsar 驱动新大陆计费系统的案例,讲述我们在 Apache Pulsar 上的实践与调优。

 

案例:Apache Pulsar 在金山云日志服务的最佳实践,支撑日处理数十亿条消息

 

Pulsar Summit Asia 2020 | 场景案例论坛(上):多行业,多场景_Pulsar Summit Asia _07

刘彬

 

金山云大数据开发工程师,日志服务产品开发

演讲时间:11月28日4:50pm-5:30pm

 

演讲详情:
金山云日志服务是一款针对日志类数据的一站式服务,提供从日志采集、日志存储到日志检索分析、实时消费、日志投递等多项服务,目前支撑着多个业务线的日志查询和监控业务,每天数据量级在几十TB。Apache Pulsar 做为一款云原生的分布式消息队列平台,Apache Pulsar 计算和存储分离的架构模式,很好地解决了在日志服务类产品中的分区扩容、分区合并以及百万级别 Topic 的支撑和多租户问题 。本次演讲,我将分享 Apache Pulsar 在金山云日志服务的最佳实践。

 

敬请期待场景案例论坛下篇介绍。