关于 Apache Pulsar

Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
GitHub 地址:http://github.com/apache/pulsar/

Hello,小伙伴们!下午 Apache Pulsar Meetup 广州站就要在广州市番禺区 BIGO 公司面基啦

今天的 Meetup 你将听到由 StreamNative 联合 BIGO 等伙伴精心筹备的一线 Apache Pulsar 最佳实践的分享。Apache Pulsar PMC 成员、核心贡献者、社区技术专家汇聚一堂,面对面交流。本次活动,感谢 BIGO 提供活动场地支持,也感谢开源社、传智教育等社区伙伴们的大力支持!

下面是本次活动的议题简介,请大家参考。

大融合时代:消息、流、存储三位一体

议题介绍:当新生事物出现时,总有两种角度去观察它,要么把它看小,要么把它放大。对于 Apache Pulsar,把它看小的角度通常是“Apache Pulsar 只是一个新的消息队列而已“,或者“Apache Pulsar 只是一个新的数据管道而已“,”队列系统早就有了,只是 Apache Pulsar 更具扩展性也能解决某些场景问题而已,基本没啥本质区别“。很明显,上述种种认识都不对。在本环节,翟佳将分享 Pulsar 社区目前已有的 Pulsar 应用情况,并探讨在消息、流、数据管理和技术基础设施层面的技术演进。

演讲嘉宾
翟佳,Apache Pulsar PMC 成员,StreamNative 联合创始人

借助 Flink 与 Pulsar,BIGO 打造实时消息处理系统

议题介绍:BIGO 目前旗下有 BIGO Live 和 Likee 短视频两大视频产品与服务,当前 BIGO Live 直播业务已覆盖 150 多个国家与地区,Likee 短视频也拥有超过 1 亿用户,在 Z 世代中广泛流行。在过往的技术架构中, BIGO 采用开源 Kafka 集群来支撑实时数据计算分析与短视频推荐业务。但随着业务不断快速发展,过往架构遇到了巨大挑战。Apache Pulsar 具备的分层架构及低延迟、持久化存储、水平扩展能力等特性帮助我们解决了生产系统中面临的巨大问题。本文将介绍 BIGO 基于 Pulsar 消息流平台,借助 Flink、Flink SQL 支撑实时 ETL 以及 AB-Test 实时数据报表业务中的应用。

演讲嘉宾
陈航,Apache Pulsar Committer,BIGO 大数据消息团队负责人,负责创建集中式的订阅-发布消息平台以支撑大量在线服务。他将 Apache Pulsar 引入到了 BIGO 消息平台并打通上下游系统生态,如 Flink、ClickHouse 及其他系统,以用来打造实时推荐和分析系统。他专注在 Pulsar 性能调优、新功能开发及 Pulsar 生态集成方向。

KoP(Kafka on Pulsar) 工作原理解析:助力你从 Kafka 到 Pulsar

议题介绍:KoP(Kafka on Pulsar) 的诞生主要是希望在 Apache Pulsar 上原生支持 Kafka 协议。将 KoP 协议处理插件添加到现有 Pulsar 集群后,用户不用修改代码就可以将现有的 Kafka 应用程序和服务迁移到 Pulsar。这样,Kafka 应用程序就可以使用 Pulsar 的强大功能,例如利用 Pulsar 企业级多租户特性简化运营;避免数据搬迁,简化操作;利用 Apache BookKeeper 和分层存储持久保留事件流;利用 Pulsar Functions 进行无服务器化事件处理等等。本次分享,将详解 KoP 技术架构与原理,并为大家带来 KoP 最新进展。

演讲嘉宾
徐昀泽,2020.09 至今任职 StreamNative,担任软件工程师,目前专注于 KoP 等方向研发工作;2019.07 - 2020.08 任职奇虎 360,担任后端开发工程师。

KoP(Kafka on Pulsar) 在 BIGO 的性能优化实践

议题介绍:BIGO 广泛使用开源的 Kafka 框架来搭建内部实时数据流系统,并在此架构下支撑起了众多的业务场景;但是随着业务的快速发展,无论是从运维角度、还是消息系统特性的丰富度出发,在复杂的应用场景下,Kafka 的能力都愈显疲惫,这时候 Apache Pulsar 所展现出的分层架构、多租户、低延迟、水平易扩展等特性无疑是行业所聚焦的。为了更好地帮助用户从 Kafka 应用平稳过渡到 Pulsar 系统,我们深入研究了 KoP(Kafka on Pulsar) 系统,并对 KoP 的读写吞吐能力做了大量验证。本文将从基本的监控指标出发,一步步深入介绍 KoP 在 BIGO 的性能优化实践。

演讲嘉宾
吴展鹏,BIGO 高级工程师

周日(今天) Apache Pulsar Meetup - 广州站,不见不散_Apache Pulsar

活动报名

周日(今天) Apache Pulsar Meetup - 广州站,不见不散_Apache Pulsar_02