千呼万唤始出来,Meetup 直播终于来啦~
本次线上 Meetup 由 Apache Kylin 与 Apache Hudi 社区联合举办,将于 3 月 14 日晚进行直播,邀请到来自丁香园、腾讯、柯林布瑞以及 Kyligence 等公司的技术专家,为大家呈现 Kylin 与「由 Uber 开源的数据湖项目」Hudi 的精彩应用案例与实践。感兴趣的小伙伴可以直接点击文末「阅读原文”报名!
活动议程
19:00-19:05 开场
19:05-19:35 Talk 1:《丁香园日志量十倍增长引发的运维思考》
19:35-20:05 Talk 2:《使用 Hudi 构建下一代数据湖及其在医疗大数据的应用》
20:05-20:35 Talk 3:《基于 Hudi 和 Kylin 构建准实时高性能数据仓库》
20:35-21:00 Q&A
演讲嘉宾
丁香园日志量十倍增长引发的运维思考
周天鹏
丁香园大数据运维工程师
个人简介:花厂的一名平平无奇的运维,Apache Kylin Committer,“2019 最佳 Apache Kylin 社区贡献个人奖”获得者,主要负责 OLAP 平台的开发与维护。
演讲摘要:
如果突然一天在线系统的日志量比平时翻了 10 倍,并且恰巧使用了 ELK 这种主流的日志收集分析平台。在不扩容的情况下,Elasticsearch 的写入速率能不能跟得上?存储容量能不能盛得下?统计查询能不能不超时?如果不能,Kylin 3.0 的 Real-time Streaming(实时分析)了解一下?它或许是一种低成本替换 ELK 的极佳方案。
使用 Hudi 构建下一代数据湖及其在医疗大数据的应用
李少锋
Apache Hudi Committer & PPMC
个人简介:腾讯大数据开发工程师,从事大数据实时计算及数据湖分析平台研发,热衷于大数据开源技术。
黄靖
柯林布瑞大数据开发经理
个人简介:主要从事 Hadoop 生态医疗大数据产品的研发,实时计算平台建设。热衷于大数据相关技术的研究。
演讲摘要:
本次分享将会介绍 Hudi 在医疗大数据的实践和应用,介绍如何基于 Hudi 打造医疗场景下数据湖:
-
为什么要选择 Hudi
-
数万张表如何快速同步 Hudi
-
Hudi 查询优化和视图的选择
基于 Hudi 和 Kylin 构建准实时高性能数据仓库
史少锋
Apache Kylin PMC Chair
个人简介:Kyligence 首席架构师,负责 Kyligence 解决方案及 Apache Kylin 社区发展。
刘永恒
Kyligence 解决方案工程师
个人简介:主要负责 Kyligence 业务方案和大数据平台相关方案的开发。
演讲摘要:
数据从业务库(TP)同步到分析库(AP)是一个繁琐的过程。为了减少对业务库的压力,数据同步通常采用 T+1 离线导出,或 CDC(binlog)流的方式;前者延迟长,后者在 Hadoop 上开销过大。要获得低延迟往往要借助 HBase/Kudu 这类高级存储,运维成本高,Hudi 的出现填补了空缺。本分享将介绍利用 Hudi 构建基于 HDFS/S3 的数据湖,并与 Kylin 结合实现端到端的准实时入库。目前 Kyligence Cloud 3 已支持 Hudi on S3 做为数据源,助力云上大数据快速分析,本次分享将结合 live demo 来展示此方案。
活动信息
直播时间:2020 年 3 月 14 日(周六)19:00-21:00
报名截止时间:3 月 13 日(周五)24:00