leesf的最近发布

欢迎

Apache RocketMQ × Hudi × Kyuubi 线上联合Meetup来了

Apache RocketMQ[1] 作为来自阿里巴巴的分布式消息中间件，于 2012 年开源，并在 2017 年正式成为 Apache 顶级项目。RocketMQ 从设计之初就立足于在线交易链路，因此主要应用在大型在线系统的异步化处理。历经十年发展，RocketMQ大规模落地在电商物流的交易系统、在线教育课程系统、大型游戏信令系统、银行交易系统等不同场景，用以异步解耦和削峰填谷；同时在非在线业务

apache

数据

批处理

转载 2022-01-06 17:04:52 224 阅读

OnZoom基于Apache Hudi的流批一体架构实践

1. 背景OnZoom是Zoom新产品，是基于Zoom Meeting的一个独一无二的在线活动平台和市场。作为Zoom统一通信平台的延伸，OnZoom是一个综合性解决方案，为付费的Zoom用户提供创建、主持和盈利的活动，如健身课、音乐会、站立表演或即兴表演，以及Zoom会议平台上的音乐课程。在OnZoom data platform中，source数据主要分为MySQL DB数据和Log数据。其中

数据

hive

spark

原创 2022-01-06 17:04:14 125 阅读

基于Apache Hudi构建智能湖仓实践（附亚马逊工程师代码）

数据仓库的数据体系严格、治理容易，业务规模越大，ROI 越高；数据湖的数据种类丰富，治理困难，业务规模越大，ROI 越低，但胜在灵活。现在，鱼和熊掌我都想要，应该怎么办？湖仓一体架构就在这种情况下，快速在产业内普及。要构建湖仓一体架构并不容易，需要解决非常多的数据问题。比如，计算层、存储层、异构集群层都要打通，对元数据要进行统一的管理和治理。对于很多业内技术团队而言，已经是个比较大的挑战。可即便如

数据

flink

mysql

转载 2022-01-06 17:03:42 237 阅读

基于Apache Hudi + Flink的亿级数据入湖实践

本次分享分为5个部分介绍Apache Hudi的应用与实践•实时数据落地需求演进•基于Spark+Hudi的实时数据落地应用实践•基于Flink自定义实时数据落地实践•基于Flink+Hudi的应用实践•后续应用规划及展望1. 实时数据落地需求演进实时平台上线后，主要需求是开发实时报表，即抽取各类数据源做实时etl后，吐出实时指标到oracle库中供展示查询。随着实时平台的稳定及推广开放，各种使用

数据

flink

apache

原创 2022-01-06 17:01:35 155 阅读

为什么是ClickHouse？eBay广告数据平台架构实践！

导读：本文的主题是基于ClickHouse的广告数据平台架构实践。包括广告业务面临的现状，为什么会使用ClickHouse来提供数据多维分析服务，如何基于ClickHouse的优势和特点在适应亿贝广告业务场景的前提下来设计系统平台架构，实践过程中遇到的技术问题和解决方案，以及数据平台在日常使用、版本迭代、质量监控过程中是如何去做的。具体将围绕以下几部分展开：亿贝广告业务场景介绍选择ClickHou

数据

离线

zookeeper

转载 2022-01-06 17:00:47 162 阅读

Bloom Filter在Hudi中的应用

为何Hudi中upsert性能好，是因为使用了Bloom Filter。

java

数据文件

数据

原创 2021-12-22 16:46:58 136 阅读

Upsert在Hudi中的实现分析

分析Upsert在Hudi中的具体实现思路

java

数据文件

文件名

原创 2021-12-22 16:43:44 328 阅读

Hudi的管理与运维

Hudi提供了丰富的指标、命令供管理员/运维人员了解、处理数据集

spark

数据集

hive

原创 2021-12-22 16:32:18 739 阅读

Hudi MergeOnRead存储类型时Upsert分析

引入Hudi提供了两种存储类型，即 CopyOnWrite（COW）和 MergeOnRead（MOR），分析Upsert在MOR时Hudi的处理

日志文件

数据文件

数据

原创 2021-12-22 16:25:00 383 阅读

Hudi Timeline（时间轴）分析

解密Timeline（时间轴），这也是Hudi支持增量查询及历史时间点查询的秘密所在

数据集

时间轴

文件名

原创 2021-12-22 16:22:13 800 阅读

Building highly efficient data lakes using Apache Hudi

使用Apache Hudi构建高效的数据湖

数据

apache

原创 2021-12-22 16:20:58 136 阅读

生产者-消费者模型在Hudi中的应用

Hudi中多生产者-但消费者模型分析

sed

子类

生产者-消费者

原创 2021-12-22 16:20:10 479 阅读

贝壳找房利用Hudi构建准实时数仓的实践与挑战

ApacheHudi在贝壳准实时数仓构建的实践案例

数据

元数据

spark

转载 2021-12-22 16:14:01 919 阅读

使用Amazon EMR和Apache Hudi在S3上插入，更新，删除数据

在Amazon EMR中使用Apache Hudi

spark

数据

数据集

原创 2021-12-22 16:10:27 335 阅读

The Past,Present and Future Of Efficient Data Lake Architectures

分享一篇Hudi PPMC Vinoth Chandar & Balaji Varadarajan在 ApacheCon NA 19上关于如何使用Hudi构建数据湖的演讲

数据

apache

转载 2021-12-22 16:08:30 175 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx61b729f508767的博客

欢迎

Apache RocketMQ × Hudi × Kyuubi 线上联合Meetup来了

OnZoom基于Apache Hudi的流批一体架构实践

基于Apache Hudi构建智能湖仓实践（附亚马逊工程师代码）

基于Apache Hudi + Flink的亿级数据入湖实践

为什么是ClickHouse？eBay广告数据平台架构实践！

Bloom Filter在Hudi中的应用

Upsert在Hudi中的实现分析

Hudi的管理与运维

Hudi MergeOnRead存储类型时Upsert分析

Hudi Timeline（时间轴）分析

Building highly efficient data lakes using Apache Hudi

生产者-消费者模型在Hudi中的应用

贝壳找房利用Hudi构建准实时数仓的实践与挑战

使用Amazon EMR和Apache Hudi在S3上插入，更新，删除数据

The Past,Present and Future Of Efficient Data Lake Architectures