leesf的博客_51CTO博客

欢迎

Apache RocketMQ × Hudi × Kyuubi 线上联合Meetup来了

Apache RocketMQ[1] 作为来自阿里巴巴的分布式消息中间件，于 2012 年开源，并在 2017 年正式成为 Apache 顶级项目。RocketMQ 从设计之初就立足于在线交易链路，因此主要应用在大型在线系统的异步化处理。历经十年发展，RocketMQ大规模落地在电商物流的交易系统、在线教育课程系统、大型游戏信令系统、银行交易系统等不同场景，用以异步解耦和削峰填谷；同时在非在线业务

apache

数据

批处理

转载 2022-01-06 17:04:52 224 阅读

OnZoom基于Apache Hudi的流批一体架构实践

1. 背景OnZoom是Zoom新产品，是基于Zoom Meeting的一个独一无二的在线活动平台和市场。作为Zoom统一通信平台的延伸，OnZoom是一个综合性解决方案，为付费的Zoom用户提供创建、主持和盈利的活动，如健身课、音乐会、站立表演或即兴表演，以及Zoom会议平台上的音乐课程。在OnZoom data platform中，source数据主要分为MySQL DB数据和Log数据。其中

数据

hive

spark

原创 2022-01-06 17:04:14 125 阅读

基于Apache Hudi构建智能湖仓实践（附亚马逊工程师代码）

数据仓库的数据体系严格、治理容易，业务规模越大，ROI 越高；数据湖的数据种类丰富，治理困难，业务规模越大，ROI 越低，但胜在灵活。现在，鱼和熊掌我都想要，应该怎么办？湖仓一体架构就在这种情况下，快速在产业内普及。要构建湖仓一体架构并不容易，需要解决非常多的数据问题。比如，计算层、存储层、异构集群层都要打通，对元数据要进行统一的管理和治理。对于很多业内技术团队而言，已经是个比较大的挑战。可即便如

数据

flink

mysql

转载 2022-01-06 17:03:42 237 阅读

基于Apache Hudi + Flink的亿级数据入湖实践

本次分享分为5个部分介绍Apache Hudi的应用与实践•实时数据落地需求演进•基于Spark+Hudi的实时数据落地应用实践•基于Flink自定义实时数据落地实践•基于Flink+Hudi的应用实践•后续应用规划及展望1. 实时数据落地需求演进实时平台上线后，主要需求是开发实时报表，即抽取各类数据源做实时etl后，吐出实时指标到oracle库中供展示查询。随着实时平台的稳定及推广开放，各种使用

数据

flink

apache

原创 2022-01-06 17:01:35 155 阅读

为什么是ClickHouse？eBay广告数据平台架构实践！

导读：本文的主题是基于ClickHouse的广告数据平台架构实践。包括广告业务面临的现状，为什么会使用ClickHouse来提供数据多维分析服务，如何基于ClickHouse的优势和特点在适应亿贝广告业务场景的前提下来设计系统平台架构，实践过程中遇到的技术问题和解决方案，以及数据平台在日常使用、版本迭代、质量监控过程中是如何去做的。具体将围绕以下几部分展开：亿贝广告业务场景介绍选择ClickHou

数据

离线

zookeeper

转载 2022-01-06 17:00:47 162 阅读

Bloom Filter在Hudi中的应用

为何Hudi中upsert性能好，是因为使用了Bloom Filter。

java

数据文件

数据

原创 2021-12-22 16:46:58 136 阅读

Upsert在Hudi中的实现分析

分析Upsert在Hudi中的具体实现思路

java

数据文件

文件名

原创 2021-12-22 16:43:44 328 阅读

Hudi的管理与运维

Hudi提供了丰富的指标、命令供管理员/运维人员了解、处理数据集

spark

数据集

hive

原创 2021-12-22 16:32:18 739 阅读

Hudi MergeOnRead存储类型时Upsert分析

引入Hudi提供了两种存储类型，即 CopyOnWrite（COW）和 MergeOnRead（MOR），分析Upsert在MOR时Hudi的处理

日志文件

数据文件

数据

原创 2021-12-22 16:25:00 383 阅读

Hudi Timeline（时间轴）分析

解密Timeline（时间轴），这也是Hudi支持增量查询及历史时间点查询的秘密所在

数据集

时间轴

文件名

原创 2021-12-22 16:22:13 800 阅读

Building highly efficient data lakes using Apache Hudi

使用Apache Hudi构建高效的数据湖

数据

apache

原创 2021-12-22 16:20:58 136 阅读

生产者-消费者模型在Hudi中的应用

Hudi中多生产者-但消费者模型分析

sed

子类

生产者-消费者

原创 2021-12-22 16:20:10 479 阅读

贝壳找房利用Hudi构建准实时数仓的实践与挑战

ApacheHudi在贝壳准实时数仓构建的实践案例

数据

元数据

spark

转载 2021-12-22 16:14:01 919 阅读

使用Amazon EMR和Apache Hudi在S3上插入，更新，删除数据

在Amazon EMR中使用Apache Hudi

spark

数据

数据集

原创 2021-12-22 16:10:27 335 阅读

The Past,Present and Future Of Efficient Data Lake Architectures

分享一篇Hudi PPMC Vinoth Chandar & Balaji Varadarajan在 ApacheCon NA 19上关于如何使用Hudi构建数据湖的演讲

数据

apache

转载 2021-12-22 16:08:30 175 阅读

hudi性能测试

介绍一些有关Hudi插入更新、增量提取的实际性能数据，并将其与实现这些任务的其它传统工具进行比较

数据

数据集

spark

原创 2021-12-22 16:07:49 1792 阅读

官宣！Amazon EMR正式支持Apache Hudi

Amazon EMR官方已宣布支持Apache Hudi

数据

数据集

apache

原创 2021-12-22 16:07:23 80 阅读

查询hudi数据集

介绍如何在Hudi构建的表上启用SQL查询

hive

spark

数据集

原创 2021-12-22 16:06:50 348 阅读

写入 Hudi 数据集

我们将讨论一些可用的工具，这些工具可用于增量摄取和存储数据。

hive

apache

数据集

转载 2021-12-22 16:04:56 595 阅读

Hudi基本概念

Apache Hudi(发音为“Hudi”)在DFS的数据集上提供以下流原语插入更新 (如何改变数据集?)增

数据

数据集

时间轴

原创 2021-12-22 16:03:04 218 阅读

什么是Hudi?

Hudi为大数据带来流处理，在提供新数据的同时，比传统的批处理效率高出一个数量级。

数据

数据集

spark

原创 2021-12-22 16:02:36 455 阅读

深入分析 Parquet 列式存储格式

Parquet 是面向分析型业务的列式存储格式，由 Twitter 和 Cloudera 合作开发，2015 年 5 月从 Apache 的孵化器里毕业成为 Apache 顶级项目，最新的版本是 1.8.0。

数据

数据类型

列式存储

转载 2021-12-22 16:01:59 383 阅读

简单聊聊列式存储

数据平台的功能简而言之只有两个：存储数据和搜索数据。

数据

列式存储

apache

转载 2021-12-22 16:01:08 697 阅读

Hudi: Uber Engineering的Apache Hadoop增量处理框架

随着Apache Parquet和Apache ORC等存储格式以及Presto和Apache Impala等查询引擎的发展，Hadoop生态系统有潜力作为面向分钟级延时场景的通用统一服务层。

数据

hdfs

数据集

转载 2021-12-22 16:00:43 192 阅读

一行代码成为Apache Contributor

如何通过一行代码成为Apache顶级项目的Contributor？

apache

git

github

原创 2021-12-22 15:56:48 111 阅读

Delta Lake 和 Apache Hudi 两种数据湖产品全方面对比

Delta Lake 是数砖公司在2017年10月推出来的一个项目，并于2019年4月24日在美国旧金山召开的 Spark+AI Summit 2019 会上开源的一个存储层。它是 Databricks Runtime 重要组成部分。为 Apache Spark 和大数据 workloads 提供 ACID 事务能力，其通过写和快照隔离之间的乐观并发控制（optimistic concurrenc

spark

数据

apache

转载 2021-12-22 15:56:05 123 阅读

一文了解Apache Hudi架构、工具和最佳实践

一文了解Hudi的架构、工具和最佳实践

hadoop

apache

数据

原创 2021-12-22 15:51:02 1556 阅读

ApacheHudi新版官网抢先看

apache

数据

官网

原创 2021-12-22 15:49:43 300 阅读

ApacheHudi常见问题汇总

ApacheHudi常见问题解答汇总

数据

数据集

数据库

原创 2021-12-22 15:49:10 393 阅读

ApacheHudi使用问题汇总（二）

使用ApacheHudi常用问题汇总二

spark

数据

hive

原创 2021-12-22 15:47:50 558 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx61b729f508767的博客