leesf的博客_(6)

欢迎

T3 出行构建数据湖上低延迟数据 Pipeline 的实践

T 摘要 ·云原生与数据湖是当今大数据领域最热的 2 个话题，本文着重从为什么传统数仓无法满足业务需求? 为何需要建设数据湖？数据湖整体技术架构、Apache Hudi存储模式与视图、如何解决冷数据频繁更新、如何在数据湖上进行准实时分析、数据湖上调度为何选型 Apache DolphinScheduler、二次开发新特性以及规划等多个角度进行了阐述。讲师介绍杨华，T3 出行大数据平台负责人。Apa

数据

apache

事件源

转载 2021-12-21 18:00:02 683 阅读

Apache Hudi + AWS S3 + Athena实践

spark

apache

ide

原创 2021-12-21 17:59:53 396 阅读

Kylin Flink Cube 引擎的前世今生

Apache Kylin™ 是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQ

kylin

flink

spark

转载 2021-12-21 17:56:51 153 阅读

官宣！AWS Athena正式可查Apache Hudi数据集

AWS Athena官方宣布与Apache Hudi完成整合

apache

数据集

hive

原创 2021-12-21 17:55:37 121 阅读

Apache Hudi 0.6.0版本重磅发布

Apache Hudi 0.6.0版本重磅发布，快来pick~

apache

spark

工具类

原创 2021-12-21 17:53:51 353 阅读

PrestoCon 2020：云原生数据湖分析DLA的Presto实践

阿里云云原生数据湖分析DLA是阿里云在数据湖领域推出的拳头产品，帮忙用户进行数据湖的构建、对数据湖的进行分析

数据

sql

数据源

转载 2021-12-21 17:53:23 244 阅读

详解Apache Hudi如何配置各种类型分区

还不了解Apache Hudi如何配置各种类型分区？快来pick，总有一款适合你~

hive

apache

字段

原创 2021-12-21 17:52:23 517 阅读

神探！Apache Hudi集成Prometheus/Pushgateway 进行监控

Apache Hudi + Prometheus 值得一试~

apache

后缀

数据集

转载 2021-12-21 17:48:57 601 阅读

使用Apache Hudi + Amazon S3 + Amazon EMR + AWS DMS构建数据湖

1. 引入数据湖使组织能够在更短的时间内利用多个源的数据，而不同角色用户可以以不同的方式协作和分析数据，从而实现更好、更快的决策。Amazon Simple Storage Service（amazon S3）是针对结构化和非结构化数据的高性能对象存储服务，可以用来作为数据湖底层的存储服务。然而许多用例，如从上游关系数据库执行变更数据捕获（CDC）到基于Amazon S3的数据湖，都需要在记录级别

数据

spark

apache

原创 2021-12-21 17:48:27 474 阅读

Apache Hudi丨数据服务实时化利器

Apache Hudi在金融场景应用分享

数据

apache

spark

转载 2021-12-21 17:48:13 465 阅读

太忙没空去看湖景？来看阿里云DLA如何快速构建数据湖

阿里云DLA，你想要的，都有~

数据

元数据

sql

转载 2021-12-21 17:47:35 308 阅读

Apache Hudi + Flink作业运行指南

赶快开始运行你的第一个Flink Hudi作业~

flink

bundle

kafka

原创 2021-12-21 17:45:40 772 阅读

阿里云数据湖团队招人啦

岗位描述：阿里云智能事业群数据库事业部承载着阿里巴巴经济体所有的在线数据处理分析以及数据库服务，是业务蓬勃发展的核心基础设施，在阿里云上全面覆盖电商、物流、安防、交通、健康、出行、气象、游戏、教育等广大行业并提供核心服务，在集团内为淘宝、天猫、大文娱等事业群提供稳定、高效、安全、低成本、极致性能与规模的数据库产品和服务。阿里云智能数据库事业部 OLAP 平台团队，专注于提供全球领先的全栈式大规模

数据库

数据

kylin

转载 2021-12-21 17:43:22 106 阅读

数仓实时化改造：Hudi on Flink 在顺丰的实践应用

作者 | 蔡适择（顺丰大数据平台负责人）整理 | 赵阳（Flink 社区志愿者）本文主要介绍顺丰在数据仓库的

数据

flink

kafka

转载 2021-12-21 17:43:08 135 阅读

基于阿里云数据湖分析服务和Apache Hudi构建云上实时数据湖

1. 什么是实时数据湖大数据时代数据格式的多样化，如结构化数据、半结构化数据、非结构化数据，传统数据仓库难以满足各类数据的存储，同时传统数仓已经难以满足上层应用如交互式分析、流式分析、ML等的多样化需求。而数仓T+1的数据延迟导致分析延迟较大，不利于企业及时洞察数据价值；同时随着云计算技术发展以及云上对象存储的廉价性，使得越来越多企业基于云来构建数据湖，而传统数据湖由于缺失ACID事务能力，导致其

数据

hdfs

spark

转载 2021-12-21 17:42:33 548 阅读

CDH 6.3.0安装Apache Hudi指南

小伙伴们要的CDH集成Apache Hudi指南来了~

jar

apache

hive

转载 2021-12-21 17:42:07 2451 阅读

阿里云招人啦

岗位描述：阿里云智能事业群数据库事业部承载着阿里巴巴经济体所有的在线数据处理分析以及数据库服务，是业务蓬勃发展的核心基础设施，在阿里云上全面覆盖电商、物流、安防、交通、健康、出行、气象、游戏、教育等广大行业并提供核心服务，在集团内为淘宝、天猫、大文娱等事业群提供稳定、高效、安全、低成本、极致性能与规模的数据库产品和服务。阿里云智能数据库事业部 OLAP 平台团队，专注于提供全球领先的全栈式大规模

数据

数据库

系统知识

转载 2021-12-21 17:41:33 31 阅读

Apache Hudi助力nClouds加速数据交付

AWS高级咨询伙伴nClouds基于Apache Hudi加速数据交付

数据

apache

spark

原创 2021-12-21 17:41:27 39 阅读

阿里云招人啦

这里有一个好的工作机会

数据库

云数据库

产品设计

转载 2021-12-21 17:41:03 53 阅读

实战 | Apache Hudi回调功能简介及使用示例

1. 功能简介从0.6.0版本开始，Hudi开始支持 commit 回调功能，即每当Hudi成功提交一次 commit, 其内部的回调服务就会向外部系统发出一条回调信息，用户可以根据该回调信息查询Hudi表的增量数据，并根据具体需求进行相应的业务处理。1.1 支持的回调方式当前 HoodieDeltaStreamer 可通过 HTTP（默认）和 Kafka 两种方式向外部

kafka

tomcat

apache

原创 2021-12-21 17:38:56 124 阅读

数据湖框架选型很纠结？一文了解Apache Hudi核心优势

Apache Hudi使用索引来定位更删操作所在的文件组。对于Copy-On-Write表，索引能加快更删的操作，因为避免了通过连接整个数据集来决定哪些文件需要重写。对于Merge-On-Read表，这个设计，对于任意给定的基文件，能限定要与其合并的记录数量。具体地，一个给定的基文件只需要和其所包含的记录的更新合并。相比之下，没有索引的设计（比如Apache Hive ACID[1]），可能会导致

apache

数据

布隆过滤器

转载 2021-12-21 17:36:42 61 阅读

Hi, Data Lakers!这里有一份来自PMC Chair的新年礼包，请注意查收！

Apache Hudi社区PMC Chair - Vinoth Chandar的新年祝福大家好，我是来自Apache Hudi社区的Vinoth，实际上我和一些同学已经在github或者jira上有过一些交流，但不是以个人名义，所以我发了这个视频。我代表Hudi社区祝愿大家在2021新年快乐，很高兴看到Hudi在中国变得越来越流行，去年我们看到很多来自中国的开发者参与到社区并且贡献了很多非常棒的特

apache

数据

flink

原创 2021-12-21 17:36:20 37 阅读

招人啦！DLA邀你共建数据湖

岗位描述：阿里云智能事业群数据库事业部承载着阿里巴巴经济体所有的在线数据处理分析以及数据库服务，是业务蓬勃发展的核心基础设施，在阿里云上全面覆盖电商、物流、安防、交通、健康、出行、气象、游戏、教育等广大行业并提供核心服务，在集团内为淘宝、天猫、大文娱等事业群提供稳定、高效、安全、低成本、极致性能与规模的数据库产品和服务。阿里云智能数据库事业部 OLAP 平台团队，专注于提供全球领先的全栈式大规模

数据

数据库

系统知识

转载 2021-12-21 17:36:16 52 阅读

使用Apache Hudi + Amazon EMR进行变化数据捕获(CDC)

下面将演示如何处理CDC数据，以便在数据湖中近实时表示数据库的变更，我们将使用Apache Hudi和Amazon EMR来完成此操作。Apachehudi是一个开源的数据管理框架，用于简化近实时的增量数据处理。创建一个新的EMR集群$ aws emr create-cluster --auto-scaling-role EMR_AutoScaling_DefaultRole --applica

spark

jar

apache

原创 2021-12-21 17:36:00 206 阅读

阿里云数据湖团队招人啦

岗位描述：阿里云智能事业群数据库事业部承载着阿里巴巴经济体所有的在线数据处理分析以及数据库服务，是业务蓬勃发展的核心基础设施，在阿里云上全面覆盖电商、物流、安防、交通、健康、出行、气象、游戏、教育等广大行业并提供核心服务，在集团内为淘宝、天猫、大文娱等事业群提供稳定、高效、安全、低成本、极致性能与规模的数据库产品和服务。阿里云智能数据库事业部 OLAP 平台团队，专注于提供全球领先的全栈式大规模

数据库

数据

kylin

转载 2021-12-21 17:35:48 79 阅读

Lakehouse: 统一数据仓库和高级分析的新一代开放平台

1. 摘要数仓架构在未来一段时间内会逐渐消亡，会被一种新的Lakehouse架构取代，该架构主要有如下特性•基于开放的数据格式，如Parquet；•机器学习和数据科学将被作为头等公民支持；•提供卓越的性能；Lakehouse可以解决数据仓库面临的几个主要挑战，如数据陈旧，可靠性，总成本，数据格式不开放和有限场景支持。2. 数据分析平台发展数据仓库将业务数据库的数据收集到集中式仓库来帮助企业领导者获

数据

数据仓库

元数据

原创 2021-12-21 17:35:34 143 阅读

数据湖风暴来袭！阿里云EMR重磅发布Apache Hudi

Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及流式消费变化数据的能力。应用场景近实时数据摄取Hudi支持插入、更新和删除数据的能力。您可以实时摄取消息队列（Kafka）和日志服务SLS等日志数据至Hudi中，同时也支持实时同步数据库Binlog产生的变更数据。Hudi优化了数据写入过程中产生的小文件。因此，相比其他传统的文件格式，Hudi对HDFS文件

数据

hive

spark

转载 2021-12-21 17:34:57 262 阅读

阿里云数据湖团队招人啦

岗位描述：阿里云智能事业群数据库事业部承载着阿里巴巴经济体所有的在线数据处理分析以及数据库服务，是业务蓬勃发展的核心基础设施，在阿里云上全面覆盖电商、物流、安防、交通、健康、出行、气象、游戏、教育等广大行业并提供核心服务，在集团内为淘宝、天猫、大文娱等事业群提供稳定、高效、安全、低成本、极致性能与规模的数据库产品和服务。阿里云智能数据库事业部 OLAP 平台团队，专注于提供全球领先的全栈式大规模

数据

数据库

系统知识

转载 2021-12-21 17:33:40 133 阅读

阿里云数据湖团队招人啦

【部门介绍】阿里云智能数据库事业部 OLAP 平台团队，专注于提供全球领先的全栈式大规模 OLAP 数据库产品，包括分析型数据库（ADB）、数据湖分析（DLA）等，服务阿里云、专有云的众多客户关键业务，服务集团内部众多数据分析类业务。数据湖分析（https://www.atatech.org/articles/171697 ）是目前炙手可热的大数据方向，围绕着云上各种各样异构存储和数据服务展开计

数据

数据库

缓存

转载 2021-12-21 17:33:24 121 阅读

重磅！华为云湖仓一体FusionInsight集成Apache Hudi

华为云FusionInsight湖仓一体集成Apache Hudi

数据

数据仓库

元数据

转载 2021-12-21 17:33:05 341 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx61b729f508767的博客

欢迎

T3 出行构建数据湖上低延迟数据 Pipeline 的实践

Apache Hudi + AWS S3 + Athena实践

Kylin Flink Cube 引擎的前世今生

官宣！AWS Athena正式可查Apache Hudi数据集

Apache Hudi 0.6.0版本重磅发布

PrestoCon 2020：云原生数据湖分析DLA的Presto实践

详解Apache Hudi如何配置各种类型分区

神探！Apache Hudi集成Prometheus/Pushgateway 进行监控

使用Apache Hudi + Amazon S3 + Amazon EMR + AWS DMS构建数据湖

Apache Hudi丨数据服务实时化利器

太忙没空去看湖景？来看阿里云DLA如何快速构建数据湖

Apache Hudi + Flink作业运行指南

阿里云数据湖团队招人啦

数仓实时化改造：Hudi on Flink 在顺丰的实践应用

基于阿里云数据湖分析服务和Apache Hudi构建云上实时数据湖

CDH 6.3.0安装Apache Hudi指南

阿里云招人啦

Apache Hudi助力nClouds加速数据交付

阿里云招人啦

实战 | Apache Hudi回调功能简介及使用示例

数据湖框架选型很纠结？一文了解Apache Hudi核心优势

Hi, Data Lakers!这里有一份来自PMC Chair的新年礼包，请注意查收！

招人啦！DLA邀你共建数据湖

使用Apache Hudi + Amazon EMR进行变化数据捕获(CDC)

阿里云数据湖团队招人啦

Lakehouse: 统一数据仓库和高级分析的新一代开放平台

数据湖风暴来袭！阿里云EMR重磅发布Apache Hudi

阿里云数据湖团队招人啦

阿里云数据湖团队招人啦

重磅！华为云湖仓一体FusionInsight集成Apache Hudi