leesf的博客_(7)

欢迎

招人啦！DLA邀你共建数据湖

岗位描述：阿里云智能事业群数据库事业部承载着阿里巴巴经济体所有的在线数据处理分析以及数据库服务，是业务蓬勃发展的核心基础设施，在阿里云上全面覆盖电商、物流、安防、交通、健康、出行、气象、游戏、教育等广大行业并提供核心服务，在集团内为淘宝、天猫、大文娱等事业群提供稳定、高效、安全、低成本、极致性能与规模的数据库产品和服务。阿里云智能数据库事业部 OLAP 平台团队，专注于提供全球领先的全栈式大规模

数据

数据库

系统知识

转载 2021-12-21 17:33:04 174 阅读

DLA Spark：快速给Hadoop集群加上弹性

1. 背景介绍大数据时代早期，Apache Hadoop是构建具有海量存储能力数据仓库的首选方案，许多企业用户采用在云上购买ECS，自建Hadoop集群来存储和处理数据。Apache Spark作为一个内存计算框架，具有流处理、批处理，图计算，机器学习，SQL查询等多种能力，社区活跃度高，并且Spark天然支持Hadoop数据源，可以完美的融入Hadoop生态，提供高效的计算能力。Hadoop+S

spark

hadoop集群

数据

转载 2021-12-21 17:32:48 59 阅读

最佳实践 | 通过Apache Hudi和Alluxio建设高性能数据湖

Apache Hudi + Alluxio 构建高性能数据湖

数据

spark

apache

原创 2021-12-21 17:32:09 542 阅读

集成才是硬道理！用它构建一个完整的Hadoop

# 本章主题Hudi典型应用场景Hudi对比Kudu、Hive、HbaseHudi对Streaming的支持Hudi核心概念Hudi核心API1应用场景1高效数据采集我们构建Data Lake需要从各种各样的数据源将数据抽取到Hadoop中，例如：一些网站流量日志、关系型数据库、IOT等等。而目前，一个大数据系统中，会采用各种各样的不同采集工具来进行数据采集。比较常见的：使用Flume采集日志数据

spark

数据

apache

转载 2021-12-21 17:32:03 294 阅读

字节跳动数据平台招人啦

数据平台作为字节跳动背后的大数据引擎，旨在为各个业务部门提供一站式的大数据服务，并对外输出字节跳动海量级数据处理的能力。部门现处于飞速发展期，求贤若渴，不同方向的岗位一应俱全，部门直推，就等你来投。数据湖研发负责人职位描述1、负责大规模数据湖架构设计与落地，改进字节跳动数据中台底层存储，服务各类产品线；2、构建CDC数据增量更新数据湖管道，提升数据时效性，降低存储成本；3、构建实时数据湖查询引擎，

数据

实时计算

hadoop

转载 2021-12-21 17:31:41 430 阅读

Apache Hudi初学者指南

在深入研究Hudi机制之前，让我们首先了解Hudi正在解决的问题。客户在使用数据湖时通常会问一个问题：当源记录被更新时，如何更新数据湖？这是一个很难解决的问题，因为一旦你写了CSV或Parquet文件，唯一的选择就是重写它们，没有一种简单的机制可以打开这些文件，找到一条记录并用源代码中的最新值更新该记录，当数据湖中有多层数据集时，问题变得更加严重，数据集的输出将作为下次数据集计算的输入。在数据库中

数据

数据文件

数据集

原创 2021-12-21 17:31:15 199 阅读

分享| B站基于Apache Hudi+Flink的万亿级数据湖实践

Apache Hudi技术分享大数据应用实践论坛12月20日，09：00-12：40，受DataFunTalk组委会邀请，爱奇艺技术副总裁孙斌老师将担任DataFunTalk年终大会大数据应用实践论坛的出品人，就数据中台、数据湖等大数据应用实践话题进行分享，感兴趣的小伙伴欢迎上车！Bilibili数据湖的初步探索与实践落地郑志升，大数据实时体系负责人，加入B站前曾任职于阿里巴巴。主导涵盖“数据埋点

数据

大数据

flink

转载 2021-12-21 17:30:01 513 阅读

大数据技术变革正当时，Apache Hudi了解下？

之前认为只有大公司才能负担得起大数据驱动的解决方案，该方案适用于海量数据，但价格昂贵。随着大数据技术的不断发展，现在已经发生了很大变化。1. 大数据技术的成熟度第一次革命与成熟度和质量有关。十年前对于大数据技术开发人员需要做出一定努力才能使一些大数据技术正常工作或与其他大基础组件协同工作。过去的开发人员浪费了80%的时间试图克服Spark、Hadoop、Kafka或其他软件的低级问题，如今这些技术

解决方案

数据

大数据技术

原创 2021-12-21 17:29:08 126 阅读

Apache Hudi 0.7.0版本重磅发布

重点特性1. Clustering0.7.0版本中支持了对Hudi表数据进行Clustering（对数据按照数据特征进行聚簇，以便优化文件大小和数据布局），Clustering提供了更灵活地方式增加文件大小，有了Clustering特性，便可更快速地摄取数据，然后聚簇为更大的文件，实验数据表明查询性能可以提升3~4倍，文件数可以减少10~20倍；另外Clustering对于查询侧优化也很明显，在查

数据

spark

apache

原创 2021-12-21 17:28:40 74 阅读

10倍性能提升！DLA SQL推出基于Alluxio的数据湖分析加速功能

背景在数据上云的大背景下，随着网络和存储硬件能力的提升，存储计算分离逐渐成为了大数据处理的一大趋势。相比于存

缓存

数据

读取数据

转载 2021-12-21 17:28:17 462 阅读

阿里云数据湖团队招人啦

【部门介绍】阿里云智能数据库事业部 OLAP 平台团队，专注于提供全球领先的全栈式大规模 OLAP 数据库产品，包括分析型数据库（ADB）、数据湖分析（DLA）等，服务阿里云、专有云的众多客户关键业务，服务集团内部众多数据分析类业务。数据湖分析是目前炙手可热的大数据方向，围绕着云上各种各样异构存储和数据服务展开计算分析。目前各大云厂商都在大力推进该方向的发展，基于数据湖构建上层丰富的云业务等。

数据

数据库

缓存

转载 2021-12-21 17:27:52 132 阅读

恭喜！Apache Hudi社区新晋两位Committer

1. 介绍经过Apache Hudi项目委员会讨论及投票，向WangXiangHu和LiWei 2人发出Committer邀请，2人均已接受邀请并顺利成为Apache Hudi Committer，也使得Apache Hudi Committer成员不断发展壮大。Wang XiangHu参与Apache Hudi社区贡献已经超过1年时间，完成了Apache Hudi和Apache Spark的解耦

apache

数据

微信

原创 2021-12-21 17:27:45 280 阅读

Apache Hudi：不一样的存储、不一样的计算

本篇是来自好友孟尧总的一篇文章。我发现，真正的纯粹是自发的，没有任何外部的干扰，因为我们都不是为了钱、为了生

spark

数据

java

转载 2021-12-21 17:27:16 1270 阅读

趋势！VLDB 19年“数据湖管理的挑战和机遇”解读

一、什么是数据湖管理什么是数据湖数据湖是一个庞大的数据集集合，具有以下特点：可以托管在不同的存储系统中；可能

数据

元数据

结构化

转载 2021-12-21 17:26:07 146 阅读

只会数仓？数据湖与Apache Hudi有必要了解一下

# 本篇要解决的问题数据湖是用来存储什么样的数据呢？数据湖是以什么样的存储模式存储数据呢？是关系型数据库的模式吗？数据湖与Delta Lake的关系是？数据湖可以替代数据仓库吗？简单对比下数据湖与数据仓库。数据湖存储起来非常方便，为了保证敏捷开发，是无需管理的，对吗？Apache Hudi是干什么的？仅仅实现增删改查吗？基于Hudi的数据湖数据是以什么方式存储的？Hudi有元数据吗？元数据存储在哪

数据

spark

数据仓库

转载 2021-12-21 17:25:41 249 阅读

实时数据湖：Flink CDC流式写入Hudi

1. 环境准备•Flink 1.12.2_2.11•Hudi 0.9.0-SNAPSHOT(master分支)•Spark 2.4.5、Hadoop 3.1.3、Hive 3.1.22. Flink CDC写入HudiMySQL建表语句如下create table users( id bigint auto_increment primary key, name varchar(20)

hive

hadoop

apache

转载 2021-12-21 17:23:32 1339 阅读

Apache Hudi在Hopsworks机器学习的应用

Hopsworks特征存储库统一了在线和批处理应用程序的特征访问而屏蔽了双数据库系统的复杂性。我们构建了一个可靠且高性能的服务，以将特征物化到在线特征存储库，不仅仅保证低延迟访问，而且还保证在服务时间可以访问最新鲜的特征值。企业机器学习模型为指导产品用户交互提供了价值价值。通常这些 ML 模型应用于整个实体数据库，例如由唯一主键标识用户。离线应用程序的一个示例是预测客户终身价值（Customer

数据

spark

元数据

原创 2021-12-21 17:21:25 100 阅读

触宝科技基于Apache Hudi的流批一体架构实践

1. 前言当前公司的大数据实时链路如下图，数据源是MySQL数据库，然后通过Binlog Query的方式消费或者直接客户端采集到Kafka，最终通过基于Spark/Flink实现的批流一体计算引擎处理，最后输出到下游对应的存储。2. 模型特征架构的演进2.1 第一代架构广告业务发展初期，为了提升策略迭代效率，整理出一套通用的特征生产框架，该框架由三部分组成：特征统计、特征推送和特征获取模型训练。

flink

spark

json

原创 2021-12-21 17:20:32 478 阅读

重磅！Flink及其商业公司Ververica的核心创始成员离职！

近日，Flink创始团队及其背后的商业公司Ververica发生重大人事变动。其中，Fabian Huesk

flink

twitter

apache

转载 2021-12-21 17:20:14 170 阅读

查询时间降低60%！Apache Hudi数据布局黑科技了解下

1. 背景Apache Hudi将流处理带到大数据，相比传统批处理效率高一个数量级，提供了更新鲜的数据。在数据湖/仓库中，需要在摄取速度和查询性能之间进行权衡，数据摄取通常更喜欢小文件以改善并行性并使数据尽快可用于查询，但很多小文件会导致查询性能下降。在摄取过程中通常会根据时间在同一位置放置数据，但如果把查询频繁的数据放在一起时，查询引擎的性能会更好，大多数系统都倾向于支持独立的优化来提高性能，以

数据

apache

spark

原创 2021-12-21 17:19:47 73 阅读

集体在Twitter上宣布离开？Flink背后的Ververica震荡仍在继续？

Aljoscha Krettek Twitter简介：PMC at @ApacheFlink, PMC at @ApacheBeam, Software Engineer/Team Lead/Co-founder at @VervericaData。熟悉Flink的人，对于Aljoscha就不必做太多介绍了。他不仅是这些年Flink项目的核心贡献者，还推动了Flink跟Beam的集成等重要工作。K

flink

apache

数据

转载 2021-12-21 17:19:07 246 阅读

Streaming与Hudi、Hive湖仓一体！

Hudi介绍概述架构图核心概念Timeline文件布局索引表类型与查询COW类型表详解MOR类型表详解流实时摄取Frog造数程序Structured Streaming湖仓一体（Hudi + Hive）Hive查询表映射分区Spark SQL查询配置Hive配置spark sql查询Hudi表数据Thrift Server数据无法更新同步问题小文件测试Strcutured Streaming MO

spark

hive

数据

转载 2021-12-21 17:18:52 2165 阅读

Apache Hudi与Apache Flink更好地集成，最新方案了解下？

摘要：在Hudi 0.7.0版本中支持了Flink写Hudi的第一个版本，第一个版本中存在一些瓶颈，该RFC由阿里Blink团队的Danny Chan提出，以解决第一个版本中的一些瓶颈，大部分代码已经合入master分支，将在Hudi的下个版本释出。1. 现有架构现有Flink写Hudi架构如下现有的架构存在如下瓶颈•InstantGeneratorOperator并发度为1，将限制高吞吐

数据

flink

apache

原创 2021-12-21 17:18:32 366 阅读

使用Apache Hudi构建下一代Lakehouse

1. 概括本文介绍了一种称为Data Lakehouse的现代数据架构范例。Data Lakehouse相比于传统的数据湖具有很多优势，本文说明了如何通过现代化数据平台并使用Lakehouse架构来应对客户端所面临的可扩展性、数据质量和延迟方面的挑战。本文介绍了使用Apache Hudi实现Data Lakehouse的基本知识和步骤。2. 前言过去十年随着物联网、云应用、社交媒体和机器学习的发展

数据

apache

kafka

原创 2021-12-21 17:17:13 123 阅读

阿里云数据湖分析基于Apache Hudi构建下一代Lakehouse

一、概述2020年黑天鹅事件不断出现，疫情给人们的生活也带来了改变。在后疫情时代，伴随着云原生技术的发展，企业寻求更加敏捷、更加灵活的数据分析方案，数据湖刚好满足这核心诉求。有不少同学问笔者，Hadoop与数据湖有啥区别？笔者认为，其一：数据湖分析支持的数据格式包括非结构化与半结构化。虽然HDFS可以存图片，但是一般还是有视频&图片的专门的服务器的，原因存储计算不分离情况下，大数据硬件存图

数据

spark

数据源

转载 2021-12-21 17:15:19 564 阅读

Apache Hudi：CDC的黄金搭档

1. 介绍Apache Hudi是一个开源的数据湖框架，旨在简化增量数据处理和数据管道开发。借助Hudi可以在Amazon S3、Aliyun OSS数据湖中进行记录级别管理插入/更新/删除。AWS EMR集群已支持Hudi组件，并且可以与AWS Glue Data Catalog无缝集成。此特性可使得直接在Athena或Redshift Spectrum查询Hudi数据集。对于企业使用AWS云的

数据

apache

spark

原创 2021-12-21 17:14:28 372 阅读

Apache Hudi核心概念一网打尽

1. 场景•近实时写入•减少碎片化工具的使用•CDC 增量导入 RDBMS 数据•限制小文件的大小和数量•近实时分析•相对于秒级存储 (Druid, OpenTSDB) ，节省资源•提供分钟级别时效性，支撑更高效的查询•Hudi 作为 lib，非常轻量•增量 pipeline•区分 arrivetime 和 event time 处理延迟数据•更短的调度 interval 减少端到端延迟 (小时

数据

flink

apache

原创 2021-12-21 17:13:28 417 阅读

基于Apache Hudi的数据湖帮「宇宙行」节省百万预算！

银行在构建大数据架构的同时，面临着诸多问题和挑战。华为云FusionInsight首席架构师徐礼锋认为，很多大企业的硬件都是集中采购，并没有考虑到大数据不同场景对资源诉求的不一，而且计算与存储的配比并未达到很好的均衡，存在较大的浪费。不同批次的硬件之间也存在差异，虽然可以用技术手段解决硬件异构、OS异构的问题，但是持续维护的代价相当高。此外，大数据手工部署效率低、系统交付周期长、资源池之间的资源无

数据

大数据

hive

转载 2021-12-21 17:13:00 449 阅读

重磅！解锁Apache Flink读写Apache Hudi新姿势

Hudi 和 Fink 在 0.8.0 版本（0.8.0版本将在近期发布，也可直接编译master分支获取hudi-flink-bundle.jar包）做了大量的集成工作[1]。核心的工作包括：•实现了新的 Flink Streaming Writer•支持 Flink SQL API•支持 batch 和 streaming 的模式 Reader本文用 Flink SQL Client 来简单的

flink

sql

apache

转载 2021-12-21 17:05:26 548 阅读

干货！Apache Hudi如何智能处理小文件问题

1. 引入Apache Hudi是一个流行的开源的数据湖框架，Hudi提供的一个非常重要的特性是自动管理文件大小，而不用用户干预。大量的小文件将会导致很差的查询分析性能，因为查询引擎执行查询时需要进行太多次文件的打开/读取/关闭。在流式场景中不断摄取数据，如果不进行处理，会产生很多小文件。2. 写入时 vs 写入后一种常见的处理方法先写入很多小文件，然后再合并成大文件以解决由小文件引起的系统扩展性

apache

文件大小

数据

原创 2021-12-21 17:02:15 98 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx61b729f508767的博客

欢迎

招人啦！DLA邀你共建数据湖

DLA Spark：快速给Hadoop集群加上弹性

最佳实践 | 通过Apache Hudi和Alluxio建设高性能数据湖

集成才是硬道理！用它构建一个完整的Hadoop

字节跳动数据平台招人啦

Apache Hudi初学者指南

分享| B站基于Apache Hudi+Flink的万亿级数据湖实践

大数据技术变革正当时，Apache Hudi了解下？

Apache Hudi 0.7.0版本重磅发布

10倍性能提升！DLA SQL推出基于Alluxio的数据湖分析加速功能

阿里云数据湖团队招人啦

恭喜！Apache Hudi社区新晋两位Committer

Apache Hudi：不一样的存储、不一样的计算

趋势！VLDB 19年“数据湖管理的挑战和机遇”解读

只会数仓？数据湖与Apache Hudi有必要了解一下

实时数据湖：Flink CDC流式写入Hudi

Apache Hudi在Hopsworks机器学习的应用

触宝科技基于Apache Hudi的流批一体架构实践

重磅！Flink及其商业公司Ververica的核心创始成员离职！

查询时间降低60%！Apache Hudi数据布局黑科技了解下

集体在Twitter上宣布离开？Flink背后的Ververica震荡仍在继续？

Streaming与Hudi、Hive湖仓一体！

Apache Hudi与Apache Flink更好地集成，最新方案了解下？

使用Apache Hudi构建下一代Lakehouse

阿里云数据湖分析基于Apache Hudi构建下一代Lakehouse

Apache Hudi：CDC的黄金搭档

Apache Hudi核心概念一网打尽

基于Apache Hudi的数据湖帮「宇宙行」节省百万预算！

重磅！解锁Apache Flink读写Apache Hudi新姿势

干货！Apache Hudi如何智能处理小文件问题