数据湖iceberg-day011.1 什么是数据湖1.1.1 什么是数据湖数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析，对数据进行加工，例如：大数据处理、实时分析、机器学习，以指导做出更好地决策。1.1.2 大数据为什么需要数据湖当前基于Hive的离线数据仓库已经非常成熟，在传统的离线数据
转载
2024-08-01 10:47:47
140阅读
数据湖与实时数据湖是什么？各个行业企业都在构建企业级数据湖，将企业内多种格式数据源汇聚的大数据平台，通过严格的数据权限和资源管控，将数据和算力开放给各种使用者。一份数据支持多种分析，是数据湖最大的特点。如果数据湖的数据，从数据源产生后，可以在1分钟以内实时进入到数据湖存储，支持各种交互式分析，这种数据湖通常叫做实时数据湖，如果可以做到15分钟之内，也可称为准实时数据湖。构建实时数据湖，正在成为5G
|0x00 什么是数据湖数据湖的概念最初是由大数据厂商提出的，可以简单理解为一个集中存储数据的数据库，不论是结构化数据or非结构化数据，海量数据or少量数据，都能够支持存储和计算。就像在湖中有多个支流进入一样，结构化数据、非结构化数据、日志数据、实时数据，都流入了同一种数据存储结构之中，并进行不同类型的分析处理，以指导做出更好的决策。数据湖通常采用Hadoop作为数据的承载对象，随着企业规模的扩大
转载
2024-01-02 15:01:28
174阅读
本文是字节跳动数据平台开发套件团队在 Flink Forward Asia 2021: Flink Forward 峰会上的演讲，着重分享了字节跳动数据湖技术上的选型思考和探索实践。
本文是字节跳动数据平台开发套件团队在 Flink Forward Asia 2021: Flink Forward 峰会上的演讲，着重分享了字节跳动数据湖技术上的选型思考和探索
今天主要和大家交流的是网易在数据湖Iceberg的一些思考与实践。从网易在数据仓库建设中遇到的痛点出发，介绍对数据湖Iceberg的探索以及实践之路。
转载
2021-06-13 22:02:57
288阅读
数据湖技术Iceberg的探索与实践邵赛赛过往记忆大数据本文资料来自2020年9月5日由快手技术团队主办的快手大数据平台架构技术交流会，分享者邵赛赛，腾讯数据平台部数据湖内核技术负责人，资深大数据工程师，ApacheSparkPMCmember&committer,ApacheLivyPMCmember，曾就职于Hortonworks，Intel。随着大数据存储和处理需求的多样化，如何构建
原创
2021-03-30 20:27:02
2087阅读
本文资料来自2020年9月5日由快手技术团队主办的快手大数据平台架构技术交流会，分享者邵赛赛，腾讯数据平台部数据湖内核技术负责人，资深大数据工程师，Apache Spark PMC member & committer, Apache Livy PMC member，曾就职于 Hortonworks，Intel 。随着大数据存储和处理需求的多样化，如何构建一个统一的数据湖存储，并在其上进行
原创
2021-04-05 17:17:33
1846阅读
我们凌晨一些大的离线任务经常会因为一些原因出现延迟，这种延迟会导致核心报表的产出时间不稳定，有些时候会产出比较早，但是有时候就可能会产出比较晚，业务很难接受。 任务本身要请求的数据量会特别大。通常来说一天原始的数据量可能在几十TB。几百个分区，甚至上千个分区，五万+的文件数这样…
转载
2022-09-28 16:04:43
685阅读
本文主要介绍的主题是 Flink 和 Hudi 在数据湖 Streaming 方向的一些探索和实践，将会围绕以下四点展开：
Apache Hudi 背景介绍 Flink Hudi 设计 Hudi 应用场景 Hudi RoadMap
原创
精选
2022-10-31 17:49:28
457阅读
一、数据湖技术与数据仓库的区别
数据湖是一个存储企业各种原始数据的大型仓库，支持对任意规模的结构化、半结构化和非结构化数据进行集中式存储，数据按照原有结构进行存储，无须进行结构化处理；数据湖中的数据可供存取、处理、分析及传输，支撑大数据处理、实时分析、机器学习、数据可视化等多种应用，最终支持企业的智能决策过程。数据仓库数据来自事务系统、运营数据库和业务线应用程序的关系数据，数据湖来自IoT设备、网
转载
2024-09-02 13:33:28
115阅读
Azure Data Lake 刚刚全面上
原创
2022-08-10 08:59:44
215阅读
数据湖概念一、什么是数据湖数据湖是一个集中式的存储库，允许你以任意规模存储
原创
精选
2022-05-30 09:39:42
1863阅读
## 简介
本教程通过使⽤数据湖构建（DLF）产品对于淘宝⽤户⾏为样例数据的分析，介绍DLF产品的数据发现和数据探索功能。教程内容包括：1. 服务开通：开通阿⾥云账号及DLF/OSS相关服务2. 样例数据集下载和导⼊：下载样例数据（csv⽂件），并上传⾄OSS3. DLF数据发现：使⽤DLF⾃动识别⽂件Schema并创建元数据表4. DLF数据探索：使⽤DLF数据探索，对⽤户⾏为进⾏分析，包括⽤户
原创
2021-06-24 14:22:08
673阅读
全托管Serverless服务DLI就像是我们日常使用的滴滴共享打车，我们不再需要为购买和保养私家车而支出固定成本
转载
2020-09-19 11:27:00
64阅读
2评论
摘要：全托管Serverless服务DLI就像是我们日常使用的滴滴共享打车，我们不再需要为购买和保养私家车而支出固定成本。1. 趋势和挑战1.1. 趋势随着云化技术越来越成熟，企业开始逐步上云，其中辅助决策的数据分析业务也发生了如下几个方面的变化： 从结构化向多元化转变：随着数据采集技术的提高和存储设备的降价，半结构化、非结构化数据被越来越多的采集和存储，很多关键信息，如身份证（图片）中的个人信息，也需要被参与到日常的数据分析中 从单数据源向多数据源转变：除了读取存储业务数据信息
原创
2021-05-28 00:29:08
1482阅读
bilibili 大数据实时团队资深开发工程师周晖栋，在 Flink Forward Asia 2022 实时湖仓专场的分享。
原创
2023-07-04 19:27:36
108阅读
数据湖2018.2.21版权声明：本文为博主chszs的原创文章，未经博主允许不得转载。我们生量的数据随着时间在继续生成，特别是在手持设备和互联网连接设备数量的指数增长的背景下。对于参与其中的组织来说，这是事实...
原创
2018-02-22 19:15:00
89阅读
1.数据湖的简单介绍：1.1 官网https://delta.io/看一张官网的图1.2 特点：1.不限格式，来之不拒，均可流入
2.集中存储、到处可访问。
3.高性能分析能力 -- 借助于Spark、MR、SparkSQL等高性能分析计算引擎，可以对海量的数据进行分析。
4.原始数据存储
5.数据湖是一个存储企业的各种各样原始数据的大型仓库，其中的数据可供存取、处理、分析及传输。1.3 数据湖，
转载
2024-04-09 19:45:05
162阅读
最近几年数据湖热度很高，当搞大数据的同学聚在一起时候，经常会谈到这方面的话题，可能有的同学说“我们在做 Hudi 数据湖，你们用 Delta 还是 Iceberg？”，也会有同学说“我在阿里云上搞了一个OSS数据湖”、“什么，你们数据湖用 HDFS？”、“我们在阿里云上搞 JindoFS，优化数据湖”、“最近搞了个湖仓一体”等等的讨论。数据湖的相关讨论可以说是千人千面，每一个技术同学面对数据湖的时
转载
2024-01-24 22:05:27
111阅读
数据湖概述数据湖这一概念，最早是在2011年由CITO Research网站的CTO和作家Dan Woods首次提出。其比喻是：如果我们把数据比作大自然的水，那么各个江川河流的水未经加工，源源不断地汇聚到数据湖中。业界便对数据湖一直有着广泛而不同的理解和定义。“数据湖是一个集中化存储海量的、多个来源，多种类型数据，并可以对数据进行快速加工，分析的平台，本质上是一套先进的企业数据架构。”"数据湖"的
