系列专题：数据湖系列文章 随着互联网的加速发展和移动互联网的快速兴起，数据采集更方便、数据种类更丰富，行为轨迹、语音视频等非结构化数据爆发式增长，数据规模进一步扩大。在新形势下，传统的数据库、数据仓库等处理技术无法适应快速响应、实时分析的数据需求，难以处理日志、语音等非结构化数据，企业迫切需要一个新型大数据解决方案——“
转载
2023-09-21 07:43:21
119阅读
数据湖概述数据湖这一概念，最早是在2011年由CITO Research网站的CTO和作家Dan Woods首次提出。其比喻是：如果我们把数据比作大自然的水，那么各个江川河流的水未经加工，源源不断地汇聚到数据湖中。业界便对数据湖一直有着广泛而不同的理解和定义。“数据湖是一个集中化存储海量的、多个来源，多种类型数据，并可以对数据进行快速加工，分析的平台，本质上是一套先进的企业数据架构。”"数据湖"的
最近几年数据湖热度很高，当搞大数据的同学聚在一起时候，经常会谈到这方面的话题，可能有的同学说“我们在做 Hudi 数据湖，你们用 Delta 还是 Iceberg？”，也会有同学说“我在阿里云上搞了一个OSS数据湖”、“什么，你们数据湖用 HDFS？”、“我们在阿里云上搞 JindoFS，优化数据湖”、“最近搞了个湖仓一体”等等的讨论。数据湖的相关讨论可以说是千人千面，每一个技术同学面对数据湖的时
转载
2024-01-24 22:05:27
111阅读
## 数据湖架构搭建指南
### 1. 数据湖架构搭建流程
在搭建数据湖之前，了解整个流程是至关重要的。以下是搭建数据湖的一般步骤：
| 步骤 | 描述 |
|------|------|
| 1 | 需求分析与规划 |
| 2 | 选择数据湖平台 |
| 3 | 数据存储设计 |
| 4 | 数据采集与处理 |
| 5 | 数据管理与访问 |
| 6 | 监控与优化 |
### 2. 各
原创
2024-10-25 04:27:18
142阅读
环境centos7，hudi0.9.0,jdk8，hadoop-2.7.1，spark-3.0.1 Maven安装 （1）把apache-maven-3.6.1-bin.tar.gz上传到linux的/opt/software目录下 （2）解压apache-maven-3.6.1-bin.tar.gz到/opt/module/目录下面[atguigu@hadoop102 software]$ ta
转载
2023-05-23 15:42:06
109阅读
【本文系转载，非本人原创，仅供参考学习】数据湖平台简介数据湖平台是一套混合架构，以传统Oracle与华为FusionInsight HD&LibrA为主，依托统一融合的数据平台，全流程拉通公司产品的研发制造、供应储存、安装交付多环节数据，增强数据交互，使能数字孪生，自动化、智能化提升公司运作效率。该平台围绕数据分如下三大逻辑模块：系统架构如下：数据建设准则数据接入原则以应用驱动为主，优先建
转载
2024-05-20 09:04:41
47阅读
随着信息化进程的加快，传统数仓越来越无法适应海量数据存储和分析的需求，天下苦数据仓库久矣！只能存储结构化数据，无法采集存储非机构化数据无法存储原始数据，所有数据须经过ETL清洗过滤离线数仓的数据表牵一发而动全身，数据调整工程量大实时数仓存储空间有限，无法采集和存储海量实时数据回溯效率低下，实时数据和离线数据计算接口难以统一作为大数据变革的下一个风口，数据湖可以完美解决传统数仓的各大痛点。01触手可
转载
2024-08-22 15:32:41
80阅读
数据湖调研1 什么是数据湖2数据湖能解决什么问题3数据湖与数仓的区别4数据湖生态5当前常见的数据湖实现方案5.1 基于Hudi5.2基于Iceberg5.2.1 Iceberg应用场景：5.3 数据湖基本实现 ：5.4 常用数据湖组件对比5.4.1 ACID 和隔离级别支持5.4.2 Schema 变更支持和设计5.4.3 流批接口支持5.4.4 接口抽象程度和插件化5.4.5 查询性能优化5.
1、数据湖是什么？能干什么？为啥是数据湖？ 数据湖发展至今，已经成为一个当下大数据行业比较火爆的话题，并且很多大公司介入开始使用和研究，下面这篇博文带你深入了解相关的概念，有助2、从0到1本地搭建数据湖环境 本地
转载
2024-08-21 09:15:18
73阅读
数据湖是非结构化和结构化数据池，按原样存储，没有特定的目的，可以建立在多种技术上，如Hadoop，NoSQL，Amazon Si
原创
2024-01-08 15:50:13
120阅读
自2010年国际上首次提出“数据湖”概念以来，数据湖就被视为大数据的终极挑战。所谓数据湖，即把所有的数据以原始格式存储在一个统一的地方，以供后续使用。数据湖的出现，是为了应对城市和企业无法及时处理各种海量数据而先行将数据存储起来，后续使用的时候随需取用。“数据湖”被视为打破城市和企业的数据孤岛的重要基础设施，而且由于“数据湖”中存储了全量全域数据而更能为人工智能所用，从而创造更大的价值，例如用人工
转载
2024-02-05 11:45:38
32阅读
今天跟大家分享的大数据产品叫Apache Hudi，Hudi是Hadoop Updates and Incrementals的简写，它是由Uber开发并开源的Data Lakes解决方案。下面首先放一张Hudi在Hadoop体系架构中的位置图：1. 什么是数据湖？首先介绍一下什么是数据湖，提到数据湖，不得不说一下数据仓库。关系型数据库大行其道的年代，随着各个业务系统增多，在应对一些分析场景时，慢慢
转载
2023-08-11 11:18:22
230阅读
HUDI数据湖，俩个核心两点：1、采用读时模式设计，支持动态schema，动态表结构变更。（对比写时模式）2、标准化统一和解决了大规模的数据存储问题。3、高容错的任务调度管理策略，不用担心job失败重跑，也不用担心job重跑的效率问题。 下面一步步分析，离线数据仓库痛点有哪些？和思路1、job任务出问题，从出错的job重跑2、写时模式，表字段并更怎么办？3、多个存储如何打通？kafka不
转载
2024-05-30 11:09:42
127阅读
系列专题：数据湖系列文章1. 背景 国内的大型互联网公司，每天都会生成几十、几百TB，甚至几PB的原始数据。这些公司通常采用开源的大数据组件来搭建大数据平台。大数据平台经历过“以Hadoop为代表的离线数据平台”、“Lambda架构平台”、“Kappa架构平台”三个阶段。 
转载
2023-08-16 22:23:02
401阅读
1. 背景 国内的大型互联网公司，每天都会生成几十、几百TB，甚至几PB的原始数据。这些公司通常采用开源的大数据组件来搭建大数据平台。大数据平台经历过“以Hadoop为代表的离线数据平台”、“Lambda架构平台”、“Kappa架构平台”三个阶段。 可以把数据湖认为是最新一代大数据技术平台
转载
2023-09-27 13:12:59
65阅读
1.数据湖的简单介绍：1.1 官网https://delta.io/看一张官网的图1.2 特点：1.不限格式，来之不拒，均可流入
2.集中存储、到处可访问。
3.高性能分析能力 -- 借助于Spark、MR、SparkSQL等高性能分析计算引擎，可以对海量的数据进行分析。
4.原始数据存储
5.数据湖是一个存储企业的各种各样原始数据的大型仓库，其中的数据可供存取、处理、分析及传输。1.3 数据湖，
转载
2024-04-09 19:45:05
162阅读
一、目标 前面一篇博文中已经详细讲解过数据湖Hudi相关的一些基本概念，想学习下的，可以去看下。 在本地构建可以跑Flink-Hudi、Spark-Hudi等demo的环境，本地环境是arm64架构的M1芯片，所以比较特殊，如果采用Hudi官网的doc
转载
2023-12-08 11:10:14
12阅读
DeltaLake是一个开源的存储层，它为大数据的读写带来了ACID的能力，通过快照隔离机制为HDFS提供了读写一致性的保证，同时DeltaLake提供内部版本的跟踪更能，使得用户可以轻松进行快照、版本回滚。 数据湖是近些年提出的新的数据架构，将大量的数据存储到数据湖中，数据湖可以认为是一个可以无限扩展的存储和计算架构。然而在数据湖实践落地的过程中也存在以下问题数据质量问题，数据进入数据湖由于没有
转载
2023-07-07 15:28:50
51阅读
自2011年“数据湖”概念被提出，业界便对数据湖一直有着广泛而不同的理解和定义。“数据湖是一个集中化存储海量的、多个来源，多种类型数据，并可以对数据进行快速加工，分析的平台，本质上是一套先进的企业数据架构。”——这是对数据湖比较清晰且完整的定义。然而，从定义上看不出数据湖对企业的重要性，本文从数据湖架构的发展，数据平台对企业的重要性，华为数据湖方案等角度阐明数据湖的对企业的价值。一、 &
转载
2024-02-04 21:02:13
77阅读
目录前言数据湖-单向数据湖的问题数据湖的实现流程数据湖中的数据类型数据池数据池的通用结构模拟信号数据池应用程序数据池文本数据池数据池之间的对比数据湖常用的方式-搜索与分析数据池中的业务价值数据湖的一些规范数据湖中的技术或工具归档数据池数据湖和数据仓库前言在大数据时代，大数据项目成了各大公司迫在眉睫的实现案例，于是各大公司各显神通，出现了很多数据平台和架构的设计方案。但是，很多大数据项目的落地过程并
转载
2023-08-04 20:59:19
56阅读
