51CTO博客>热门标签>数据湖

数据湖

全部文章近期文章热门文章标签简介

【数据湖】内容共 100 条

原创【数据湖】塑造湖：数据湖框架

Azure Data Lake 刚刚全面上

人工智能

大数据

java

编程语言

python

阅读 78 评论 0 点赞 0

超级架构师 230 天前
原创数据湖（一）：数据湖概念

数据湖概念一、什么是数据湖数据湖是一个集中式的存储库，允许你以任意规模存储

big data

数据仓库

hadoop

数据湖

数据

阅读 994 评论 0 点赞 0

Lansonli 302 天前
原创数据湖

数据湖2018.2.21版权声明：本文为博主chszs的原创文章，未经博主允许不得转载。我们生量的数据随着时间在继续生成，特别是在手持设备和互联网连接设备数量的指数增长的背景下。对于参与其中的组织来说，这是事实...

数据湖

数据

数据存储

应用程序

阅读 16 评论 0 点赞 0

chszs 20 小时前
原创【数据湖仓】数据湖和仓库：范式简介

是时候将数据分析迁移到云端了——您

数据仓库

大数据

编程语言

python

机器学习

阅读 61 评论 0 点赞 0

超级架构师 230 天前
转载 AWS数据湖

数据分析是当前比较热门的技术，通过利用云计算的资源，更加快速对数据进行收集、处理并分析。本文将从实践角度阐述AWS数据湖以及数据分析等产品，是如何帮助企业更加智能的利用数据，从而辅助业务决策。一、数据湖的由来很久之前，当时的数据量很少，人们都是把数据记在脑中或者记录在纸张上面，想要查看数据的时候，翻开记录就行。!image20201103105439245(https://s4.51cto.com

aws

阅读 1953 评论 0 点赞 1

蘑菇爱吃苦 608 天前
原创数据湖概述

HDFS 元数据：存储数据的数据为了提高MapReduce的可用性数据湖：

数据

mapreduce

存储数据

阅读 97 评论 0 点赞 0

liqiangbk 186 天前
原创【数据湖仓】数据湖和仓库：Azure Synapse 视角

你先阅读本系列的前几篇文章。数据湖和仓库第 1 部分：范式简介数据湖和仓库第 2 部...

数据仓库

大数据

编程语言

人工智能

java

阅读 45 评论 0 点赞 0

超级架构师 230 天前
原创【数据湖仓】数据湖和仓库：Databricks 和 Snowflake

是时候将数据分

数据仓库

数据库

大数据

编程语言

python

阅读 169 评论 0 点赞 0

超级架构师 230 天前
转载数据湖架构，为什么需要“湖加速”？

简介：湖加速即为数据湖加速，是指在数据湖架构中，为了统一支持各种计算，对数据湖存储提供适配支持，进行优化和缓存加速的中间层技术。那么为什么需要湖加速？数据湖如何实现“加速”？本文将从三个方面来介绍湖加速背后的原因，分享阿里云在湖加速上的实践经验和技术方案。在开源大数据领域，存储/计算分离已经成为共识和标准做法，数据湖架构成为大数据平台的首要选择。基于这一范式，大数据架构师需要考虑三

数据湖架构

湖加速

阅读 315 评论 2 点赞 0

mb601ce87364988 761 天前
原创如何理解数据湖？如何建好数据湖项目？

一、基本概念1 、如何理解“数据湖”的概念？这与“数据仓库”“数据中台”“大数据平台”都是些什么关系？@刘怀行河南凯姆敦克售前技术支持：数据湖的概念可以这样理解，数据湖是将结构化数据与非结构化数据，统一放在一个数据池里，大数据平台提供数据服务，大数据分析软件会根据数据使用频率分级存储，底层采用 SSD 固态硬盘来提供 10% 的热数据计算和利用，使用 SATA 硬盘，提供 10-20% 的温

JAVA

阅读 934 评论 0 点赞 0

mob604756f33d49 695 天前
原创数据湖YYDS！ Flink+IceBerg实时数据湖实践

点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜数据湖的前世今生互联网技术发展的当下，数据是各大公司最宝贵的资源之一已经是不争的事实。收据的收集、存储和分析已经成为科技公司最重要...

数据库

数据仓库

大数据

hadoop

java

阅读 435 评论 0 点赞 0

蜡笔小新v 528 天前
原创数据湖（七）：Iceberg概念及回顾什么是数据湖

Iceberg概念及回顾什么是数据湖一、回顾什么是数据湖数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析，对数据进行加工，例如：大数据处理、实时分析、机器学习，以指导做出更好地决策。二、大数据为什么需要数据湖当前基于Hive的离线数据仓库已经非常成熟，在传统的离线数据仓库中对记录级别的数据进行更

数据

kafka

sql

阅读 826 评论 0 点赞 1

Lansonli 266 天前
原创【数据湖】Azure 数据湖分析（Azure Data Lake Analytics )概述

在本文中，做出决策。开发人员使用可能需要更长时间进行数据检索的复杂查询。组织正在增加他们在云基础架构...

数据仓库

人工智能

大数据

编程语言

java

阅读 69 评论 0 点赞 0

超级架构师 230 天前
原创【数据湖架构】Hitchhiker的Azure Data Lake数据湖指南

数据湖漫游指南文件大小和文件数文件格式分区方案使用查询加速我如何管理对我的数据的访问？我选择什么数？Azure Da......

大数据

编程语言

hadoop

数据库

python

阅读 59 评论 0 点赞 0

超级架构师 230 天前
原创简单聊聊数据湖

“数据湖”就像在湖中有多个支流进入一样，结构化数据、非结构化数据、日志数据、实时数据，都流入了同一种数据存储结构之中，并进行不同类型的分析处理，以指导做出更好的决策。

数据湖

阅读 414 评论 0 点赞 0

wx60de7917a81ce 631 天前
原创简单聊聊数据湖

本篇文章内容不多，重点在于讲述一下“数据湖”的基本概念。由于概念比较新，因此形成共识还需要一段时间，这期间别人提到了，咱们知道怎么回事，就可以了。

数据湖

阅读 137 评论 0 点赞 0

wx60de7917a81ce 631 天前
原创什么是数据湖？

1.什么是数据湖？定义：一个以原始格式(通常是对象快或文件)存储数据的系统或存储库，通常是所有企业数据的单一存储数据湖可以包括来自关系数据库的结构化数据(行和列)、半结构化数据(CSV、日志、XML、JSON)、非结构化数据(email、文档、pdf)和二进制数据(图像、音频、视频) 数据湖越来

数据

数据仓库

结构化

阅读 67 评论 0 点赞 0

蹦擦擦蹦 291 天前
转载简单聊聊数据湖

简单聊聊数据湖|0x00 什么是数据湖数据湖的概念最初是由大数据厂商提出的，可以简单理解为一个集中存储数据的

数据

结构化

数据仓库

阅读 20 评论 0 点赞 0

数据一哥 273 天前
转载微软数据湖架构

一个无限制的数据湖为智能行动提供动力:存储和分析PB级大小的文件和数

数据仓库

大数据

java

人工智能

python

阅读 334 评论 0 点赞 0

超级架构师 277 天前
原创数据湖101：概述

数据湖是非结构化和结构化数据池，按原样存储，没有特定的目的，可

数据仓库

大数据

java

人工智能

编程语言

阅读 64 评论 0 点赞 0

超级架构师 277 天前