一、什么是数据湖维基百科上定义，数据湖（Data Lake）是一个以原始格式存储数据的存储库或系统。它按原样存储数据，而无需事先对数据进行结构化处理。一个数据湖可以存储结构化数据（如关系型数据库中的表），半结构化数据（如CSV、日志、XML、JSON），非结构化数据（如电子邮件、文档、PDF）和二进制数据（如图形、音频、视频）。二、数据湖之Delta Lake官网：https://delta.io
转载
2024-02-22 14:17:57
85阅读
从数据仓库到数据湖仓库和湖泊仓库是人为提前建造好的，有货架，还有过道，并且还可以进一步为放置到货架的物品指定位置。而湖泊是液态的，是不断变化的、没有固定形态的，基本上是没有结构的，湖泊可以是由河流 、小溪和其他未被任何处理的水源维持。湖泊是不需要预先指定结构的。什么是数据湖？数据湖（Data Lake）和数据库、数据仓库一样，都是数据存储的设计模式。数据库和数据仓库会以关系型的方式来设计存储、处理
转载
2023-09-23 13:47:59
129阅读
Azure Data Lake 刚刚全面上
原创
2022-08-10 08:59:44
215阅读
系统概述 在温带地区，一般而言，背风的湖库只要水深超过5 m就会出现水体分层现象。常见的水质分层现象有易重流，温跃层， 低氧区和缺氧区等，水体分层现象对水生生物和水质有着巨大的影响。例如藻类垂向分布随日照时度衰减。不同分层水质差别明显， 对于湖库监测管理部门特别是自来水厂应根据不同水层的水质状况选取水质最优的断面取水。湖库水质剖面自动化监测系统有助于揭示浮游植物垂直分布的群落特点和浮游动物的垂直迁
烟囱式的数据平台建设导致“数据孤岛”，“一湖两平台”的金融数据湖让大数据发挥最大的业务价值。 大数据技术经过近几年的快速发展，在企业数据中心的基础设施上已不鲜见，尤其是金融行业，大数据技术应用一直走在其它行业前面，它们在以数据湖、融合数仓、湖内数仓（Data LakeHouse）等一些典型的技
转载
2020-08-31 11:35:00
251阅读
2评论
烟囱式的数据平台建设导致“数据孤岛”，“一湖两平台”的金融数据湖让大数据发挥最大的业务价值。
原创
2021-05-26 23:03:12
999阅读
作者简介陈寿纬：Alluxio软件工程师，在Alluxio主要负责数据湖方案结合、结构化数据与高可用性优化等相关工作。陈寿纬博士毕业于罗格斯大学电子与计算机工程系，专业方向是大规模分布式系统的性能与稳定性优化。王北南：Alluxio软件工程师，也是PrestoDB的committer。加入Alluxio之前，北南博士是Twitter Presto团队的技术负责人，并为Twitter的数据平台构建了
数据湖概念一、什么是数据湖数据湖是一个集中式的存储库，允许你以任意规模存储
原创
精选
2022-05-30 09:39:42
1863阅读
Mongodb一. mongodb的安装1. 安装解压tar-xvzf mongodb-linux.tgz移动到/user/local/目录下sudo mv -r mongodb-linux/ /usr/local/mongodb将可执行文件放到path中export path = /usr/local/mongodb/bin:$PATH二. 数据库的基础操作1. 关于database的命令 查
转载
2023-08-04 15:16:43
54阅读
随着互联网web2.0网站的兴起，非关系型的数据库现在成了一个极其热门的新领域， 非关系数据库产品的发展非常迅速。而传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不 从心，暴露了很多难以克服的问题，例如：1、High performance – 对数据库高并发读写的需求 web2.0网站要根据用户个性化信息来实时生成动态页面和提供动态信
转载
2024-07-04 18:48:00
39阅读
目录概念整理数据库：一个MongoDB中可以建立多个数据库。集合：MongoDB的文档组。文档：实际存放数据的地方。常见的操作数据库（新增，删除）集合（新增，编辑，删除）文档（增删改查）重点查询文档新增文档（objectId）编辑文档（set为部分更新，括号里面没有的保持原样）按多种条件查询（条件操作符） 上面我们已经安装MongoDB数据库，并且也用Studio 3T连接上了，那么接下
转载
2023-08-21 18:05:04
36阅读
数据湖2018.2.21版权声明：本文为博主chszs的原创文章，未经博主允许不得转载。我们生量的数据随着时间在继续生成，特别是在手持设备和互联网连接设备数量的指数增长的背景下。对于参与其中的组织来说，这是事实...
原创
2018-02-22 19:15:00
89阅读
无论你从事任何工作，团队协作的能力都是一个现代职场人所必备的底层技能。软件设计厂商们也都看到了职场人的这一需求，也明白传统软件无法满足这类需求的痛点，因此，越来越多的在线协作软件问世了。 下面要介绍的这6款和UI设计有关的团队协作交付软件就是为此而生的。 1.蓝湖 在蓝湖，你可以无缝产品、设计、研发的流程；设计师能更快交付设计图，产品经理能更直观地展现需求，工程师能省时省力高效编程；因此，使用
转载
2024-01-31 10:34:17
20阅读
|0x00 什么是数据湖数据湖的概念最初是由大数据厂商提出的，可以简单理解为一个集中存储数据的数据库，不论是结构化数据or非结构化数据，海量数据or少量数据，都能够支持存储和计算。就像在湖中有多个支流进入一样，结构化数据、非结构化数据、日志数据、实时数据，都流入了同一种数据存储结构之中，并进行不同类型的分析处理，以指导做出更好的决策。数据湖通常采用Hadoop作为数据的承载对象，随着企业规模的扩大
转载
2024-01-02 15:01:28
174阅读
蓝湖使用规范一、蓝湖插件下载及安装二、团队项目建立流程1、新建团队(横琴人寿)2、新建项目在对应的团队下新建项目例如官微项目，官网项目，i保项目，哆来咪项目3、新建分组在相应的项目下按照功能模块进行分组，例如：投保、家庭权益、服务大厅4、在相应的分组下上传文件文件命名规范：对应的具体页面描述+版本信息例如：尊贵服务-4.2版本(如果没有版本号可用具体上线日期)同一张设计图有可能有多种状态，需要上传
转载
2023-08-03 14:12:00
295阅读
数据湖iceberg-day011.1 什么是数据湖1.1.1 什么是数据湖数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析，对数据进行加工，例如：大数据处理、实时分析、机器学习，以指导做出更好地决策。1.1.2 大数据为什么需要数据湖当前基于Hive的离线数据仓库已经非常成熟，在传统的离线数据
转载
2024-08-01 10:47:47
140阅读
最近几年数据湖热度很高，当搞大数据的同学聚在一起时候，经常会谈到这方面的话题，可能有的同学说“我们在做 Hudi 数据湖，你们用 Delta 还是 Iceberg？”，也会有同学说“我在阿里云上搞了一个OSS数据湖”、“什么，你们数据湖用 HDFS？”、“我们在阿里云上搞 JindoFS，优化数据湖”、“最近搞了个湖仓一体”等等的讨论。数据湖的相关讨论可以说是千人千面，每一个技术同学面对数据湖的时
转载
2024-01-24 22:05:27
111阅读
数据湖概述数据湖这一概念，最早是在2011年由CITO Research网站的CTO和作家Dan Woods首次提出。其比喻是：如果我们把数据比作大自然的水，那么各个江川河流的水未经加工，源源不断地汇聚到数据湖中。业界便对数据湖一直有着广泛而不同的理解和定义。“数据湖是一个集中化存储海量的、多个来源，多种类型数据，并可以对数据进行快速加工，分析的平台，本质上是一套先进的企业数据架构。”"数据湖"的
1、数据湖是什么？能干什么？为啥是数据湖？ 数据湖发展至今，已经成为一个当下大数据行业比较火爆的话题，并且很多大公司介入开始使用和研究，下面这篇博文带你深入了解相关的概念，有助2、从0到1本地搭建数据湖环境 本地
转载
2024-08-21 09:15:18
73阅读
数据湖是非结构化和结构化数据池，按原样存储，没有特定的目的，可以建立在多种技术上，如Hadoop，NoSQL，Amazon Si
原创
2024-01-08 15:50:13
120阅读
