文章目录1. 什么是数据湖2. iceberg的特性2.1 优化数据入库的流程2.2 支持更多的分析引擎2.3 统一数据存储和灵活的文件组织2.4 增量读取处理能力3. 数据湖技术催生的新架构3.1 原有方案3.2 新方案4. 新架构应用场景 1. 什么是数据湖准确来讲就是数据入湖中间件技术，它并不是一个存储或者计算引擎，它的存在就是更好的将存储和计算解耦，构建与存储格式之上的数据组织方式，并提
转载
2023-12-31 08:12:54
206阅读
# MongoDB数据入湖
## 什么是数据入湖？
数据入湖指的是将不同来源、不同格式的数据集中存储到一个统一的数据湖中。数据湖是一个集中式的数据存储系统，可以容纳结构化、半结构化和非结构化的数据。在数据湖中，数据可以保留其原始格式，不需要经过转换或预处理，以便后续进行分析、挖掘和可视化。
## MongoDB是什么？
MongoDB是一个开源的文档数据库，它以灵活的文档模型存储数据，支持动态
原创
2024-01-22 08:39:35
85阅读
HUDI数据湖，俩个核心两点：1、采用读时模式设计，支持动态schema，动态表结构变更。（对比写时模式）2、标准化统一和解决了大规模的数据存储问题。3、高容错的任务调度管理策略，不用担心job失败重跑，也不用担心job重跑的效率问题。 下面一步步分析，离线数据仓库痛点有哪些？和思路1、job任务出问题，从出错的job重跑2、写时模式，表字段并更怎么办？3、多个存储如何打通？kafka不
转载
2024-05-30 11:09:42
127阅读
近日EMC发布了数据湖2.0策略，新一代Isilon横向扩展NAS数据湖产品横跨边缘、核心和云实现数据高弹性流动；并将在2016年初推出对应的Isilon软件产品：Isilon SD Edge、下一代Isilon操作系统Isilon OneFS.Next和Isilon CloudPools全面进入“数据湖2.0”时代。在上期我们讨论过，使用Isilon构建的横向扩展数据湖可以满足业务数
新时代下，通过数字化手段实现精细化运营，释放数据价值，助力企业降本增效，筑牢核心竞争力已是大势所趋。众所周知，企业的数据量随着业务不断增加，结构化、非结构化、半结构化数据类型复杂多变，为此实时入湖、实时分析，大大降低数据处理成本的湖仓一体架构平台，成为企业的首选。在上一期DEEPNOVA 技术荟系列公开课中《湖仓一体平台关键技术与实践》（点击此链接可查看详情）讲到了湖仓一体和现代技术栈，从现代数据
# Java 数据入湖接口设计指南
在现代数据工程中，数据入湖（Data Ingestion）是将数据从各种来源导入数据湖的重要步骤。本文将详细介绍如何设计一个简单的Java数据入湖接口，并通过示例代码帮助您理解实现过程。
## 流程概述
首先，我们来了解实现数据入湖接口的主要步骤，如下表所示：
| 步骤 | 描述 |
|------|--
原创
2024-08-09 09:02:23
153阅读
前言Apache Paimon 最典型的场景是解决了 CDC (Change Data Capture)数据的入湖，看完这篇文章，你可以了解到：为什么从
转载
2024-05-24 11:21:37
364阅读
1. CDC背景介绍首先我们介绍什么是CDC？CDC的全称是Change data Capture，即变更数据捕获，它是数据库领域非常常见的技术，主要用于捕获数据库的一些变更，然后可以把变更数据发送到下游。它的应用比较广，可以做一些数据同步、数据分发和数据采集，还可以做ETL，今天主要分享的也是把DB数据通过CDC的方式ETL到数据湖。对于CDC，业界主要有两种类型：•基于查询，客户端会通过SQL
转载
2021-12-21 16:06:26
190阅读
总览本文使用datafaker工具生成数据发送到MySQL，通过flink cdc工具将mysql binlog数据发送到kafka，最后再从kafka中读取数据并写入到hudi中。
与此同时，在将数据写入到hudi中时，同步进行查询。组件版本与依赖datafaker 0.6.3mysql 5.7zookeeper 3.6.3kafka 2.8.0hadoop 3.2.0flink 1.12.2
原创
精选
2022-01-09 20:53:25
886阅读
点赞
简介本场景将提供日志服务SLSProject和对象存储OSS。通过本教程的操作，您可以使用日志服务接入NGINX模拟数据，通过数据加工对数据进行清洗并归档至OSS中进行存储。云起实验室日志服务体验（活动期完成有机会参与100%中奖）：://developer.aliyun.com/adc/series/activity/sls1背景知识本场景主要涉及以下云产品和服务：●日志服务（SLS）
原创
2022-04-27 10:48:30
439阅读
CDC背景介绍首先我们介绍什么是CDC？CDC的全称是Change data Capture，即变更数据捕获，它是数据库领域非常常...
转载
2021-09-28 11:40:58
213阅读
今天分享一篇数据实时入湖的干货文章。在构建实时数仓的过程中，如何快速、正确的同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Flink和数据湖Apache Iceberg两种技术，来解决业务数据实时入湖相关的问题。01Flink CDC介绍CDC全称是Change Data Capture，捕获变更数据，是一个比较广泛的概念，只要是能够捕获所有数据的变化，比如数据库捕获完整的变更
转载
2021-12-21 13:57:18
358阅读
本文转自公众号「DataFunSummit」，点击阅读原文查看原文链接。导读
AutoMQ 基于云的共享存储对 Apache Kafka 进行了云原生的重塑，AutoMQ 无需额外 ETL 任务，支持高效、低成本地将流数据无缝入湖。本次对 AutoMQ 的介绍将围绕下面六点展开：1. AutoMQ 介绍2. 流与[#数据湖](javascript:;)3. Table
照片拍摄于2014年夏，北京王府井附近大家好，我是一哥，今天分享一篇数据实时入湖的干货文章。在构建实时数仓的
原创
2022-06-07 11:49:59
360阅读
俊杰在 4 月 17 日 上海站 Flink Meetup 分享的
转载
2021-12-18 14:01:01
871阅读
本文整理自货拉拉高级大数据开发工程师，Apache Amoro PMC 陈政羽老师，在Flink Forward Asia 2024 数据集成（一）专场的分享。
数据湖概念一、什么是数据湖数据湖是一个集中式的存储库，允许你以任意规模存储
原创
精选
2022-05-30 09:39:42
1863阅读
