如何快速、正确的同步业务数据？看我Filnk+Iceberg实时入湖！
转载
2021-07-09 14:40:13
1448阅读
全网最全大数据面试提升手册！第一部分：Iceberg 核心功能原理剖析 ：Apache Iceberg摘自官网：Apache Iceberg is an open table format for huge analytic datasets.可以看到 Founders 对 Iceberg 的定位是面向海量数据分析场景的高效存储格式。海量数据分析的场景，类比于 Hive 是 Hdfs 的封装一
转载
2022-07-25 07:04:21
10000+阅读
点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜数据湖的前世今生互联网技术发展的当下，数据是各大公司最宝贵的资源之一已经是不争的事实。收据的收集、存储和分析已经成为科技公司最重要...
原创
2021-10-16 10:16:06
740阅读
当 Apache Flink 遇见数据湖，会碰撞出怎样的火花？
转载
2021-06-13 21:38:13
178阅读
Apache Flink 是大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构
原创
2021-07-06 17:37:48
466阅读
基于Flink+Iceberg构建企业级实时数据湖胡争Flink中文社区ApacheFlink是大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构。那么当ApacheFlink遇见数据湖时，会碰撞出什么样的火花呢？本次分享主要包括以下核心内容：数据湖的相关背景介绍；经典业务场景介绍；为什么选择ApacheIceberg；如何通过Flink+Iceberg实现流式入湖社
原创
2021-02-04 20:47:01
705阅读
照片拍摄于2014年夏，北京王府井附近大家好，我是一哥，今天分享一篇数据实时入湖的干货文章。在构建实时数仓的
原创
2022-06-07 11:49:59
360阅读
今天分享一篇数据实时入湖的干货文章。在构建实时数仓的过程中，如何快速、正确的同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Flink和数据湖Apache Iceberg两种技术，来解决业务数据实时入湖相关的问题。01Flink CDC介绍CDC全称是Change Data Capture，捕获变更数据，是一个比较广泛的概念，只要是能够捕获所有数据的变化，比如数据库捕获完整的变更
转载
2021-12-21 13:57:18
358阅读
俊杰在 4 月 17 日 上海站 Flink Meetup 分享的
转载
2021-12-18 14:01:01
873阅读
附PPT下载|Flink+Iceberg构建企业级实时数据湖
转载
2021-08-09 15:19:42
832阅读
本文由李劲松、胡争分享，社区志愿者杨伟海、李培殿整理。主要介绍在数据湖的架构中，CDC 数据实时读写的方案和原理。
转载
2021-06-13 22:05:29
1434阅读
本文由李劲松、胡争分享，社区志愿者杨伟海、李培殿整理。主要介绍在数据湖的架构中，CDC 数据实时读写的方案和原理。
转载
2021-07-22 10:26:33
728阅读
SmartNews 数据平台架构师 Apache Iceberg Contributor 戢清雨，在 Flink Forward Asia 2022 实时湖仓专场的分享。
原创
精选
2023-11-11 08:27:30
746阅读
本文由李劲松、胡争分享，社区志愿者杨伟海、李培殿整理。主要介绍在数据湖的架构中，CDC 数据实时读写的方案和原理。文章主要分为 4 个部分内容：常见的 CDC 分析方案为何选择 Flink + Iceberg如何实时写入读取未来规划一、常见的 CDC 分析方案我们先看一下今天的 topic 需要设计的是什么？输入是一个 CDC 或者 upsert 的数据，输出是 Database 或者是用于大数据
转载
2021-02-27 12:01:18
527阅读
2评论
摘要：本文由李劲松、胡争分享，社区志愿者杨伟海、李培殿整理。主要介绍在数据湖的架构中，CDC 数据实时读写的
转载
2021-07-14 14:58:15
640阅读
我们可以看到控制台上有对应实时数据输出，查看对应的IcbergHDFS目录，数据写入成功。
原创
2022-09-21 16:51:32
293阅读
SQL API 读取Kafka数据实时写入Iceberg表从Kafka中实时读取数据写入到Iceberg表中，操作步骤如下：一、首先需要创建对应的Iceberg表StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();StreamTableEnvironment tblEnv = S
原创
精选
2022-07-26 08:18:53
649阅读
点赞
面对海量数据开发场景，一种支持存储多种原始数据格式、多种计算引擎、高效的元数据统一管理的存储方式能极大的提高开发效率。
