2017 年，基于 Jstorm + Canal 的方式实现了第一个版本的实时数据集成方案。但是此方案存在诸多问题，比如无法保证数据的一致性、吞吐率较低、难以维护。2019 年，随着 Flink 社区的不断发展，它补齐了很多重要特性，因此基于 Flink + Canal 的方式实现了第二个版本的实时数据集成方案。但是此方案依然不够完美，经历了内部调研与实践，2022 年初，我们全面转向 Flink
转载
2024-05-04 17:11:47
87阅读
此前Apache Hudi社区一直有小伙伴询问能否使用Amazon Redshift（数仓）查询Hudi表，现在它终于来了。现在您可以使用Amazon Redshift查询Amazon S3 数据湖中Apache Hudi/Delta Lake表数据。Amazon Redshift Spectrum作为Amazon Redshift的特性可以允许您直接从Redshift集群中查询S3数据湖，而无需
转载
2024-06-24 07:05:31
79阅读
摘要：本文整理自 Dell 科技集团高级软件研发经理孙伟在 4 月 17 日 上海站 Flink Meetup 分享的《Iceberg 和对象存储构建数据湖方案》。内容包括：数据湖和 Iceberg 简介未来规划演示方案存储优化的一些思考一、数据湖和 Iceberg 简介1. 数据湖生态如上图所示，对于一个成熟的数据湖生态而言：首先我们认为它底下应具备海量存储的能力，常见的有对象存储，公有云存储以
转载
2024-03-01 07:15:06
14阅读
Apache Flink 是大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构。那么当 Apache Flink 遇见数据湖时，会碰撞出什么样的火花呢？本次分享主要包括以下核心内容：数据湖的相关背景介绍；经典业务场景介绍；为什么选择 Apache Iceberg；如何通过 Flink+Iceberg 实现流式入湖社区未来规划工作。视频回顾：https://www.bi
转载
2023-07-14 17:14:18
160阅读
Apache Flink 是大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构。那么当 Apache Flink 遇见数据湖时，会碰撞出什么样的火花呢？本次分享主要包括以下核心内容：数据湖的相关背景介绍；经典业务场景介绍；为什么选择 Apache Iceberg；如何通过 Flink+Iceberg 实现流式入湖社区未来规划工作。数据湖的相关背景介绍数据湖是个什么概念
转载
2024-04-24 07:15:02
49阅读
摘要：本文整理自阿里巴巴技术专家陈玉兆 (玉兆)、阿里巴巴开发工程师刘大龙 (风离) 在 Flink Forward Asia 2021 实时数据湖专场的演讲。主要内容包括：Apache Hudi 101Flink Hudi IntegrationFlink Hudi Use CaseApache Hudi RoadmapTips：点击「阅读原文」查看原文视频 & 演讲PDF～一、Apac
转载
2024-03-24 11:58:52
0阅读
本文将介绍如何入门大数据，使用Apache Flink技术建立湖仓一体架构，实现数据的实时处理和持久化存储。一、什么是大数据？所谓大数据，是指数据量巨大、复杂度高、处理速度快等特点的数据。这些数据来源广泛，包括社交网络、物联网、金融业、医疗等领域。要对这些数据进行有效地处理和管理，需要借助大数据技术。二、什么是Apache Flink？Apache Flink是一个开源的流数据处理引擎。它支持流处
转载
2023-12-05 22:26:49
35阅读
摘要：阿里巴巴技术专家胡争在 4 月 17 日上海站 Meetup 分享，文章内容为借助 Flink 和 Iceberg 来尝试解决数据入湖的相关挑战，帮助业务同学更加高效地聚焦在自身的业务挑战上。内容包括：数据入湖的核心挑战Apache Iceberg 介绍Flink 和 Iceberg 如何解决问题社区 Roadmap一、数据入湖的核心挑战数据实时入湖可以分成三个部分，分别是数据源、数据管道和
摘要：Apache Flink 是目前大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构，以 Iceberg、Hudi、Delta 为代表的解决方案应运而生，Iceberg 目前支持 Flink 通过 DataStream API /Table API 将数据写入 Iceberg 的表，并提供对 Apache Flink 1.11.x 的集成支持。本文由腾讯数据平台部
转载
2024-03-15 08:18:22
79阅读
内容包括：腾讯数据湖介绍百亿级数据场景落地未来规划总结一、腾讯数据湖介绍从上图可以看出来，整个平台比较大，包括了数据接入、上层的分析、中间的管理 (如任务管理，分析管理和引擎管理)，再到最下层的 Table Format。二、百亿级数据落地场景落地1. 传统平台架构如上图所示，过去的传统平台架构无非是两种，一种是 Lambda 架构，一种是 Kappa 架构：Lambda 架构中，批和流是分开的，
转载
2023-11-21 22:16:08
44阅读
一、美团数仓架构图 如上图，是美团最新的数仓架构图。整个架构图分为三层，从下往上看，最下面一层是数据安全，包括受限域认证系统、加工层权限系统，应用层权限系统，安全审计系统，来保证最上层数据集成与处理的安全；中间一层是统一的元数据中心和全链路血缘，覆盖了全链路的加工过程；最上层根据数据的流向，分成数据集成，数据处理，数据消费，数据应用，四个阶段；在数据集成阶段，对于不同的数据来源（包括用户行为数据
转载
2024-06-28 09:58:34
22阅读
导读：今天主要和大家交流的是网易在数据湖 Iceberg 的一些思考与实践。从网易在数据仓库建设中遇到的痛点出发，介绍对数据湖 Iceberg 的探索以及实践之路。主要内容包括：数据仓库平台建设的痛点数据湖 Iceberg 的核心原理数据湖 Iceberg 社区现状网易数据湖 Iceberg 实践之路01 数据仓库平台建设的痛点痛点一：我们凌晨一些大的离线任务经常会因为一些原因出现延迟，
转载
2024-05-28 19:18:49
60阅读
目录1. pom.xml的依赖2. 使用DataStream实现word count2.1 不含window窗口的word count2.2 含window窗口的word count3. DataStream API的数据源3.1 基于文件3.2 基于socket3.3 基于集合4. DataStream API的数据Sink接收器5. Side Outputs6. 两阶段提交(two-phas
转载
2024-07-08 15:35:42
85阅读
点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜数据湖的前世今生互联网技术发展的当下，数据是各大公司最宝贵的资源之一已经是不争的事实。收据的收集、存储和分析已经成为科技公司最重要...
原创
2021-10-16 10:16:06
740阅读
数据湖是大数据近年来的网红项目，大家熟知的开源数据湖三剑客 Apache hudi、Apache iceberg 、Databricks delta 近年来野蛮生长，目前各自背后也都有商业公司支持，投入了大量的人力物力去做研发和宣传。然而今天我们要讲的是数据湖界的后起之秀 —— flink-table-store。熟悉 Flink 项目的同学对这个项目应该并不陌生，它在去年作为 Flink 的子项
转载
2023-11-09 15:47:40
69阅读
1.架构图2.实现实例2.1 通过flink cdc 的两张表 合并 成一张视图， 同时写入到数据湖(hudi) 中 同时写入到kafka 中2.2 实现思路1.在flinksql 中创建flink cdc 表
2.创建视图(用两张表关联后需要的列的结果显示为一张速度)
3.创建输出表，关联Hudi表，并且自动同步到Hive表
4.查询视图数据，插入到输出表 -- flink 后台实时执行2.3
转载
2023-12-25 07:29:52
54阅读
数仓技术应对关系型结构化数据游刃有余，但对于多元异构数据，却爱莫能助。最近行业大佬都在聊怎么部署数据湖，这波操作未来走向如何？数据湖技术能够实现全量数据的单一存储，通常存储原始格式的对象块或者文件。不管是传统数仓承载的结构化数据还是半结构化数据、非结构化数据、二进制数据等任意类型的数据，数据湖都可以轻松实现采集、存储和分析。更为人性化的是，数据湖可根据企业的业务需求提供可大可小的弹性扩充，数据可在
转载
2023-07-14 17:12:50
67阅读
Hudi与Flink整合Hudi0.8.0版本与Flink1.12.x之上版本兼容，目前经过测试，Hudi0.8.0版本开始支持Flink，通过Flink写数据到Hudi时，必须开启checkpoint，至少有5次checkpoint后才能看到对应hudi中的数据。但是应该是有一些问题，目前问题如下：在本地执行Flink代码向Flink写数据时，存在“java.lang.AbstractM
原创
精选
2022-06-03 08:57:10
1269阅读
点赞
是时候将数据分
原创
2022-08-10 08:58:47
380阅读
本文介绍了 Flink Hudi 通过流计算对原有基于 mini-batch 的增量计算模型的不断优化演进。
转载
2021-12-14 11:31:49
175阅读
