第一章 Flink简介 1.1 初识Flink Flink起源于Stratosphere项目，Stratosphere是在2010~2014年由3所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014年4月Stratosphere的代码被复制并捐赠给了Apache软件基金会，参加这个孵化项目的初始成员是Stratosphere系统的核心开发人员，2014年12月，Flink一跃成为Ap
转载
2024-06-18 11:05:42
82阅读
，作者左右前言实时数仓，难免会遇到join维表的业务。现总结几种方案，供各位看官选择：查找关联（同步，异步）状态编程,预加载数据到状态中，按需取冷热数据广播维表Temporal Table JoinLookup Table Join查找关联查找关联就是在主流数据中直接访问外部数据（mysql，redis，impala ...）去根据主键或者某种关键条件去关联取值。适合: 维表数据量大，但是主数据不
转载
2023-08-03 19:04:04
359阅读
问题导读1.流处理和批处理分别入口是什么？2.对于本地和远程运行程序，都可以使用哪个函数？3.Flink数据源分为哪两类？4.Flink DataStream和DataSet source都是基于什么格式？5.Flink中kafka source是否为自定义？执行环境为了开始编写Flink程序，我们首先根据自己的需要，可以获得现有的或创建一个执行环境（executionenvironment）。
目录表概念表标识表和视图临时表和永久表表定义创建 table 表对象创建 sql 表视图catalog什么是 catalog如何理解 hive catalog 表概念表标识表标识由3部分组成：catalog name （常用于标识不同的“源”， 比如 hive catalog， inner catalog 等）database name（通常语义中的“库”）table name（通常语义中的“表
转载
2024-04-15 23:32:42
48阅读
维表是数仓中的一个概念，维表中的维度属性是观察数据的角度，在建设离线数仓的时候，通常是将维表与事实表进行关联构建星型模型。在实时数仓中，同样也有维表与事实表的概念，其中事实表通常存储在kafka中，维表通常存储在外部设备中(比如MySQL，HBase)。对于每条流式数据，可以关联一个外部维表数据源，为实时计算提供数据关联查询。维表可能是会不断变化的，在维表JOIN时，需指明这条记录关联维表快照的时
转载
2023-09-04 10:49:37
192阅读
目录一、inner join二、sliding-inner-join三、session-inner-join四、left-join五、interval-join 一、inner join 两个流中的数据，通过join连接，在通过where和equalsTo条件判断后，条件成立并且处在同一个窗口内的数据会
转载
2023-10-12 07:44:03
121阅读
Flink从入门到精通之-04Flink 运行时架构我们已经对 Flink 的主要特性和部署提交有了基本的了解，那它的内部又是怎样工作的，集群配置设置的一些参数又到底有什么含义呢？接下来我们就将钻研 Flink 内部，探讨它的运行时架构，详细分析在不同部署环境中的作业提交流程，深入了解 Flink 设计架构中的主要概念和原理。 文章目录Flink从入门到精通之-04Flink 运行时架构4.1 系
转载
2024-06-11 10:16:09
88阅读
1、ETL背景在我们实时数仓日常工作中，经常会有一些实时的需求，这些需求往往都是一些拉宽的需求。为了给实时数仓来进行OLAP对来进行Ad-hoc查询，但是我们工作中一些维度表的数据是会发生变化的，可能是缓慢变化维度。那么这个时候就需要进行flink连接其他数据源来进行查询。那么这个时候我们肯定可以想到就是来一条查一次，这个是肯定可以做到的。但是在大数据场景下，我们是不是会觉得有点慢呢？我们是否有更
转载
2023-07-11 16:58:08
595阅读
维表是数仓中的一个概念，维表中的维度属性是观察数据的角度，在建设离线数仓的时候，通常是将维表与事实表进行关联构建星型模型。在实时数仓中，同样也有维表与事实表的概念，其中事实表通常存储在kafka中，维表通常存储在外部设备中(比如MySQL，HBase)。对于每条流式数据，可以关联一个外部维表数据源，为实时计算提供数据关联查询。维表可能是会不断变化的，在维表JOIN时，需指明这条记录关联维表快照的时
转载
2023-07-31 21:33:03
309阅读
文章目录背景LookupableTableSource实例讲解源码解析JdbcTableSourceJdbcLookupFunction 背景在流式计算中，维表是一个很常见的概念，一般用于sql的join中，对流式数据进行数据补全，比如我们的source stream是来自日志的订单数据，但是日志中我们只是记录了订单商品的id，并没有其他的信息，但是我们把数据存入数仓进行数据分析的时候，却需要商
转载
2023-09-25 13:33:44
211阅读
流计算中一个常见的需求就是为数据流补齐字段。因为数据采集端采集到的数据往往比较有限，在做数据分析之前，就要先将所需的维度信息补全。比如采集到的交易日志中只记录了商品 id，但是在做业务时需要根据店铺维度或者行业纬度进行聚合，这就需要先将交易日志与商品维表进行关联，补全所需的维度信息。这里所说的维表与数据
转载
2024-01-26 09:33:52
102阅读
作者：腾讯云流计算 Oceanus 团队流计算 Oceanus 简介流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。本文将您详
转载
2023-07-27 19:50:59
100阅读
通过本文你能 get 到以下知识：Flink 常见的一些维表关联的案例常见的维表方案及每种方案适用场景，优缺点案例：broadcast 实现维表或配置的实时更新一、案例分析维表服务在 Flink 中是一个经常遇到的业务场景，例如：客户端上报的用户行为日志只包含了城市 Id，可是下游处理数据需要城市名字商品的交易日志中只有商品 Id，下游分析数据需要用到商品所属的类目物联网温度报警的场景中，处理的是
转载
2024-06-27 06:38:23
261阅读
基本知识TableSource提供了从外部系统（消息队列，KV存储，数据库，文件系统等）接入数据，之后注册到TableEnvironment中，然后可以通过Table API或者SQL进行查询。TableSink提供了将flink内部注册的Table中的数据写出到外部系统（Es ,Hbase ,消息队列数据库，文件系统等）。TableFactory用来创建TableSource 、TableSin
转载
2024-02-27 21:41:39
24阅读
FLink-14-Flink 状态State的TTL管理Flink 状态State的TTL管理1.updateTtlOnReadAndWrite()/updateTtlOnCreateAndWrite()2.StateTtlConfig.StateVisibility.NeverReturnExpired/ReturnExpiredIfNotCleanedUp3.cleanupStrategie
转载
2024-04-26 11:05:07
126阅读
衡量指标 总体来讲，关联维表有三个基础的方式：
实时数据库查找关联(Per-Record Reference Data Lookup)、预加载维表关联(Pre-Loading of Reference Data)和维表变更日志关联(Reference Data Change Stream)，而根据实现上的优化可以衍生出多种关联方式，且这些优化还可以灵活组合产生不同效果(不过为了简单性这里
转载
2024-05-28 17:16:19
134阅读
维表是数仓中的一个概念，维表中的维度属性是观察数据的角度，补充事实表的信息。在实时数仓中，同样也有维表与事实表的概念，其中事实表通常为kafka的实时流数据，维表通常存储在外部设备中(比如MySQL，HBase)。对于每条流式数据，可以关联一个外部维表数据源，为实时计算提供数据关联查询。维表可能是会不断变化的，在维表JOIN时，需指明这条记录关联维表快照的时刻。 本文主要介绍1、流表和维表的区别2
转载
2023-08-31 20:22:50
381阅读
一 场景介绍 在维度模型中，数据通常被划分为维度和事实两大阵营，而维度通常是渐变(Kimball维度模型领域通常称呼这种维度为缓慢变化维度或者又被称为渐变维度)的，这种场景下，要求我们在维表建模过程中，要更多的考虑维度版本的变化，保存维度变化的维表模型可以方便在ETL和应用过程中可以让事实数据匹配自己对应
转载
2024-06-07 09:17:20
166阅读
前言Table和SQL的关系：SQL是Table的继承封装（这点在Flink的概念有所体现），比如说：StreamTableEnvironment继承自TableEnvironment便可体现出来。故官文中Table的使用均可在SQL中体现出来，比如说自定义函数，Table API & SQL下的自定义函数中只给出了Table方式的TableEnvironment 创建自定义函数，我们可以
转载
2024-03-06 03:37:20
62阅读
1. 业务背景 由于运营及产品需要，我们针对之前的离线画像来进行抽取，并将其转换成实时画像来提供给业务方进行接口查询服务。 数据来源为MySQL，维度数据来源于离线hive计算结果，针对本期是针对单用户的查询，所以我们会将具体的用户及相应的查询条件来组合，之后进行hbase单点查询，得到该用户的标签信息，而标签的写入通过flink写入hbase，目前有两个设想，一是将查询条件组合在rowkey上，
转载
2024-03-18 09:23:21
129阅读
