缓存工具类package com.duo.utilsimport com.alibaba.fastjson.
原创
2021-08-02 13:42:43
1425阅读
FLink-14-Flink 状态State的TTL管理Flink 状态State的TTL管理1.updateTtlOnReadAndWrite()/updateTtlOnCreateAndWrite()2.StateTtlConfig.StateVisibility.NeverReturnExpired/ReturnExpiredIfNotCleanedUp3.cleanupStrategie
转载
2024-04-26 11:05:07
126阅读
一 场景介绍 在维度模型中，数据通常被划分为维度和事实两大阵营，而维度通常是渐变(Kimball维度模型领域通常称呼这种维度为缓慢变化维度或者又被称为渐变维度)的，这种场景下，要求我们在维表建模过程中，要更多的考虑维度版本的变化，保存维度变化的维表模型可以方便在ETL和应用过程中可以让事实数据匹配自己对应
转载
2024-06-07 09:17:20
164阅读
说明：Flink是一个有状态的流式计算引擎，所以会将中间计算结果(状态)进行保存，默认保存到TaskManager的堆内存中，但是当task挂掉，那么这个task所对应的状态都会被清空，造成了数据丢失，无法保证结果的正确性，哪怕想要得到正确结果，所有数据都要重新计算一遍，效率很低。想要保证At -least-once和Exactly-once，需要把数据状态持久化到更安全的存储介质中，Flink提
转载
2024-04-29 10:09:22
54阅读
**Flink的状态介绍**Flink的状态指的是 1.维护的状态变量,键控状态 值状态（Value state） 为每个键存储一个任意类型的单个值。复杂数据结构也可以存储为值状态。 列表状态（List state） 为每个键存储一个值的列表。列表里的每个数据可以是任意类型。 映射状态（Map state） 为每个键存储一个键值映射（map）。map的key和value可以是任意类型。2.算子的状
转载
2024-02-10 07:02:50
97阅读
1 Flink背压原理任务A写, 任务B读， 2者都是先申请 local buffer pool, 满了之后再向network buffer pool申请。 消费下游： local buffer pool和network buffer pool满了之后，发送消息给上游（ResultSubparittion) ，上有不在发送消息，下
转载
2024-04-17 10:39:54
229阅读
开发的过程也是探索和学习的过程，一个问题可以揪出背后众多知识。回头想想，这些问题早在官网给出了答案。有时候会想，始终是一种由发现问题到寻求解决问题之路的一种驱动，而不是一种系统学习后把控全局地去实现或者开发。所以学习的某一种过程是与bug并行，与解决问题为驱动的一种学习方式。不管哪一种过程，都是你的成长与经验的积累。问题的发现Connector Kafka创建的表Connector jdbc创建的
转载
2024-02-09 21:22:46
81阅读
Spark Executor能跑多少个Task，由Core个数决定反压原理反压是指任务（Task）之间的现象；Task是线程，运行Task的是TaskManager进程，每个TaskManager中可以跑的Task数量是不确定的，1个Slot中可以跑1-n个Task;Flink网络传输下的内存管理： 1.根据配置，Flink会在NetWorkBufferPool中生成一定数量（default 20
转载
2024-03-18 07:53:48
26阅读
Flink实时数仓
总体架构用户行为采集平台与离线数仓一致：[Hive离线数仓]业务数据采集平台与离线数仓基本一致：[Hive离线数仓]不同点：1）使用Maxwell同步所有表，不需要过滤2）将所有表同步到一个Kafka Topic注意：若离线数仓想要使用同一套采集平台，需要在Flume时间戳拦截器中补充表名，从而导入到不同的HDFS目录中数据仓库ODS
Flink 异步I/O
1.概述
在与外部系统交互（用数据库中的数据扩充流数据）的时候，需要考虑与外部系统的通信延迟对整个流处理应用的影响。
简单地访问外部数据库的数据，比如使用 MapFunction，通常意味着同步交互： MapFunction 向数据库发送一个请求然后一直等待，直到收到响应。在许多情况下，等待占据了函数运行的大部分时间。
转载
2024-04-05 00:03:13
36阅读
目录表概念表标识表和视图临时表和永久表表定义创建 table 表对象创建 sql 表视图catalog什么是 catalog如何理解 hive catalog 表概念表标识表标识由3部分组成：catalog name （常用于标识不同的“源”， 比如 hive catalog， inner catalog 等）database name（通常语义中的“库”）table name（通常语义中的“表
转载
2024-04-15 23:32:42
48阅读
维表是数仓中的一个概念，维表中的维度属性是观察数据的角度，在建设离线数仓的时候，通常是将维表与事实表进行关联构建星型模型。在实时数仓中，同样也有维表与事实表的概念，其中事实表通常存储在kafka中，维表通常存储在外部设备中(比如MySQL，HBase)。对于每条流式数据，可以关联一个外部维表数据源，为实时计算提供数据关联查询。维表可能是会不断变化的，在维表JOIN时，需指明这条记录关联维表快照的时
转载
2023-09-04 10:49:37
192阅读
1：首先要区分普通表和时态表1.1：普通表：可以理解为普通表就是一张随着时间数据在不断变化的表，类似于每个停车场内现存的车辆个数，他的最大特点是数据持续发生变化但是始终保持原有的条数，类似于总量总和，这个数据是不断的发生变化的，一般来讲这张表对应的是外部数据表例如：假设 LatestRates 是一个物化的最新汇率表 (比如：一张 HBase 表)，LatestRates 总是表示 HBase 表
转载
2024-03-25 15:22:48
239阅读
流计算中一个常见的需求就是为数据流补齐字段。因为数据采集端采集到的数据往往比较有限，在做数据分析之前，就要先将所需的维度信息补全。比如采集到的交易日志中只记录了商品 id，但是在做业务时需要根据店铺维度或者行业纬度进行聚合，这就需要先将交易日志与商品维表进行关联，补全所需的维度信息。这里所说的维表与数据
转载
2024-01-26 09:33:52
102阅读
文章目录背景LookupableTableSource实例讲解源码解析JdbcTableSourceJdbcLookupFunction 背景在流式计算中，维表是一个很常见的概念，一般用于sql的join中，对流式数据进行数据补全，比如我们的source stream是来自日志的订单数据，但是日志中我们只是记录了订单商品的id，并没有其他的信息，但是我们把数据存入数仓进行数据分析的时候，却需要商
转载
2023-09-25 13:33:44
211阅读
维表是数仓中的一个概念，维表中的维度属性是观察数据的角度，在建设离线数仓的时候，通常是将维表与事实表进行关联构建星型模型。在实时数仓中，同样也有维表与事实表的概念，其中事实表通常存储在kafka中，维表通常存储在外部设备中(比如MySQL，HBase)。对于每条流式数据，可以关联一个外部维表数据源，为实时计算提供数据关联查询。维表可能是会不断变化的，在维表JOIN时，需指明这条记录关联维表快照的时
转载
2023-07-31 21:33:03
309阅读
1、ETL背景在我们实时数仓日常工作中，经常会有一些实时的需求，这些需求往往都是一些拉宽的需求。为了给实时数仓来进行OLAP对来进行Ad-hoc查询，但是我们工作中一些维度表的数据是会发生变化的，可能是缓慢变化维度。那么这个时候就需要进行flink连接其他数据源来进行查询。那么这个时候我们肯定可以想到就是来一条查一次，这个是肯定可以做到的。但是在大数据场景下，我们是不是会觉得有点慢呢？我们是否有更
转载
2023-07-11 16:58:08
595阅读
通过本文你能 get 到以下知识：Flink 常见的一些维表关联的案例常见的维表方案及每种方案适用场景，优缺点案例：broadcast 实现维表或配置的实时更新一、案例分析维表服务在 Flink 中是一个经常遇到的业务场景，例如：客户端上报的用户行为日志只包含了城市 Id，可是下游处理数据需要城市名字商品的交易日志中只有商品 Id，下游分析数据需要用到商品所属的类目物联网温度报警的场景中，处理的是
转载
2024-06-27 06:38:23
261阅读
作者：腾讯云流计算 Oceanus 团队流计算 Oceanus 简介流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。本文将您详
转载
2023-07-27 19:50:59
100阅读
第一章 Flink简介 1.1 初识Flink Flink起源于Stratosphere项目，Stratosphere是在2010~2014年由3所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014年4月Stratosphere的代码被复制并捐赠给了Apache软件基金会，参加这个孵化项目的初始成员是Stratosphere系统的核心开发人员，2014年12月，Flink一跃成为Ap
转载
2024-06-18 11:05:42
82阅读
