维度建模过程维度建模一般按照以下四个步骤： 选择业务过程→声明粒度→确认维度→确认事实选择业务过程在业务系统中，挑选我们感兴趣的业务线，比如下单业务，支付业务，退款业务，物流业务，一条业务线对应一张事实表。声明粒度数据粒度指数据仓库的数据中保存数据的细化程度或综合程度的级别。 声明粒度意味着精确定义事实表中的一行数据表示什么，应该尽可能选择最小粒度，以此来应各种各样的需求。典型的粒度声明如下：订单
转载
2024-10-14 22:21:14
15阅读
前言Table和SQL的关系：SQL是Table的继承封装（这点在Flink的概念有所体现），比如说：StreamTableEnvironment继承自TableEnvironment便可体现出来。故官文中Table的使用均可在SQL中体现出来，比如说自定义函数，Table API & SQL下的自定义函数中只给出了Table方式的TableEnvironment 创建自定义函数，我们可以
转载
2024-03-06 03:37:20
62阅读
文章目录将表（Table）转换成流（DataStream）将流（DataStream）转换成表（Table）支持的数据类型全代码展示： 在 Flink 中我们可以将 Table 再转换成 DataStream，然后进行打印输出。这就涉及了表和流的转换。将表（Table）转换成流（DataStream）（1）调用 toDataStream()方法 将一个 Table 对象转换成 DataStrea
转载
2023-12-01 09:01:16
189阅读
Flink提供了Table形式和DataStream两种形式，可以根据实际情况自己选择用哪些方式来实现，但实际开发过程中可能会有需求两种形式互相转换，这里介绍下操作方法表可以转换为DataStream或DataSet,这样自定义流处理或批处理程序就可以继续在Table API或SQL查询的结果上运行了将表转换为DataStream或DataSet时，需要指定生成的数据类型，即要将表的每一行转换成的
转载
2024-03-19 21:38:04
76阅读
概述 DataStream（数据流）本身是 Flink 中一个用来表示数据集合的类（Class），我们编写的 Flink 代码其实就是基于这种数据类型的处理，所以这套核心API 就以DataStream 命名。对于批处理和流处理，我们都可以用这同一套 API 来实现。 DataStream 在用法上有些类似于常规的 Java 集合，但又有所不同。我们在代码中往往并不关心集合中具体的数据，而只
转载
2023-12-08 14:53:35
118阅读
流表转换摘要官网的说法1.Insert-only 类型的流表转化1.1 demo小例子2.change log 表流转换2.1 demo例子3. flink内置的row对象4. Schema5. 流到表转换的列类型推断规则如下5.1 流到表 字段名称映射规则5.11.通过位置映射5.12 原子类型5.13 java 对象（POJO）6.总结 表流转换的时候水位线和时间代码中如何定义6.1. 从D
转载
2024-05-23 18:31:01
137阅读
分区策略决定了一条数据如何发送给下游。Flink中默认提供了八大分区策略(也叫分区器)。本文基于Flink 1.9.0总结Flink DataStream中的八大分区策略以及手动实现一个自定义分区器。八大分区策略继承关系图
ChannelSelector: 接口，决定将记录写入哪个Channel。有3个方法:
void setup(int numberOfChannels): 初始化输出Chann
转载
2024-03-17 10:02:38
48阅读
一、table source1、TableSource源码trait TableSource[T] { //TableSource 是一个接口总共有三个方法
def getReturnType: TypeInformation[T] //获取返回的DataStream或者 DataSet的类型
def getTableSchema: TableSchema //获取table表
转载
2024-03-10 22:45:35
61阅读
目录表概念表标识表和视图临时表和永久表表定义创建 table 表对象创建 sql 表视图catalog什么是 catalog如何理解 hive catalog 表概念表标识表标识由3部分组成：catalog name （常用于标识不同的“源”， 比如 hive catalog， inner catalog 等）database name（通常语义中的“库”）table name（通常语义中的“表
转载
2024-04-15 23:32:42
48阅读
RFC - 24: Hoodie Flink Writer Proposal在Hudi 0.7.0版本中支持了Flink写Hudi的第一个版本，第一个版本中存在一些瓶颈，该RFC由阿里Blink团队的Danny提出，以解决第一个版本中的一些瓶颈，大部分代码已经合入master主干分支。1. 现有架构现有Flink写Hudi架构如下现有的架构存在如下瓶颈
InstantGeneratorOperat
转载
2023-08-23 06:44:17
165阅读
Flink中的DataStream程序是在数据流上实现转换的常规程序(例如，filtering, updating state, defining windows, aggregating)。数据流最初是由不同的源创建的(例如，message queues, socket streams, files)。结果通过接收器返回，例如，接收器可以将数据写入文件或标准输出(例如the command li
转载
2024-05-15 11:29:59
101阅读
维表是数仓中的一个概念，维表中的维度属性是观察数据的角度，在建设离线数仓的时候，通常是将维表与事实表进行关联构建星型模型。在实时数仓中，同样也有维表与事实表的概念，其中事实表通常存储在kafka中，维表通常存储在外部设备中(比如MySQL，HBase)。对于每条流式数据，可以关联一个外部维表数据源，为实时计算提供数据关联查询。维表可能是会不断变化的，在维表JOIN时，需指明这条记录关联维表快照的时
转载
2023-09-04 10:49:37
192阅读
1. API基本概念Flink程序可以对分布式集合进行转换（例如： filtering, mapping, updating state, joining, grouping, defining windows, aggregating）集合最初是从源创建的（例如，从文件、kafka主题或本地内存集合中读取）结果通过sink返回，例如，可以将数据写入(分布式)文件，或者写入标准输出(例如，命令行
转载
2021-05-06 14:51:28
209阅读
2评论
一.简介基本转换做一个概述，基于时间算子（窗口，水位线）以及其他一些特殊转换会在后面文章介绍。DataStream API的转换分为四大类：作用于单个事件的基本转换。
原创
2022-01-23 17:31:03
216阅读
一 .流处理基本概念对于什么是流处理，从不同的角度有不同的定义。其实流处理与批处理这两个概念是对立统一的，它们的关系有点类似于对于 Java 中的 ArrayList 中的元素，是直接看作一个有限数据集并用下标去访问，还是用迭代器去访问。流处理系统本身有很多自己的特点。 一般来说，由于需要支持无限数据集的处理，流处理系统一般采用一种数据驱动的处理方式。它会提前设置一些算子，然后等到数据到达后对数据
转载
2024-09-18 10:55:04
76阅读
一、DataStream 和 DataSetFlink用DataStream 表示无界数据集，用DataSet表示有界数据集，前者用于流处理应用程序，后者用于批处理应用程序。从操作形式上看，DataStream 和 DataSet 与集合 Collection 有些相似，但两者有着本质的区别：（1）DataStream 和 DataSet 是不可变的数据集合，因此不可以想操作集合那样增加或者删除
转载
2024-07-23 12:47:04
21阅读
# 为小白解释如何使用 Flink DataStream API
作为一名经验丰富的开发者，我将会向你介绍如何使用 Flink DataStream API。Flink 是一个流式处理框架，可以用于处理无边界和有边界的数据流。在 Flink 中，DataStream API 用于处理无边界数据流。
## 整体流程
在使用 Flink DataStream API 的过程中，一般会经历以下
原创
2024-04-28 10:39:16
61阅读
一 有界流 无界流流处理与批处理 • MapReduce、Spark只支持批处理任务 • Storm只支持流处理任务 • Spark Streaming采用了一种micro-batch的架构实现了流处理 • Flink通过灵活的执行引擎，能够同时支持批处理任务与流处理任务Spark vs Flink 数据模型 • Spark采用RDD模型，Spark Streaming的DStream
Flink_DataStream一、基本算子的使用2.1、Map富函数2.2、FlatMap2.3、Filter的使用2.4 、KeyBy 字符统计2.5 、Reduce2.6、Aggregation(聚合的统称)2.7、fold2.8、ProcessFunction2.9、apply二、数据的计算2.1、增量的聚合统计2.2、全量的聚合统计三、DataStream数据源DataSource3.
转载
2024-05-08 12:46:32
67阅读
一.简介基本转换做一个概述，基于时间算子（窗口，水位线）以及其他一些特殊转换会在后面文章介绍。DataStream API的转换分为四大类：作用于单个事件的基本转换。针对相同键值事件的KeyedStream转换。将多条数据流合并为一条或将一条数据流拆分成多条流转换。对流中的事件进行重新组织的分发转换。二.基本转换map用一个数据元生成一个数据元。一个map函数，它将输入流的值加倍：DataStream<Integer> dataStream = //...dataS
原创
2021-08-31 09:13:05
680阅读
