01 自定义函数概述自定义函数是 PyFlink Table API 中最重要的功能之一，其允许用户在 PyFlink Table API 中使用 Python 语言开发的自定义函数，极大地拓宽了 Python Table API 的使用范围。目前 Python 自定义函数的功能已经非常完善，支持多种类型的自定义函数，比如 UDF（scalar function）、UDTF（table funct
转载
2024-03-18 11:28:30
375阅读
目录1. 基于控制台和文件的Sink2. 自定义Sink3. Scala代码演示1. 基于控制台和文件的SinkAPI：ds.print 直接输出到控制台ds.printToErr() 直接输出到控制台,用红色ds.writeAsText("本地/HDFS的path",WriteMode.OVERWRITE).setParallelism(1)注意：在输出到path的时候,可以在前面设置并行度当并
转载
2024-02-23 12:28:42
208阅读
.本篇概览Flink官方提供的sink服务可能满足不了我们的需要，此时可以开发自定义的sink，文本就来一起实战；.继承关系在正式编码前，要先弄清楚对sink能力是如何实现的，前面我们实战过的print、kafka、cassandra等sink操作，核心类的继承关系如下图所示：可见实现sink能力的关键，是实现RichFunction和SinkFunction接口，前者用于资源控制（如open、c
转载
2024-04-25 16:06:15
22阅读
文章目录1.输出到File文件2.输出到Kafka中3.输出到Mysql中1.输出到File文件public class SinkTest01 { public static void main(String[] args) throws Exception {
原创
2022-05-26 00:37:52
785阅读
5.5输出算子5.5.1概述1.print也是一种输出类PrintSinkFunction!image.png(https://s2.51cto.com/images/202211/e431c28111ec982da599408f682d2b43da0de2.png?xossprocess=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FF
推荐
原创
2022-11-18 21:50:46
682阅读
Redis具有其极高的写入读取性能，因此也是经常使用的Sink之一。可以使用Java Redis客户端Jedis手动实现，也可以使用Flink和Bahir提供的实现来实现。
原创
2023-11-08 16:38:48
288阅读
点赞
在Apache Flink中，输出算子Data Sink用于将数据流发送到外部系统或存储介质中，如数据库、消息队列、文件系统等。输出算子是数据流处理的最后一步，它决定了数据的最终去向。
原创
精选
2023-11-06 16:38:07
596阅读
点赞
Flink 官网地址 （官网介绍的非常详细，觉得看英文太慢的直接使用浏览器一键翻译，本文是阅读官方文档后进行的内容梳理笔记） https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/dev/python/overview/ 一、Flink 做什么流处理 ? 处理无界数据，换句话说，数据输入永远不会结束批处理 处理有界数据的工作
Flink 文章目录Flink一、Flink 简介1.1 Flink 的特点1.2 Flink 与 Spark Streaming 对比二、快速上手2.1 搭建 maven 工程2.2 批处理 wordcount三、Flink 部署3.1 Yarn 部署3.2 Kubernetes 部署四、Flink 运行时架构4.1 Flink 运行时组件4.2 任务提交流程4.3 任务调度原理2. TaskM
转载
2024-03-20 17:03:21
182阅读
1.Flink如何保证Exactly-Once使用checkpoint检查点，其实就是 所有任务的状态，在某个时间点的一份快照；这个时间点，应该是所有任务都恰好处理完一个相同 的输入数据的时候。checkpoint的步骤：flink应用在启动的时候，flink的JobManager创建CheckpointCoordinatorCheckpointCoordinator(检查点协调器) 周期性的向该
转载
2024-03-08 13:38:00
40阅读
flink 的对外输出操作都要利用 Sink 完成，常用的 Sink 有 kafka、 redis、elasticsearch、jdbc等。 1、首先引入对应的 connector 依赖 2、创建类实现在 sink 中的方法 3、最后 addSink ...
转载
2021-09-13 10:16:00
571阅读
2评论
我们都知道Flink在流式处理上性能强大，且很好地支持ExactlyOnce语义；且这也是Flink核心的技术点，所以成为面试官喜欢追问的一个话题：Flink恰巧语义一次消费，怎么保证？ 在这个思维导图进行了详细的描述及说明。欢迎阅读及下载超全干货--Flink思维导图，花了3周左右编写、校对上述思维导图中也进行了详细地描述：Flink_思维导图（干货）.xm
转载
2024-04-29 12:17:14
53阅读
文章目录基于kafka的sink基于redis的sink基于kafka的sinkkafkaUtil中 def getProducer(topic: String): FlinkKafkaProducer011[String] = { new FlinkKafkaProducer011[String]("note01:9092,note02:9092,note03:9092",top...
原创
2021-05-31 18:43:28
588阅读
什么是数据的一致性这所说的数据一致性指，在一个 Flink 任务遇到不可坑因素整体死掉或者部分死掉，已经外部存储介质死掉后，将死掉的部分重写启动后，计算结果和出现故障之前一致，不会产生任何的影响。如果要实现这种效果，无论发生什么，所有算子做到如下要求：source 算子中，一条记录只向下游发送一次。在聚合算子、合集算子、转换算子中一条数据只处理一次。在 sink 算子中，一条数据只向外部存储介质中
转载
2024-04-03 15:03:29
47阅读
文章目录基于kafka的sink基于redis的sink基于kafka的sinkkafkaUtil中 def getProducer(topic: String): FlinkKafkaProducer011[String] = { new FlinkKafkaProducer011[String]
原创
2022-02-17 10:00:02
322阅读
我们前面采集的日志数据已经保存到 Kafka 中，作为日志数据的 ODS 层，从 kafka 的ODS 层读取的日志数据分为 3 类, 页面日志、启动日志和曝光日志。这三类数据虽然都是用户行为数据，但是有着完全不一样的数据结构，所以要拆分处理。将拆分后的不同的日志写回 Kafka 不同主题中，作为日志 DWD 层。
1. 摘要我们前面采集的日志数据已经保存到
转载
2023-06-25 20:39:08
322阅读
Flink定义Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams.Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。Flink相关概念批处理是有界数据流处理
转载
2024-08-02 08:12:41
122阅读
处理函数 文章目录处理函数一、基本处理函数（ProcessFunction）1.RichFunction的功能与作用2. ProcessFunction的功能与作用3. 处理函数的分类二、按键分区处理函数（KeyedProcessFunction）1. 定时器（TimerService）2. KeyedProcessFunction的功能与示例三、窗口处理函数（ProcessWindowFunct
转载
2024-04-16 21:33:53
57阅读
查看Flink 1.9.0版本的官方文档 可以看到连接里面是没有Redis，不过Bahir中有
转载
2021-10-27 15:59:40
192阅读
## 实现Flink HDFS Sink
### 概述
在Flink中，将数据写入HDFS是非常常见的操作，可以通过Flink提供的HDFS Sink实现。HDFS Sink可以将Flink流处理应用程序的输出数据写入到HDFS中，实现数据持久化。
### 实现步骤
下面是实现Flink HDFS Sink的步骤以及对应的代码示例：
| 步骤 | 操作
原创
2024-04-30 11:41:15
101阅读
