Flink 官网地址 （官网介绍的非常详细，觉得看英文太慢的直接使用浏览器一键翻译，本文是阅读官方文档后进行的内容梳理笔记） https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/dev/python/overview/ 一、Flink 做什么流处理 ? 处理无界数据，换句话说，数据输入永远不会结束批处理 处理有界数据的工作
目录1. 基于控制台和文件的Sink2. 自定义Sink3. Scala代码演示1. 基于控制台和文件的SinkAPI：ds.print 直接输出到控制台ds.printToErr() 直接输出到控制台,用红色ds.writeAsText("本地/HDFS的path",WriteMode.OVERWRITE).setParallelism(1)注意：在输出到path的时候,可以在前面设置并行度当并
转载
2024-02-23 12:28:42
208阅读
Process Unbounded and Bounded Data处理无界和有界的数据流：任何类型的数据都可以形成一种事件流。信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互记录，所有这些数据都形成一种流。数据可以被作为 无界 或者 有界 流来处理。无界流 有定义流的开始，但没有定义流的结束。它们会无休止地产生数据。无界流的数据必须持续处理，即数据被摄取后需
转载
2024-04-01 09:23:54
36阅读
.本篇概览Flink官方提供的sink服务可能满足不了我们的需要，此时可以开发自定义的sink，文本就来一起实战；.继承关系在正式编码前，要先弄清楚对sink能力是如何实现的，前面我们实战过的print、kafka、cassandra等sink操作，核心类的继承关系如下图所示：可见实现sink能力的关键，是实现RichFunction和SinkFunction接口，前者用于资源控制（如open、c
转载
2024-04-25 16:06:15
22阅读
01 自定义函数概述自定义函数是 PyFlink Table API 中最重要的功能之一，其允许用户在 PyFlink Table API 中使用 Python 语言开发的自定义函数，极大地拓宽了 Python Table API 的使用范围。目前 Python 自定义函数的功能已经非常完善，支持多种类型的自定义函数，比如 UDF（scalar function）、UDTF（table funct
转载
2024-03-18 11:28:30
375阅读
文章目录1.输出到File文件2.输出到Kafka中3.输出到Mysql中1.输出到File文件public class SinkTest01 { public static void main(String[] args) throws Exception {
原创
2022-05-26 00:37:52
785阅读
5.5输出算子5.5.1概述1.print也是一种输出类PrintSinkFunction!image.png(https://s2.51cto.com/images/202211/e431c28111ec982da599408f682d2b43da0de2.png?xossprocess=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FF
推荐
原创
2022-11-18 21:50:46
682阅读
Flink的HiveStreamingSink实现流程前言目前我们为了增强数据的时效性,增加了Flink实时写入Hive的流程,基于Flink写入Hive这里之前基本上是没有接触过的,看了官网的文章之后,由于我们的追求数据为1-10分钟内可见性,但是数据也不足1分钟就能达到128MB的情况,于是也会产生各种各样的十几MB的小文件,于是需要了解一下这个写入流程基于上面进行改造,使小文件能够达到自动合
转载
2023-10-21 19:27:55
303阅读
在Apache Flink中，输出算子Data Sink用于将数据流发送到外部系统或存储介质中，如数据库、消息队列、文件系统等。输出算子是数据流处理的最后一步，它决定了数据的最终去向。
原创
精选
2023-11-06 16:38:07
596阅读
点赞
Redis具有其极高的写入读取性能，因此也是经常使用的Sink之一。可以使用Java Redis客户端Jedis手动实现，也可以使用Flink和Bahir提供的实现来实现。
原创
2023-11-08 16:38:48
288阅读
点赞
Flink的Redis-Sink具体实现步骤如下：可以参考Flink的官网RedisSink的具体实现：https://bahir.apache.org/docs/flink/current/flink-streaming-redis/1.引入官方的flink-redis-connector的maven依赖<!-- https://mvnrepository.com/artifact/org
转载
2023-06-14 17:20:01
157阅读
最近准备用flink对之前项目进行重构，这是一个有挑战（但我很喜欢）的工作。几个月过去了，flink社区比起我做技术调研那阵发生了很多变化（包括blink的版本回推），我这边的版本也由1.4->1.7.2。现在网上有很多大方向的解析（阿里的几次直播），也有大神对框架的深入解析。我准备实际使用中mark一些关键的知识点/api。以窗口是flink一个重要的概念，flink提供了很多种窗口的使用
转载
2024-08-19 11:30:08
87阅读
1.Flink如何保证Exactly-Once使用checkpoint检查点，其实就是 所有任务的状态，在某个时间点的一份快照；这个时间点，应该是所有任务都恰好处理完一个相同 的输入数据的时候。checkpoint的步骤：flink应用在启动的时候，flink的JobManager创建CheckpointCoordinatorCheckpointCoordinator(检查点协调器) 周期性的向该
转载
2024-03-08 13:38:00
40阅读
Source是Flink程序的输入，Sink就是Flink程序处理完Source后数据的输出，比如将输出写到文件、sockets、外部系统、或者仅仅是显示（在大数据生态中，很多类似的，比如Flume里也是对应的Source/Channel/Sink），Flink提供了多种数据输出方式跟在代码中直接写不同（比如可以在RickMap中open、close、map中直接写）他可以保存一些状态，容错重试机
原创
2020-11-06 09:46:31
5105阅读
文件输出步骤总结：1、建立输出流对象，并将输出流对象和输出文件名绑定：ofstream sss_out("sssout.txt");2、向输出流输出元素，有两种方式，一种是直接输出：sss_out<<输出内容；  
转载
2023-06-19 17:48:26
154阅读
sink算子是将计算结果最终输出的算子不同的sink算子可以将数据输出到不同的目标，如写入到的文件、输出到指定的网络端口、消息中间件、外部的文件系统或者是打印到控制台。1 打印输出print打印是最简单的一个Sink，通常是用来做实验和测试时使用。
/**
* sink: 将数据展示在控制台上
*/
users.print("输出的数据是: ") ;
see.execute("sink
转载
2023-12-18 13:19:14
55阅读
我们都知道Flink在流式处理上性能强大，且很好地支持ExactlyOnce语义；且这也是Flink核心的技术点，所以成为面试官喜欢追问的一个话题：Flink恰巧语义一次消费，怎么保证？ 在这个思维导图进行了详细的描述及说明。欢迎阅读及下载超全干货--Flink思维导图，花了3周左右编写、校对上述思维导图中也进行了详细地描述：Flink_思维导图（干货）.xm
转载
2024-04-29 12:17:14
53阅读
flink 的对外输出操作都要利用 Sink 完成，常用的 Sink 有 kafka、 redis、elasticsearch、jdbc等。 1、首先引入对应的 connector 依赖 2、创建类实现在 sink 中的方法 3、最后 addSink ...
转载
2021-09-13 10:16:00
571阅读
2评论
文章目录基于kafka的sink基于redis的sink基于kafka的sinkkafkaUtil中 def getProducer(topic: String): FlinkKafkaProducer011[String] = { new FlinkKafkaProducer011[String]
原创
2022-02-17 10:00:02
322阅读
文章目录基于kafka的sink基于redis的sink基于kafka的sinkkafkaUtil中 def getProducer(topic: String): FlinkKafkaProducer011[String] = { new FlinkKafkaProducer011[String]("note01:9092,note02:9092,note03:9092",top...
原创
2021-05-31 18:43:28
588阅读
