在 Flink 1.10 中SQL正式生产，在尝试使用的时候，遇到了这样的问题： KafkaTableSink 的 'update-mode' 只支持 ‘append’，如下面这样：CREATE TABLE user_log_sink (
user_id VARCHAR,
item_id VARCHAR,
category_id VARCHAR,
转载
2024-03-22 09:08:03
150阅读
offset什么时候提交主要看是否开启了checkpoint开启了checkpoint 情况1： 用户通过调用 consumer上的setCommitOffsetsOnCheckpoints(true) 方法来启用 offset 的提交(默认情况下为 true ) 那么当 checkpointing 完成时，Flink Kafka Consumer 将提交的 offset 存储在 checkpoi
转载
2024-03-22 09:02:00
87阅读
Catalog 类型以下内容来自官网：Hive Catalog 支持Flink 元数据的持久化存储，以前一直用 Hive Catalog 存，偶尔需要用的时候把 Hive Catalog 开启（需启动 hive metastore 和 hiveserver2，还要启动 Hadoop），大部分时候是不用 Catalog，好像也无所谓，最近用得多了，觉得很麻烦（夏天到了，服务起太多笔记本烫手） ?va
转载
2024-03-20 12:49:01
84阅读
1.kafka设置消息过期时间 a） 进入kafka配置文件夹 cd /opt/kafka/config/默认的是在server.properties 文件里面b）需要修改和配置项如下：log.retention.hours=168 (配置该参数即可) log.cleanup.policy=delete （默认，可不配置）c） 修改配置后重启kaf
转载
2024-03-07 14:36:48
417阅读
首先来看下程序错误信息：caused by: akka.pattern.AskTimeoutException:
Ask timed out on [Actor[akka://flink/user/taskmanager_0#15608456]] after [10000 ms].
Sender[null] sent message of type "org.apache.flink.runt
转载
2024-04-13 19:45:01
244阅读
一、Time在Flink的流式处理中，会涉及到时间的不同概念Event Time（事件时间）：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink通过时间戳分配器访问事件时间戳Ingestion Time（采集时间）：是数据进入Flink的时间Processing Time（处理时间）：是每一个执行基于时间操作的算子的本地系统时间，与机器
转载
2024-05-06 18:33:28
43阅读
Watermark案例 步骤：1、获取数据源2、转化3、声明水印（watermark）4、分组聚合，调用window的操作5、保存处理结果数据源：01,158648956600001,158648956700001,158648956800001,158648956900001,158648957000001,158648957100001,158648957200001,1586489
转载
2024-05-30 00:25:46
67阅读
1.时间语义Event Time：是事件创建的时间。它通常由事件中的时间戳述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事件时间戳。Ingestion Time：是数据进入 Flink 的时间。Processing Time：是每一个执行基于时间操作的算子的本地统时间，与机器相关，默认的时间属性就是 Processing Time。 2.Ev
转载
2024-03-21 20:43:18
47阅读
Flink提供了Kafka connector用于消费/生产Apache Kafka topic的数据。Flink的Kafka consumer集成了checkpoint机制以提供精确一次的处理语义。在具体的实现过程中，Flink不依赖于Kafka内置的消费组位移管理，而是在内部自行记录和维护consumer的位移。用户在使用时需要根据Kafka版本来选择相应的connector，如下表所示：Ma
转载
2024-03-17 10:55:39
282阅读
文章目录1 什么是Flink2 Flink的优势3 应用场景4 传统数据处理架构（1）事务处理（OLTP）（2）分析处理5 流处理的演变（1）lambda 架构（2）有状态的流式处理（3）演变过程6 Flink的特点（1） 事件驱动（Event-driven）（2） 基于流的世界观（3） Flink 的分层 API（4） 其他特点7 Flink 和 SparkStreaming的区别（1）数据模
转载
2024-10-05 14:12:27
45阅读
背景
监控是Spark非常重要的一部分。Spark的运行情况是由ListenerBus以及MetricsSystem 来完成的。通过Spark的Metrics系统，我们可以把Spark Metrics的收集到的信息发送到各种各样的Sink，比如HTTP、JMX以及CSV文件。目前支持的Sink包括：
ConsoleSink
CSVSink
JmxSink
MetricsServlet
Gr
转载
2021-06-11 22:18:38
423阅读
# Flink写入MySQL超时问题及解决方案
## 引言
Apache Flink是一个流处理框架，可以处理实时数据流和批处理数据。在实际应用中，Flink常常需要将处理结果写入关系型数据库，尤其是MySQL。然而，在这个过程中，常常会遇到写入超时的问题。本文将探讨该问题的原因，并提供解决方案和示例代码。
## 超时问题的原因
写入超时的原因可能有多种，主要包括：
1. **数据库连接
原创
2024-09-12 06:05:23
65阅读
# Flink 写入 MySQL 超时问题解析与解决方案
Apache Flink 是一个开源的流处理框架，用于实时数据流的处理和分析。在实际应用中，Flink 常常需要将处理结果写入到外部存储系统中，MySQL 作为常用的关系型数据库，是 Flink 写入数据的常见目标之一。然而，在 Flink 写入 MySQL 的过程中，可能会遇到超时问题。本文将分析这一问题的原因，并提供相应的解决方案。
原创
2024-07-23 07:09:22
103阅读
时间语义:事件处理会经过几个特殊时间： Event Time：事件创建的时间 Ingestion Time：数据进入Flink的时间 Processing Time：执行操作算子的本地系统时间，与机器相关 设置时间语义： StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
转载
2024-03-25 13:49:30
96阅读
六、Time与Window6.1 Time在Flink的流式处理中，会涉及到时间的不同概念，如下图所示：① Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink通过时间戳分配器访问事件时间戳。② Ingestion Time：是数据进入Flink的时间。③ Processing Time：是每一个执行基于时间操作的算
转载
2024-03-17 18:48:16
52阅读
Flink（三）处理函数一.概述二.普通处理函数1.ProcessFunction2.KeyedProcessFunction3.ProcessWindowFunction三.合流处理函数1.CoProcessFunction（connect合流）2.ProcessJoinFunction（Interval Join合流）3.BroadcastProcessFunction4.KeyedBroa
转载
2024-02-12 20:05:18
149阅读
Timeout of 60000ms expired before the position for partition tv_log-1 could be determined
大概意思：消费kafka，在某个分区连接超时超时了60000ms这个时候首先要检查：C:\Windows\System32\drivers\etc\目录下的hosts是否添加了相应的映射信息。如果有，再逐一排查以下问题：
转载
2023-07-11 17:17:19
829阅读
1、时间语义1.1、Event time（重点关注）事件创建时间，时间值取决于 数据产生记录的事件；只登记一次，并且EventTime也可以从记录中提取出来；事件事件是每个单独事件在其进程上发生的事件，这个时间通常在记录进入Flink之前记录在对象中1.2、Ingestion timeIngestionTime是数据进入Apache Flink框架的时间，是在Source Operator中设置的
转载
2024-03-29 07:55:30
110阅读
0、要点 Flink的分区列不会存数据，也就是两个列有一个分区列，则文件只会存另一个列的数据1、CreateTable 根据SQL的执行流程，进入TableEnvironmentImpl.executeInternal，createTable分支} else if (operation instanceof CreateTableOperation) {
CreateTableOper
转载
2024-10-08 15:01:39
107阅读
项目场景：本来想写一个windows下的Flink连接虚拟机中Kafka作为数据源的一个小Demo，但是在使用过程中出现了形形色色的问题，做一下记录问题描述首先是使用flink版本1.14.4版本flink-kafka版本1.11.4 在此版本中出现报错情况Recovery is suppressed by NoRestartBackoffTimeStrategy原因分析：这个地方我搜过很多原因，
转载
2023-12-14 07:23:00
1337阅读
