项目场景：本来想写一个windows下的Flink连接虚拟机中Kafka作为数据源的一个小Demo，但是在使用过程中出现了形形色色的问题，做一下记录问题描述首先是使用flink版本1.14.4版本flink-kafka版本1.11.4 在此版本中出现报错情况Recovery is suppressed by NoRestartBackoffTimeStrategy原因分析：这个地方我搜过很多原因，
转载
2023-12-14 07:23:00
1337阅读
一，背景公司需要用到flink和kafka来处理大数据，对于一个没有接触过这两个东西的40岁程序员，决定自学一下，用了两天的时间终于实现了flink和kafka的对接，目标就是要向kafka输入 "时间戳,温度,设备ID"，然后在flink里面按照时间戳分组，再按照设备ID计算的在一个时间段内的温度平均值。 二，运行环境window 10, kafka 2.1.1, flink 1.7.
转载
2024-03-01 15:52:11
308阅读
Timeout of 60000ms expired before the position for partition tv_log-1 could be determined
大概意思：消费kafka，在某个分区连接超时超时了60000ms这个时候首先要检查：C:\Windows\System32\drivers\etc\目录下的hosts是否添加了相应的映射信息。如果有，再逐一排查以下问题：
转载
2023-07-11 17:17:19
829阅读
引言 在很多领域，如股市走向分析, 气象数据测控，网站用户行为分析等，由于数据产生快，实时性强，数据量大，所以很难统一采集并入库存储后再做处理，这便导致传统的数据处理架构不能满足需要。流计算的出现，就是为了更好地解决这类数据在处理过程中遇到的问题。与传统架构不同，流计算模型在数据流动的过程中实时地进行捕捉和处理，并根据业务需求对数据进行计算分析，最终把结果保存或者分发给需要的组件。本文将从实时数
转载
2024-07-18 11:16:35
84阅读
环境准备经过1个月的摸索，最终选择在腾讯云上搭建一个学习环境。当时选择原因还是新用户有优惠(150左右3年)，但现在看1核2g的配置勉强够用，建议后续小伙伴选择时最好是2核4g配置。 由于是单节点安装，需要准备如下资源： 1、jdk1.8 2、zookeeper3.5.9 3、kafka_2.12-3.0.0 链接: 资源都整合在这里. 提取码：pbtwJDK安装找到jdk进行解压：配置环境变量v
转载
2024-07-17 13:21:50
342阅读
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实
Flink从kafka消息队列读取数据 1、首先要设置Flink的执行环境// 创建Flink执行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();2、设置Kafka相关参数，连接对应的服务器和端口号，读取名为Shakespeare的Topic中的数据源，将数据源命名为s
转载
2024-04-29 14:36:17
44阅读
前言总结Flink读写KafkaFlink 版本1.15.4Table API本文主要总结Table API的使用（SQL），官方文档：https://nightlies.apache.org/flink/flink-docs-release-1.17/zh/docs/connectors/table/kafka/kerberos认证相关配置官方文档：https://nightlies.apach
转载
2024-08-07 10:30:27
172阅读
异常现象1按照以下方式设置backend目录和checkpoint目录，fsbackend目录有数据，checkpoint目录没数据env.getCheckpointConfig().setCheckpointStorage(PropUtils.getValueStr(Constant.ENV_FLINK_CHECKPOINT_PATH));
env.setStateBackend(new FsS
转载
2024-07-19 14:25:44
54阅读
一、启动Kafka集群和flink集群环境变量配置（注：kafka 3台都需要设置，flink仅master设置就好）[ro
原创
2022-02-16 14:38:32
6607阅读
一、启动Kafka集群和flink集群环境变量配置（注：kafka 3台都需要设置，flink仅master设置就好）[root@master ~]# vim /etc/profile配置完执行命令：[root@master ~]# source /etc/profile2.创建执行文件，添加启动服务[root@master ~]# vim start_kafka....
原创
2021-06-04 18:59:44
1674阅读
Flink程序连接Kafka没输出也不报错本人最近在使用Kafka作为数据源输出数据到Flink时遇到一个问题，那就是既没有结果输出，也没有报错代码如下package Sourceimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.stream
原创
2022-03-30 14:44:43
3706阅读
## 如何实现Flink连接Kafka的Java代码
### 一、整体流程
首先，我们需要了解整个连接Flink和Kafka的流程，下面是具体步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 创建Flink环境 |
| 2 | 创建Kafka连接 |
| 3 | 定义数据源 |
| 4 | 处理数据 |
### 二、具体步骤
#### 1. 创建Flink环境
首
原创
2024-03-09 05:29:47
132阅读
前面介绍了读取 state，这篇笔记介绍下 state 是如何触发写入的。1. Why考虑订阅 Kafka 写 HBase 的场景：写入 HBase 时，为了获取最大的写入性能，可能会先缓存到内存然后批量写入消费 Kafka 时，需要记录当前的 offsets，方便重启时继续消费。因此，就需要有数据同步的机制，在上传 kafka 的 offsets 前，确保 hbase 收到了全部数据并且将内存的
转载
2023-08-28 16:07:00
241阅读
flink大多使用scala编程，函数编程和java有很多不同，代码需要更多scala的基础知识，本文总flink 使用的scala的基础知识，包含flink常用函数总结函数型编程知识分类 一，类/方法/常量 1类定义 object 单例模型 trait 子类必须实现父类方法 abstract 支持结构体 2变量 var 可修改 val 是final 不支持修改 弱类型，会根据赋值变换 3 对象/
转载
2024-04-15 09:44:16
106阅读
Transformation顶层类Function
map ==> MapFunction
filter ==> FilterFunction
xxx ==> XxxFunction
RichXxxFunction *****Streaming编程这次我们们来看看Flink的Source和Sink，Flink支持向文件、socket、集合等中读
转载
2024-05-09 15:15:38
379阅读
Flink学习-DataStream-KafkaConnector摘要本文主要介绍Flink1.9中的DataStream之KafkaConnector，大部分内容翻译、整理自官网。以后有实际demo会更新。可参考kafka-connector如果关注Table API & SQL中的KafkaConnector，请参考Flink学习3-API介绍-SQL1 Maven依赖FlinkKaf
转载
2024-03-19 02:42:02
40阅读
Flink的Checkpoint和savepoint的区别和作用一、Flink的checkpointflink的checkpoint是异步的、分布式的、轻量级的，将同一时间点的task/operator的状态数据全局统一快照处理，包括用户自定义的keyed state和operator state 当未来程序出现问题，可以基于保存的快照容错。checkpoint的原理A：flink会在输入的数据集
转载
2024-02-20 10:38:34
78阅读
前言之前有文章 《Flink 写入数据到 Kafka 写过 Flink 将处理后的数据后发到 Kafka 消息队列中去，当然我们常用的消息队列可不止这一种，还有 RocketMQ、RabbitMQ 等，刚好 Flink 也支持将数据写入到 RabbitMQ，所以今天我们就来写篇文章讲讲如何将 Flink 处理后的数据写入到 RabbitMQ。前提准备安装 RabbitMQ这里我直接用 doc
转载
2024-03-22 08:34:07
90阅读
Flink提供了Exactly once特性，是依赖于带有barrier的分布式快照+可部分重发的数据源功能实现的。而分布式快照中，就保存了operator的状态信息。 Flink的失败恢复依赖于 检查点机制 + 可部分重发的数据源。 检查点机制机制：checkpoint定期触发，产生快照，快照中记录了：当前检查点开始时数据源（例如Kafka）中消息的offset。记
转载
2024-02-28 19:55:23
34阅读
