项目场景：本来想写一个windows下的Flink连接虚拟机中Kafka作为数据源的一个小Demo，但是在使用过程中出现了形形色色的问题，做一下记录问题描述首先是使用flink版本1.14.4版本flink-kafka版本1.11.4 在此版本中出现报错情况Recovery is suppressed by NoRestartBackoffTimeStrategy原因分析：这个地方我搜过很多原因，
转载
2023-12-14 07:23:00
1337阅读
一，背景公司需要用到flink和kafka来处理大数据，对于一个没有接触过这两个东西的40岁程序员，决定自学一下，用了两天的时间终于实现了flink和kafka的对接，目标就是要向kafka输入 "时间戳,温度,设备ID"，然后在flink里面按照时间戳分组，再按照设备ID计算的在一个时间段内的温度平均值。 二，运行环境window 10, kafka 2.1.1, flink 1.7.
转载
2024-03-01 15:52:11
308阅读
Timeout of 60000ms expired before the position for partition tv_log-1 could be determined
大概意思：消费kafka，在某个分区连接超时超时了60000ms这个时候首先要检查：C:\Windows\System32\drivers\etc\目录下的hosts是否添加了相应的映射信息。如果有，再逐一排查以下问题：
转载
2023-07-11 17:17:19
829阅读
引言 在很多领域，如股市走向分析, 气象数据测控，网站用户行为分析等，由于数据产生快，实时性强，数据量大，所以很难统一采集并入库存储后再做处理，这便导致传统的数据处理架构不能满足需要。流计算的出现，就是为了更好地解决这类数据在处理过程中遇到的问题。与传统架构不同，流计算模型在数据流动的过程中实时地进行捕捉和处理，并根据业务需求对数据进行计算分析，最终把结果保存或者分发给需要的组件。本文将从实时数
转载
2024-07-18 11:16:35
84阅读
环境准备经过1个月的摸索，最终选择在腾讯云上搭建一个学习环境。当时选择原因还是新用户有优惠(150左右3年)，但现在看1核2g的配置勉强够用，建议后续小伙伴选择时最好是2核4g配置。 由于是单节点安装，需要准备如下资源： 1、jdk1.8 2、zookeeper3.5.9 3、kafka_2.12-3.0.0 链接: 资源都整合在这里. 提取码：pbtwJDK安装找到jdk进行解压：配置环境变量v
转载
2024-07-17 13:21:50
342阅读
## 如何实现Flink连接Kafka的Java代码
### 一、整体流程
首先，我们需要了解整个连接Flink和Kafka的流程，下面是具体步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 创建Flink环境 |
| 2 | 创建Kafka连接 |
| 3 | 定义数据源 |
| 4 | 处理数据 |
### 二、具体步骤
#### 1. 创建Flink环境
首
原创
2024-03-09 05:29:47
132阅读
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实
Flink从kafka消息队列读取数据 1、首先要设置Flink的执行环境// 创建Flink执行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();2、设置Kafka相关参数，连接对应的服务器和端口号，读取名为Shakespeare的Topic中的数据源，将数据源命名为s
转载
2024-04-29 14:36:17
44阅读
前面介绍了读取 state，这篇笔记介绍下 state 是如何触发写入的。1. Why考虑订阅 Kafka 写 HBase 的场景：写入 HBase 时，为了获取最大的写入性能，可能会先缓存到内存然后批量写入消费 Kafka 时，需要记录当前的 offsets，方便重启时继续消费。因此，就需要有数据同步的机制，在上传 kafka 的 offsets 前，确保 hbase 收到了全部数据并且将内存的
转载
2023-08-28 16:07:00
241阅读
前言总结Flink读写KafkaFlink 版本1.15.4Table API本文主要总结Table API的使用（SQL），官方文档：https://nightlies.apache.org/flink/flink-docs-release-1.17/zh/docs/connectors/table/kafka/kerberos认证相关配置官方文档：https://nightlies.apach
转载
2024-08-07 10:30:27
172阅读
异常现象1按照以下方式设置backend目录和checkpoint目录，fsbackend目录有数据，checkpoint目录没数据env.getCheckpointConfig().setCheckpointStorage(PropUtils.getValueStr(Constant.ENV_FLINK_CHECKPOINT_PATH));
env.setStateBackend(new FsS
转载
2024-07-19 14:25:44
54阅读
本文是翻译作品，作者是Piotr Nowojski和Michael Winters。前者是该方案的实现者。2017年12月Apache Flink社区发布了1.4版本。该版本正式引入了一个里程碑式的功能：两阶段提交Sink，即TwoPhaseCommitSinkFunction。该SinkFunction提取并封装了两阶段提交协议中的公共逻辑，自此Flink搭配特定source和sink（特别是0
转载
2023-08-25 17:40:52
179阅读
一：背景我们项目中用到Flink的Java客户端 用来做数据处理 数据源：kafka 发送源：kafka 原来只有一个业务需求，可以理解为对mq消息中的一个字段做累计和。 现在又多了两个业务需求，可以理解为对mq消息的其他字段做累加和。 此时面临的问题是：flink 做完类似于 map filter keyby reduce 等算子操作时，是否只能为一个业务使用？
如果可以供多个业务使用数据源
转载
2023-11-28 01:08:01
76阅读
一、启动Kafka集群和flink集群环境变量配置（注：kafka 3台都需要设置，flink仅master设置就好）[root@master ~]# vim /etc/profile配置完执行命令：[root@master ~]# source /etc/profile2.创建执行文件，添加启动服务[root@master ~]# vim start_kafka....
原创
2021-06-04 18:59:44
1674阅读
Flink程序连接Kafka没输出也不报错本人最近在使用Kafka作为数据源输出数据到Flink时遇到一个问题，那就是既没有结果输出，也没有报错代码如下package Sourceimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.stream
原创
2022-03-30 14:44:43
3704阅读
Kafka作为分布式消息传输队列，是一个高吞吐、易于扩展的消息系统。而消息队列的传输方式，恰恰和流处理是完全一致的。所以可以说Kafka和Flink天生一对，是当前处理流式数据的双子星。在如今的实时流处理应用中，由Kafka进行数据的收集和传输，Flink 进行分析计算，这样的架构已经成为众多企业的首选：略微遗憾的是，与Kafka的连接比较复杂，Flink内部并没有提供预实现的方法。所以只能采用通
转载
2023-05-24 15:31:28
821阅读
一、启动Kafka集群和flink集群环境变量配置（注：kafka 3台都需要设置，flink仅master设置就好）[ro
原创
2022-02-16 14:38:32
6607阅读
Kafka介绍kafka背景一、 什么是kafka1.1 kafka基本术语1.2 kafka特性1.3 kafka使用场景1.4 kafka的topic为什么要分区？二、Kafka安装2.1 kafak启动2.2 kafka常见命令三、SpringBoot+Kafka3.1 依赖引入3.2 kafka配置3.3 生产者config3.4 消费者config3.5 注册topic并发送消息3.6
转载
2023-08-06 11:40:59
222阅读
要想Flink实现ExactlyOnce需要Source能够记录偏移量，Sink支持开启事务一、Source1、使用KafkaSource需要调用addSource方法，传入一个FlinkKafkaConsumer的实例2、FlinkKafkaConsumer类实现了FlinkKafkaConsumerBase，点到FlinkKafkaConsumerBase里面我们看到他有一个成员变量，这个成员
转载
2023-11-07 00:57:22
270阅读
目录1、添加POM依赖2、API使用说明3、序列化器3.1 使用预定义的序列化器3.2 使用自定义的序列化器4、容错保证级别4.1 至少一次 的配置4.2 精确一次 的配置5、这是一个完整的入门案例1、添加POM依赖Apache Flink 集成了通用的 Kafka 连接器，使用时需要根据生产环境的版本引入相应的依赖<!-- 引入 kafka连接器依赖-->
<
转载
2024-06-21 00:50:09
51阅读
