调试Local模式下带状态的Flink任务Flink版本: 1.8.0Scala版本: 2.11Github地址：https://github.com/shirukai/flink-examples-debug-state.git在本地开发带状态的Flink任务时，经常会遇到这样的问题，需要验证状态是否生效？以及重启应用之后，状态里的数据能否从checkpoint的恢复？首先要明确的是，Flink
转载
2024-03-23 11:03:55
379阅读
RPC分布式系统离不开RPC远程调用，本文首先理一下什么是RPC。1.java本地方法调用假设你有一个Calculator，那么单体应用时，要调用Calculator的add方法来执行一个加运算，你可以方法中直接使用，因为在同一个地址空间，或者说在同一块内存，这个称为本地函数调用。java的本地方法调用中，每个方法会作为java虚拟机栈中的一个栈帧放入到java虚拟机栈中，方法调用的时候执行入栈操
转载
2024-06-13 19:37:05
62阅读
1、环境准备首先，准备 python 虚拟环境。2020年11月3日时的 pyflink 的最高版本为 1.11.2，请开发者按照实际需要或者线上环境要求来指定 pyflink 版本。wget https://ci.apache.org/projects/flink/flink-docs-release-1.11/downloads/setup-pyflink-virtual-env.sh
sh
转载
2024-04-08 14:42:05
86阅读
Flink完全分布式集群安装 - 知乎过程中有很多问题需要摸索，遇到问题请参考上述文档。1.1本地模式部署1.1.1 将压缩包解压[root@master root]# tar -zxvf flink-1.9.1-bin-scala_2.11.tgz -C /usr/local/1.1.2 创建软连接（文件名太长操作不方便，就是改个名）[root@master local]# ln -s flin
转载
2024-05-27 12:34:14
187阅读
什么是Cep？在流式数据中（事件流），筛选出符合条件的一系列动作（事件）【复杂事件处理】什么是 Flink-Cep？Flink Cep库Api 【实时操作】官方文档什么是Pattern？Pattern就是Cep里的规则制定Pattern分为个体模式，组合模式（模式序列）和模式组模式组是将组合模式作为条件的个体模式Cep开发流程DataStream 或 Keyedstream
定义规则(Patter
转载
2024-07-03 04:24:11
43阅读
一、错误日志2022-08-30 03:14:45
org.apache.flink.streaming.runtime.tasks.AsynchronousException: Caught exception while processing timer.
at org.apache.flink.streaming.runtime.tasks.StreamTask$StreamTask
转载
2024-04-28 11:53:03
125阅读
1. 执行环境Flink 程序可以在各种上下文环境中运行：我们可以在本地 JVM 中执行程序，也可以提交 到远程集群上运行。不同的环境，代码的提交运行的过程会有所不同。这就要求我们在提交作业执行计算时，首先必须获取当前 Flink 的运行环境，从而建立起与 Flink 框架之间的联系。只有获取了环境 上下文信息，才能将具体的任务调度到不同的 TaskManager 执行。1. 1 创建执行环境创建
转载
2024-04-26 18:40:37
134阅读
点击这里查看 Flink 1.13 源码解析 目录汇总点击查看相关章节：Flink 1.13 源码解析——JobManager启动流程概览点击查看相关章节：Flink 1.13 源码解析——JobManager启动流程 WebMonitorEndpoint启动点击查看相关章节：Flink 1.13 源码解析——JobManager启动流程之ResourceManager启动目录一、前言：二、Dis
转载
2024-05-08 17:31:42
100阅读
## 从Flink到Hive：本地数据处理的完美组合
在大数据处理中，Flink和Hive是两个非常重要的工具。Flink是一个流处理引擎，可以处理实时数据流，而Hive是一个数据仓库，用于存储和查询大规模数据集。结合Flink和Hive可以实现数据的实时处理和存储，为企业提供更加强大的数据分析能力。
### Flink和Hive的优势
Flink是一种高性能、低延迟的流处理引擎，可以处理实
原创
2024-07-03 06:10:47
52阅读
目录本地模式(local)搭建下载flink安装包上传至虚拟机并解压配置环境变量启动flink并测试集群(standalone)模式搭建配置flink-conf.yaml和workers文件flink-conf.yaml文件workers文件masters文件分发集群启动flink集群启动jps查看进程测试集群!!!碰到的坑 本地模式(local)搭建下载flink安装包https://down
转载
2024-06-19 20:02:53
650阅读
本文将带领大家一起体验一下 Flink 的计算引擎，不需要写代码。没有代码基础有没有关系，只需要按部就班跟着文档的步骤走就可以了。如果还有我没有讲清楚的地方，欢迎留言交流~本地搭建先在本地搭建一个 Flink 环境，官方上给了三个平台的教程，对于大部分人来说，装一个单机版就可以了。不需要在本地搞集群，浪费资源，也没有必要啊。Flink 可以运行在 Linux，Mac OS X 和 Windows
转载
2024-03-25 11:05:13
398阅读
官方启动参数说明名称说明可选值是否必填默认值mode执行模式，也就是flink集群的工作模式1.local: 本地模式2.standalone: 独立部署模式的flink集群3.yarn: yarn模式的flink集群，需要提前在yarn上启动一个flink session，使用默认名称"Flink session cluster"4.yarnPer: yarn模式的flink集群，单独为当前任务
转载
2024-05-07 14:17:27
93阅读
Environment(执行环境) --> Source(数据源) --> Transform(转换操作) --> Sink(输出)创建环境之后，就可以构建数据处理的业务逻辑了，如上所示，下面主要学习Flink的源算子（Source）。想要处理数据，先得有数据，所以首要任务就是把数据读进来。 Flink可以从各种来源获取数据，然后构建DataStream进行转换处理。一般将数据
转载
2024-04-24 10:15:17
38阅读
MiniClusterStandaloneyarnyarn sessionyarn per jobapplication模式k8s其他MiniCluster这种模式我们一般是在用IDE调试程序的时候用到,当我们在本地用IDE开发程序的时候，执行main方法，flink会在本地启动一个包含jobmanager和taskmanager的进程的minicluster，程序运行完成之后，这个cluster
转载
2024-07-19 16:28:01
216阅读
Flink中的JDBC SQL ConnectorJDBC 连接器允许使用 JDBC 驱动程序从任何关系数据库读取数据并将数据写入数据。 本文档介绍如何设置 JDBC 连接器以针对关系数据库运行 SQL 查询。如果在 DDL 上定义了主键，则 JDBC sink 以 upsert 模式与外部系统交换 UPDATE/DELETE 消息，否则，它以 append 模式运行，不支持消费 UPDATE/D
转载
2023-10-19 12:31:32
176阅读
一、StreamGraph介绍在一个Flink流式应用中每个DataStream API调用都会被转换为一个Transformation，等StreamExecutionEnvironment.execute()方法开始执行时，每个Transformation会映射为一个StreamGraph。StreamGraph用来表达计算过程的连接逻辑，与应用具体执行过程无关。下图为一个StreamGrap
转载
2024-07-23 17:17:28
29阅读
flink 端到端数据一致性 两种方案 1、预写日志： StreamFileSink 2、2pc： 参考 FlinkKafkaProducer 3、幂等性：利用目标端数据库 的主键更新去重StreamFileSink源码分析 1、initializeState 创建bucket 2、invoke bucket写入数据 In-progress ：当前文件正在写入中 3、snapshotState 关
转载
2024-04-28 20:14:38
9阅读
一、Windows服务概述服务与进程Windows服务是指系统自动完成的，不需要和用户交互的过程，可长时间运行的可执行应用程序。这些服务可以在计算机启动时自动启动，可以暂停和重新启动而且不显示任何用户界面。这种服务非常适合在服务器上使用，或任何时候，为了不影响在同一台计算机上工作的其他用户，需要长时间运行功能时使用。还可以在不同于登录用户的特定用户帐户或默认计算机帐户的安全上下文中运行服务。进程是
转载
2024-03-19 22:15:30
82阅读
我们在系列文章第一篇已经为大家介绍了 Flink 的基本概念以及安装部署的过程，希望能够帮助读者建立起对 Flink 的初步印象。这是系列文章第二篇，主要面向于初次接触 Flink 或者对 Flink 有了解但是没有实际操作过的同学。希望帮助大家更顺利地上手使用 Flink，并着手相关开发调试工作。本文主要内容包括：Flink 开发环境的部署和配置运行 Flink 应用（包括：单机 Standal
Window & Time简介WindowFlink是一个天然支持无限流数据处理的分布式计算框架， 在 Flink 中 Window 可以将无限流切分成有限流，是处理有限流的核心组件，现在 Flink 中 Window 可以是时间驱动的（Time Window），也可以是数据驱动的（Count Window）。 无限数据集是指一种不断增长的本质上无限的数据集，而window是一种切割无限数
转载
2024-04-18 09:42:30
84阅读
