RPC分布式系统离不开RPC远程调用，本文首先理一下什么是RPC。1.java本地方法调用假设你有一个Calculator，那么单体应用时，要调用Calculator的add方法来执行一个加运算，你可以方法中直接使用，因为在同一个地址空间，或者说在同一块内存，这个称为本地函数调用。java的本地方法调用中，每个方法会作为java虚拟机栈中的一个栈帧放入到java虚拟机栈中，方法调用的时候执行入栈操
转载
2024-06-13 19:37:05
62阅读
Flink实现原理–流执行环境Flink可以支持批和流数据的计算。在实现层面的执行环境上，Flink有两套不同的类来实现批和流的执行环境。本文就来概要分析一下Flink的流执行环境。Flink的执行环境执行环境是对外的应用开发层面的概念，用户在实现Flink数据处理任务时，需要直接使用执行环境的对象和方法来对当前执行环境进行创建和配置。Flink提供了两套执行环境，一套是批执行环境，其父类是：Ex
转载
2023-10-13 21:43:25
104阅读
目录前言一、AI绘画是什么？二、Stable Diffusion简介二、部署步骤1.克隆代码2.部署环境3. 安装4 一些错误提示的排除总结前言 随着人工智能的不断发展，尤其是chatGPT的成熟，AI绘画也获得了热捧，甚至AI画的太空歌剧院（Midjourney所作）还获得了奖项。 由于
转载
2024-05-21 14:27:39
12阅读
1 Flink 和 storm,spark 对比要求消息投递语义为 Exactly Once 的场景；数据量较大，要求高吞吐低延迟的场景；需要进行状态管理或者窗口统计的场景，建议使用 flink2 入门案例创建空的 maven 工程<dependency>
<groupId>org.apache.flink</groupId>
转载
2024-03-05 09:33:50
0阅读
DataStream API 支持不同的运行时执行模式，你可以根据你的用例需要和作业特点进行选择。DataStream API 有一种”经典“的执行行为，我们称之为流（STREAMING）执行模式。这种模式适用于需要连续增量处理，而且预计无限期保持在线的无边界作业。此外，还有一种批式执行模式，我们称之为批（BATCH）执行模式。这种执行作业的方式更容易让人联想到批处理框架，比如 MapReduce
转载
2024-02-25 10:20:56
62阅读
Flink1.11发布了支持MySQLCDC（ChangelogDataCapture）可以直接解析Canal/Debezium格式的MySQLBinlog对于实时处理程序，MySQL的Binlog是很重要的数据源（上一个项目几乎所有实时数据都是来自业务系统的数据库，也就是MySQL，算上分库分表，接了上千个MySQL表的binlog）Flink1.11的CDC发布之后，第一时间就尝试了一下Can
原创
2021-02-07 15:05:05
1901阅读
CREATE TABLE t_stock_match_p_1( id VARCHAR, stkcode INT, volume INT, matchtime TIMESTAMP, WATERMARK FOR matchtime as matchtime) WITH ( 'connector' = 'kafka-0.10', 'topic' = 'xxx', 'scan.startup.mode' = 'latest-offset', 'properties.group
原创
2021-06-21 15:51:51
676阅读
CREATE TABLE t_stock_match_p_1( id VARCHAR, stkcode INT, volume INT, matchtime TIMESTAMP, WATERMARK FOR matchtime as matchtime) WITH ( 'connector' = 'kafka-0.10', 'topic' = 'xxx', 'scan.startup.mode' = 'latest-offset', 'properties.group
原创
2022-01-07 16:05:22
352阅读
1、环境准备首先，准备 python 虚拟环境。2020年11月3日时的 pyflink 的最高版本为 1.11.2，请开发者按照实际需要或者线上环境要求来指定 pyflink 版本。wget https://ci.apache.org/projects/flink/flink-docs-release-1.11/downloads/setup-pyflink-virtual-env.sh
sh
转载
2024-04-08 14:42:05
86阅读
调试Local模式下带状态的Flink任务Flink版本: 1.8.0Scala版本: 2.11Github地址：https://github.com/shirukai/flink-examples-debug-state.git在本地开发带状态的Flink任务时，经常会遇到这样的问题，需要验证状态是否生效？以及重启应用之后，状态里的数据能否从checkpoint的恢复？首先要明确的是，Flink
转载
2024-03-23 11:03:55
379阅读
Flink完全分布式集群安装 - 知乎过程中有很多问题需要摸索，遇到问题请参考上述文档。1.1本地模式部署1.1.1 将压缩包解压[root@master root]# tar -zxvf flink-1.9.1-bin-scala_2.11.tgz -C /usr/local/1.1.2 创建软连接（文件名太长操作不方便，就是改个名）[root@master local]# ln -s flin
转载
2024-05-27 12:34:14
187阅读
一、Apache Flink 的定义、架构及原理官方文档:Apache Flink 是一个分布式流批一体化的开源平台。Flink 的核心是一个提供数据分发、通信以及自动容错的流计算引擎。Flink 在流计算之上构建批处理，并且原生的支持迭代计算，内存管理以及程序优化。Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态或无状态的计算，能够部署在各种集群环境，对
转载
2024-02-20 22:36:33
68阅读
Flink的批处理Source
基于本地集合基于文件基于CSV基于压缩文件Flink的Transformation
mapflatmapfilterreducerebalanceFlink的Sink
写入集合写入文件Flink程序本地执行和集群执行Flink的广播变量Flink的累加器Flink的分布式缓存Flink 应用程序结构主要包含三部分,Source/Transforma
转载
2023-08-28 19:57:28
81阅读
Flink流处理的Source
基于集合基于文件基于Socket自定义数据源使用Kafka作为数据源使用MySql作为数据源Flink流处理的Transformation
keybyconnectsplit和selectFlink流处理的Sink
sink到kafkasink到mysqlFlink的Window操作
时间窗口计数窗口自定义窗口Flink的水印机制1. 输入数
转载
2023-12-06 20:52:11
38阅读
什么是Cep？在流式数据中（事件流），筛选出符合条件的一系列动作（事件）【复杂事件处理】什么是 Flink-Cep？Flink Cep库Api 【实时操作】官方文档什么是Pattern？Pattern就是Cep里的规则制定Pattern分为个体模式，组合模式（模式序列）和模式组模式组是将组合模式作为条件的个体模式Cep开发流程DataStream 或 Keyedstream
定义规则(Patter
转载
2024-07-03 04:24:11
43阅读
1、一个flink任务的不同状态我们先来简单看下，一个flink任务从创建到消亡会经历哪些状态。在启动一个Flink job的时候，可以从控制台看到job和task的多个状态的切换 Flink job的状态变化 在执行ExecutionMap期间，每个并行任务经历多个阶段，从创建到完成或失败。2、一个简单的flink任务//1. 构建执行环境
final StreamExecutionEn
转载
2024-05-09 12:35:23
55阅读
当前开发环境：eclipse、JDK1.8、Apache Flink1.13.01.声明当前内容主要为本人学习，内容主要来源官方文档当前内容主要为使用maven方式创建基于官方欺诈检测的demo修改数据来源为：随机数自定义的Sink来处理收集数据将maven项目打包并上传到flink中并执行查看最后的数据2.按照官方方式创建maven项目并实现修改1.使用官方命令方式创建maven项目(没有换行)
转载
2023-07-11 18:39:08
292阅读
前言先列举几个大佬们的写的 Flink 例子flink-examples这是官方给的例子，可用于理解、熟悉APIflink-training-exercisesFlink 背后的商业公司 DataArtisans，里面的例子不是很难，需要结合(training.ververica.com/)网站看demo对应实现的什么功能众所周知，Flink 相关的中文文档十分的有限，如果你觉得上面两个例子还是太
转载
2024-05-22 21:35:50
45阅读
版本flink 版本： Flink 1.12.5Scala版本：2.12Hudi版本：0.9.0将hudi-flink-bundle_2.12-0.9.0.jar放入flink的lib目录下。
原创
2022-01-07 14:36:16
2475阅读
版本flink 版本： Flink 1.12.5Scala版本：2.12Hudi版本：0.9.0将hudi-flink-bundle_2.12-0.9.0.jar放入flink的lib目录下。
原创
2021-09-28 17:58:37
6097阅读
