文章目录7. 处理函数7.1 基本处理函数（ProcessFunction）7.1.1 处理函数的功能和使用7.1.2 ProcessFunction 解析7.1.3 处理函数的分类7.2 按键分区处理函数（KeyedProcessFunction）7.2.1 定时器（Timer）和定时服务（TimerService）7.2.2 KeyedProcessFunction 的使用7.3 窗口处理函
转载
2024-03-18 14:02:50
78阅读
本文会主要讲三种udf：ScalarFunctionTableFunctionAggregateFunction 用户自定义函数是非常重要的一个特征，因为他极大地扩展了查询的表达能力。本文除了介绍这三种udf之外，最后会介绍一个redis作为交互数据源的udf案例。注册用户自定义函数 在大多数场景下，用户自定义函数在使用之前是必须要注册的。对于Sc
转载
2024-06-21 17:30:38
79阅读
背景信息Canal是一个CDC（ChangeLog Data Capture，变更日志数据捕获）工具，可以实时地将MySQL变更传输到其他系统。Canal为变更日志提供了统一的数据格式，并支持使用JSON或protobuf序列化消息（Canal默认使用protobuf）。支持Canal格式的连接器有消息队列Kafka和对象存储OSS。Flink支持将Canal的JSON消息解析为INSERT、UP
转载
2024-08-01 15:21:19
274阅读
前言一年一度的双11马上就要到了，阿里的双11销量大屏可以说是一道特殊的风景线。酷炫的实时大屏(real-time dashboard)也正在被越来越多的企业采用，用来及时呈现关键的数据指标。并且在实际操作中，肯定也不会仅仅计算一两个维度。由于Flink的“真·流式计算”这一特点，它比Spark Streaming要更适合大屏应用。本文从笔者的实际工作经验抽象出简单的模型，并简要叙述计算流程(当然
转载
2024-06-21 09:41:28
398阅读
一、Flink 简介 Flink是一个分布式的流处理框架，它能够对有界和无界的数据流进行高效的处理。Flink的核心是流处理，当然它也支持批处理，Flink将批处理看成为流处理的一种特殊情况，即数据流也是有明确界限的。这和Spark Streaming是思想是相反的，Spark Streaming的核心是批处理，它将流处理看成批处理的一种特殊情况，即把数据流进行极小粒度的拆分，拆分为多个微批处理。
转载
2024-02-22 14:28:50
72阅读
在 Flink 1.10 的 Table API 和 SQL 中，表支持的格式有四种：CSV Format
JSON Format
Apache Avro Format
Old CSV Format官网地址如下：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/connect.html#table-form
转载
2023-07-11 17:30:21
736阅读
一、基础概念：批处理：持续收取数据，以时间作为划分多个批次的依据，再周期性地执行批次运算。（块状的划分） 不足：如果事件转换跨越了所定义的时间划分，传统批处理会将中介运算结果带到下一个批次进行计算；除此之外，当出现接收到的事件顺序颠倒情况下，传统批处理仍会将中介状态带到下一批次的运算结果中。流处理：假设有一个无穷无尽的数据源在持续收取数据，以代码作为数据处理的基础逻辑，数据源的数据经过代码处理后产
转载
2024-05-03 13:04:30
35阅读
1. Apache Flink 介绍Apache Flink 是近年来越来越流行的一款开源大数据计算引擎，它同时支持了批处理和流处理，也能用来做一些基于事件的应用。使用官网的一句话来介绍 Flink 就是 “Stateful Computations Over Streams”。首先 Flink 是一个纯流式的计算引擎，它的基本数据模型是数据流。流可以是无边界的无限流，即一般意义上的流处理。也可以
转载
2024-04-26 09:29:12
39阅读
1、简单转化算子(map,flatmap,filter这些)datastream和keyedStream都可以有，但是datastream没有聚合算子，只有keyedStream才有。键值转换后的才有滚动聚合算子sum(),min(),max() ,minBy(),maxBy()，reduce()2、键值转换后的才有滚动聚合算子sum(),min(),max() ,minBy(),maxBy()m
转载
2024-03-29 06:49:20
41阅读
这一篇很难懂，我也不懂。有状态流处理虽然数据流中的许多操作一次只查看一个单独的事件（例如事件解析器），但有些操作会记住多个事件的信息（例如窗口操作符）。这些操作称为有状态的。有状态操作的一些示例：当应用程序搜索某些事件模式时，状态将存储到目前为止遇到的事件序列。当聚合每分钟/小时/天的事件时，状态持有待处理的聚合。在数据点流上训练机器学习模型时，状态保存模型参数的当前版本。当需要管理历史数据时，状
转载
2024-03-25 12:58:44
50阅读
概述Flink是一个用于对无界和有界数据流进行有状态计算的框架。Flink在不同的抽象级别提供多个API，并为常见用例提供专用库。流媒体应用程序的构建块可以由流处理框架构建和执行的应用程序类型由框架控制流，状态和时间的程度来定义。在下文中，我们描述了流处理应用程序的这些构建块，并解释了Flink处理它们的方法。流显然，流是流处理的一个基本方面。但是，流可以具有不同的特征，这些特征会影响流的处理方式
转载
2024-04-25 21:07:04
21阅读
-----------更新说明----------突然就想水一篇博客，刚好说明一下这段时间基本没有更新的问题。简单介绍下我的职业生涯，大家有留意的话，可以在上看到，我的博客是从2015年11月开始的，公众号则是去年才有的。我15年毕业，就职某外企Java开发，17年进入某曾经很知名的公司做大数据离线（抬高一点，还负责离线报表的前后端/数据库/接口等），18年底以外包的身份进入某互联网大
二、流处理，批处理珠联璧合1.同一个运行时环境，同时支持流处理，批处理1.flink的一套runtime环境，统一了流处理，批处理，两大业务场景
2.flink本质是一个流处理系统，同时它将批处理看出特殊的流处理，因此也能应付批处理的场景
注意：
1.这与spark相反，spark本质是一个批处理系统，它将流处理看成特殊的批处理的。
2.spark-streaming本质是mirc-batch，
转载
2024-01-08 13:30:21
44阅读
数据架构设计领域发生了重大的变化，基于流的处理是变化的核心。分布式文件系统用来存储不经常更新的数据，他们也是大规模批量计算所以来的数据存储方式。批处理架构（lambda架构）实现计数的方式：持续摄取数据的管道（flume）每小时创建一个文件，由调度程序安排批处理作业分析最近生成的文件，然后输出计数结果。该架构缺点：1.组件多，设计管道、调度、作业程序，学习成本、管理成本大 2.修改分析时间周期不方
转载
2023-11-16 20:27:56
122阅读
Flink一览什么是FlinkApache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink
转载
2024-03-19 10:40:56
53阅读
Flink简介Apache Flink是一个开源的分布式、高性能、高可用的流处理框架。主要有Java代码实现，支持scala和java API。支持实时流（stream）处理和批（batch）处理，批数据只是流数据的一个极限特例。Flink原生支持了迭代计算、内存管理和程序优化。 Flink、Spark和Storm对比Flink、Spark Streaming、Storm、Storm T
转载
2023-07-11 17:47:26
269阅读
Flink入门基础编程框架wordcount批处理版本wordcount流处理版本Flink基本APIExecutionEnvironmentLazy EvaluationSpecifying KeysSpecifying Transformation Functions使用lambda function自定义FunctionRich Function代码Function体系结构 基础编程框架不
同样的算子其输出结果在（批/流）中的不同表现行为摘要1.流处理和批处理的api2.DataSet批处理reduce3.DatStream3.1 DatStream流处理reduce3.2 DatStream批处理reduce4.分析结果5.我们重点来分析流处理结果：6.总结 摘要流处理和批处理很多算子基本都是一样的，比如reduce,map,flatMap等等。但是有些时候流处理和批处理同样的算
转载
2023-12-07 03:39:56
70阅读
目录一、统计单词个数Flink 批处理程序的一般流程统计单词个数将程序打包，提交到 yarn二、输入数据集 Data Sources1 基于本地集合的 source（Collection-based-source）2 基于文件的 source（File-based-source）2.1、读取本地文件2.2 读取 HDFS 数据2.3 读取 CSV 数据2.4 读取压缩文件2.5 基于文件的 sou
转载
2024-07-24 13:08:30
213阅读
目录Flink前言1、flink和spark本质的区别2、流处理和批处理3、无界流和有界流4、实时计算需要考虑的问题Flink简介1、什么是Flink2、Flink的特征3、Blink--基于Flink开发的一个分支4、Flink技术栈5、Flink APIs6、数据流编程模型7、Flink的代码结构Flink前言Flink和spark的功能很相似，spark能做的flink也能做，flink能做
转载
2023-11-29 06:11:28
974阅读
