flink的 scala shell命令行交互模式开发flink带有一个集成的scala shell命令行。它可以以本地方式启动来模拟集群集群。执行下面的命令就可以通过shell命令行和flink集群交互(这种方式方便于代码调试)：bin/start-scala-shell.sh local如果想在集群上面运行scala shell，请查看本节后面的内容。 flink scala she
转载
2019-08-31 19:18:00
60阅读
Flink状态管理Flink状态管理Flink中的状态有状态的算子和应用程序算子状态键控状态（keyed state）键控状态的代码实现状态编程实例Flink状态管理Flink中的状态由一个任务维护，并且用来计算某个结果的所有数据，都属于这个任务的状态可以认为状态就是一个本地变量
原创
2022-04-27 21:34:42
1128阅读
1 前言公司有一个项目整体的架构是要消费kafka数据并存入数据库，以前选用的工具是spark streaming，最近flink已经变得比较流行了，所以也尝试一下flink消费数据与spark streaming的区别。首先来简单了解一下flink，它具有了流计算和批处理功能。它可以处理有界数据和无界数据，也就是可以处理永远生产的数据。具体的细节我们不讨论，我们直接搭建一个flink功能。总体的
转载
2023-05-18 11:45:38
143阅读
1. Flink 的开发环境我们这里Flink 选择的是 Apache Flink 1.9.1 版本，是目前最新的稳定版本，并且兼容性比较好。下载地址：https://flink.apache.org/zh/downloads.html1) 开发工具先说明一下开发工具的问题。官方建议使用 IntelliJ IDEA，因为它默认集成了 Scala和 Maven 环境，使用更加方便，当然使
转载
2023-08-20 18:14:53
368阅读
Flink流处理APIEnvironmentSource从集合读取数据从文件读取数据从Kafka读取数据自定义Source转换算子Transform简单的转换算子（Map、FlatMAp和Filter）键控流的转换算子（keyBy、滚动聚合和reduce）多流的转换算子（Split、select、connect、CoMap
原创
2022-03-30 18:05:30
1135阅读
**在Flink开发中使用Java还是Scala**
在Flink开发中，使用Java还是Scala是一个常见的问题。虽然两者都是很好的选择，但在实际应用中有一些区别。下面我将详细介绍在Flink开发中使用Java和Scala的区别，并且给出代码示例来说明如何选择合适的开发语言。
**Flink开发流程**
在Flink开发中，无论是使用Java还是Scala，通常的开发流程如下：
| 步
原创
2024-05-23 11:31:18
103阅读
最近碰到一个很有意思的问题，Flink到底用什么语言开发？Scala还是Java？国内部分程序员对scala开发flink好像存在着偏见或者是迷茫，一般是因为你能找到的flink项目大多是java写的。想要弄明白这个问题，首先要知道这个问题为什么会发生，作者在网上查看了相关的词条，并且根据开发经验，大致总结了一下对这个事情的个人看法。首先这个问题牵扯了一部分spark，2009年的时候spark作
转载
2023-05-30 21:12:39
137阅读
//SeqLike def diff[B >: A](that: GenSeq[B]): Repr = {
val occ = occCounts(that.seq)
val b = newBuilder
for (x <- this) {
val ox = occ(x) // Avoid multiple map lookups
if (ox == 0)
转载
2021-05-31 17:05:15
42阅读
window APIwindow APIWindow 概述window窗口的分类Window的使用测试window APIWindow 概述streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限 数据集是指一种不断增长的本质上无限的数据集，而window 是一种切割无限数据 为有限块进行处理的手段。
原创
2022-04-27 21:33:37
313阅读
Flink作为近几年甚是火爆的数据实时处理框架，吸引了一大批程序员的学习，更是凭借着流批一体化，高效实时数据计算，尤其是在数据量特别大的情况下，每秒钟的数据处理量高达7TB，受到了一大批企业的青睐，纷纷将Flink作为日常实时计算的核心。对于我们大数据程序员来说，掌握Flink也是我们的基本技能，尤其是现在的很多企业，对于实时的要求越来越高，所以在这里，我将学习Flink的全部过程记录下来，一方面
转载
2023-08-18 16:47:21
566阅读
Flink也和和spark-shell类似的交互式开发模式 bin/start-scala-shell.sh yarn Starting Flink Shell: 20/03/14 14:34:07 INFO configuration.GlobalConfiguration: Loading co
转载
2020-03-14 14:52:00
148阅读
2评论
在原来的flink java项目的基础上新建一个名为scala的包 再新建一个包 新建一个类，但是我们发现并没
原创
2022-06-17 22:34:49
301阅读
第一章 Flink简介前言大家好, 我是上白书妖!
知识源于积累,登峰造极源于自律
今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正Flink简介Flink 是一种流式计算框架,Flink其中一半是java语言开发的,另一半是scala语言开发的;spark的源码是scala语言开发的.推荐一些博客Apache Flink 官网 https://flink
转载
2024-01-06 19:26:00
223阅读
kafka中的数据通常是键值对的，所以我们这里自定义反序列化类从kafka中消费键值对的消息，为方便大家学习，这里我实现了Java/Scala两个版本，由于比较简单这里直接上代码：一、Scala代码：1.自定义反序列化类：package comhadoop.ljs.flink010.kafkaimport org.apache.flink.api.common.typeinfo.{TypeHint
原创
2021-03-10 09:29:51
1534阅读
时间语义和Watermark时间语义Flink中的时间语义Event Time的引入Waterkmark（水位线）基本概念理解案例Watermark的导入自定义生成watermark时间语义Flink中的时间语义在Flink的流式处理中，会涉及到时间的不同概念，如下图所示：Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的 日志数据中，每一条日志都会记录自己的生成时间
原创
2022-04-27 21:31:27
307阅读
Process Function API（底层）Process Function API（底层）Keyed Process FunctionTimer Service和定时器（Timers）侧输出流（Side Output）Process Function API（底层）
原创
2022-04-27 21:31:42
518阅读
本文学习于尚硅谷的视频：B站视频Flink的简介和项目的搭建初识FlinkFlink的重要特点事件驱动型流与批的世界观分层API项目的搭建批处理批处理
初识FlinkFlink 起源于 Stratosphere项目，Stratosphere是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一
原创
2022-03-30 18:07:32
349阅读
flink大多使用scala编程，函数编程和java有很多不同，代码需要更多scala的基础知识，本文总flink 使用的scala的基础知识，包含flink常用函数总结函数型编程知识分类 一，类/方法/常量 1类定义 object 单例模型 trait 子类必须实现父类方法 abstract 支持结构体 2变量 var 可修改 val 是final 不支持修改 弱类型，会根据赋值变换 3 对象/
转载
2024-04-15 09:44:16
106阅读
文章目录Sourcemaven1.Collection2.File3.Kafka4.UDFSource1.fromCollection2.File3.Kafka4.UDFmaven <depen
原创
2022-05-26 01:34:41
274阅读
Table API和Flink SQL整体介绍API的调用执行环境的创建读取数据将 DataStream 转换成表数据的输出更新模式流处理中的特殊概念流处理和关系代数的区别动态表流式持续查询的过程将动态表转换成流时间特性处理时间（`rocessing Time`）事件时间（Event Time）整体介绍Flink 本身是批流统一的处理框架，所以Table API和 SQL
原创
2022-04-27 21:35:19
672阅读
