flink的 scala shell命令行交互模式开发flink带有一个集成的scala shell命令行。它可以以本地方式启动来模拟集群集群。执行下面的命令就可以通过shell命令行和flink集群交互(这种方式方便于代码调试)：bin/start-scala-shell.sh local如果想在集群上面运行scala shell，请查看本节后面的内容。 flink scala she
转载
2019-08-31 19:18:00
60阅读
Flink状态管理Flink状态管理Flink中的状态有状态的算子和应用程序算子状态键控状态（keyed state）键控状态的代码实现状态编程实例Flink状态管理Flink中的状态由一个任务维护，并且用来计算某个结果的所有数据，都属于这个任务的状态可以认为状态就是一个本地变量
原创
2022-04-27 21:34:42
1128阅读
1 前言公司有一个项目整体的架构是要消费kafka数据并存入数据库，以前选用的工具是spark streaming，最近flink已经变得比较流行了，所以也尝试一下flink消费数据与spark streaming的区别。首先来简单了解一下flink，它具有了流计算和批处理功能。它可以处理有界数据和无界数据，也就是可以处理永远生产的数据。具体的细节我们不讨论，我们直接搭建一个flink功能。总体的
转载
2023-05-18 11:45:38
143阅读
Flink流处理APIEnvironmentSource从集合读取数据从文件读取数据从Kafka读取数据自定义Source转换算子Transform简单的转换算子（Map、FlatMAp和Filter）键控流的转换算子（keyBy、滚动聚合和reduce）多流的转换算子（Split、select、connect、CoMap
原创
2022-03-30 18:05:30
1135阅读
//SeqLike def diff[B >: A](that: GenSeq[B]): Repr = {
val occ = occCounts(that.seq)
val b = newBuilder
for (x <- this) {
val ox = occ(x) // Avoid multiple map lookups
if (ox == 0)
转载
2021-05-31 17:05:15
42阅读
window APIwindow APIWindow 概述window窗口的分类Window的使用测试window APIWindow 概述streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限 数据集是指一种不断增长的本质上无限的数据集，而window 是一种切割无限数据 为有限块进行处理的手段。
原创
2022-04-27 21:33:37
313阅读
Flink也和和spark-shell类似的交互式开发模式 bin/start-scala-shell.sh yarn Starting Flink Shell: 20/03/14 14:34:07 INFO configuration.GlobalConfiguration: Loading co
转载
2020-03-14 14:52:00
148阅读
2评论
在原来的flink java项目的基础上新建一个名为scala的包 再新建一个包 新建一个类，但是我们发现并没
原创
2022-06-17 22:34:49
301阅读
我们都知道Flink在流式处理上性能强大，且很好地支持ExactlyOnce语义；且这也是Flink核心的技术点，所以成为面试官喜欢追问的一个话题：Flink恰巧语义一次消费，怎么保证？ 在这个思维导图进行了详细的描述及说明。欢迎阅读及下载超全干货--Flink思维导图，花了3周左右编写、校对上述思维导图中也进行了详细地描述：Flink_思维导图（干货）.xm
转载
2024-04-29 12:17:14
53阅读
罗列Flink基础相关的题。1：请介绍一下 Flink。考察我们队 Flink 整体的掌握情况，我们应该从以下几个基本的概念入手。Flink 是大数据领域的分布式实时和离线计算引擎，其程序的基础构建模块是流（Streams）和转换（Transformations），每一个数据流起始于一个或多个 Source，并终止于一个或多个 Sink。数据流类似于有向无环图（DAG）。Fli
flink学习总结1.Flink是什么？ Apache Flink 是一个框架和分布式处理引擎，用于处理无界和有界数据流的状态计算。 2.为什么选择Flink？ 1.流数据更加真实的反映了我们的生活方式。 2.传统的数据架构是基于有限的数据集 3.Flink 可以做到 低延迟，高吞吐，结果的准确性和良好的容错性 3.Flink的主要特点： 1.事件驱动 2.基于流的
转载
2024-03-25 22:19:59
99阅读
scala RDD算子 文章目录 map mapPartitions mapPartitionsWithindex flatmap glom groupby filter
转载
2021-10-04 14:10:59
77阅读
控制结构和函数1.在Scala中，几乎所有构造出来的语法结构都有值。这个特性是为了使得程序更加精简，也更易读。 （1）if表达式有值 （2）块也有值——是它最后一个表达式的值 （3）Scala的for循环就像是“增强版”的Java for循环 （4）分号（在绝大多数情况下）不是必须的 （5）void类型是Unit （6）避免在函数定义中使用return （7）注意别在函数式定义中漏掉
转载
2023-12-05 15:47:46
32阅读
(1)小括号()用来表示优先级，传入函数参数序列，以及传入容器的下标或key。(2)中括
原创
2022-08-26 15:25:44
99阅读
# 实现Scala Flink UDF方法
## 引言
在Flink中，用户定义的函数（User Defined Function，简称UDF）用于处理输入数据流中的每个元素。UDF可以是简单的转换函数，也可以是复杂的计算逻辑。本文将介绍如何使用Scala实现Flink UDF方法。
## 整体流程
下面是实现Scala Flink UDF方法的整体流程：
| 步骤 | 描述 |
| ---
原创
2023-07-04 13:17:25
196阅读
val buf = new scala.collection.mutable.ArrayBuffer[Int] for (i <- 0 to 10) { buf += i } buf += 11 buf.foreach(u =>println(u + "\t")) val bufPerson = n
转载
2016-04-28 16:07:00
93阅读
2评论
1 package chapter07 2 3 object Test14_HighLevelFunction_Map { 4 def main(args: Array
原创
2022-09-05 15:59:19
306阅读
运行环境：jdk1.7、scala-2.10.4简单的for操作：package study//内建控制结构yiledobject TestYield { //程序入口 def main(args: Array[String]): Unit = { Test3() } case class Test3() { var filename = (new java.io.File("
原创
2022-11-03 14:31:44
95阅读
背景说明 线上业务反应使用 Flink 消费上游 kafka topic 里的轨迹数据出现 backpressure，数据积压严重。单次 bulk 的写入量为：3000/50mb/30s，并行度为 48。针对该问题，为了避免影响线上业务申请了一个与线上集群配置相同的 ES 集群。本着复现问题进行优化就能解决的思路进行调优测试。 测试环境 Elasticsearch 2.3.3Flink 1
转载
2024-01-27 19:58:58
132阅读
本文学习于尚硅谷的视频：B站视频Flink的简介和项目的搭建初识FlinkFlink的重要特点事件驱动型流与批的世界观分层API项目的搭建批处理批处理
初识FlinkFlink 起源于 Stratosphere项目，Stratosphere是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一
原创
2022-03-30 18:07:32
349阅读
