0x1 摘要最近业务要实时统计半小时维度的UV、PV数据,经过调研准备用Flink时间窗来实现,主要是Flink对eventTime的支持,可以做到更精准的统计,由于第一次尝试使用Flink,所以过程中遇到不少问题,记录下来方便后续查阅。0x2 执行计划输出JSON问题Flink对执行计划分析提供了支持,可以通过代码将执行计划打出来,并利用官网提供的图生成工具可以方便分析,通过env.getExe
转载
2024-06-05 11:50:28
86阅读
目录JavaFlink原理、实战、源码分析(一)JavaFlink原理、实战、源码分析(二)第八章 Flink 状态管理 主要内容Flink 中的状态算子状态(Operator State)算子状态数据结构键控状态(Keyed State)键控状态数据结构键控状态的使用状态后端(State Backends)选择一个状态后端第九章 ProcessFunction API(底层 API)9
Flink/Spark 如何实现动态更新作业配置由于实时场景对可用性十分敏感,实时作业通常需要避免频繁重启,因此动态加载作业配置(变量)是实时计算里十分常见的需求,比如通常复杂事件处理 (CEP) 的规则或者在线机器学习的模型。尽管常见,实现起来却并没有那么简单,其中最难点在于如何确保节点状态在变更期间的一致性。目前来说一般有两种实现方式:轮询拉取方式,即作业算子定时检测在外部系统的配置是否有变更
转载
2024-04-18 11:13:31
188阅读
文章目录Flink集群部署centos71 模板虚拟机环境准备1.1 安装epel-release1.2 linux 安装的是最小系统则安装一下插件1.3 关闭防火墙,关闭防火墙开机自启1.4 创建一个用户develop1.5 配置develop用户具有root权限,方便后期加sudo执行root权限的命令1.6 在/opt目录下创建文件夹,并修改所属主和所属组1.7 卸载虚拟机自带的JDK1.
Flink基本介绍特点1 基于事件驱动2 无界有状态的数据流
3 分层API4 支持事件时间和处理时间语义
精确一次的状态一致性保证
低延迟,毫秒级延迟
与众多常用存储系统的连接
高可用,动态扩展,实现7*24小时全天运行Spark和FlinkFlink Yarn工作模式1 Session-cluster 模式 2 Per-Job-Cluster 模式运行时架构运行时组件JobMana
转载
2024-07-24 12:46:14
143阅读
一、下载 Gradle 工具、二、安装 Groovy、三、配置 Groovy 环境变量、
原创
2022-03-07 15:14:25
1799阅读
在Groovy脚本里面,集合Collection可以理解为泛指Map和List。List的定义:def list = [1, 2, 'hello', new java.util.Date()]assert list.size() == 4assert list.get(2) == 'hello'assert list[2] == 'hello'Map的定义:def map = ['name':'James', 'location':'London']assert map.size()
转载
2012-05-27 08:49:00
243阅读
2评论
1 前言 Groovy 是一种基于 JVM 平台的敏捷且动态的编程语言,能与 Java 无缝集成。该语言由 James Stracham 和 Bob McWhirter 于 2003 年启动开发,在 2007 年 1 月发布第一个版本。 Groovy 具有以下优势。 简洁优雅的语法:Groo ...
概述Groovy 是一种基于Java平台的面向对象语言。Groovy 的语法和 Java 非常的相似,可以使用现有的 Java 库来进行 Groovy 开发。可以将它想像成 Java 语
转载
2021-11-16 14:29:08
2429阅读
Groovy类会编译成Java的bytecode,也就是说,Groovy类和Java类之间是一对一的映射关系。每一个Groovy类都可以在Java代码中被使用,因为Groovy类也是一个Java类。 Groovy List的使用:def list = [1, 2, 'hello', new java.util.Date()]assert list.size() == 4assert list.ge
转载
2012-05-26 13:07:00
245阅读
2评论
Groovy脚本文件是一个包含了很多语句和类的文字文件。同其它脚本语言一样,也有多种方法可以运行Groovy脚本文件。 在Groovy安装目录(D:\develop\groovy-1.8.6)下新增文件foo\hello.groovy,内容如下:println "Hello, World";for (arg in this.args) { println "Argument:" + arg;}
转载
2012-05-26 12:50:00
180阅读
介绍 闭包闭包是可以引用外部上下文的一系列语句。可以将闭包赋值给一个变量,并在稍候执行。每个闭包都有一个返回值,默认的返回值就是闭包最后一行语句的结果
原创
2022-10-17 09:49:36
82阅读
Groovy 概述由 lichiabor 创建,youj 最后一次修改 2016-12-12Groovy是一种基于Java平台的面向对象语言。 Groovy 1.0于2007年1月2日发布,其中Groovy 2.4是当前的主要版本。 Groovy通过Apache License v 2.0发布。Groovy的特点Groovy中有以下特点:同时支持静态和动态类型。支持运算符重载。本地语法列表和关联数...
原创
2021-07-16 14:22:47
296阅读
JSON解析JSON在互联网应用中越来越多的承担起客户端服务器之间的通信数据格式,相对XML等数据根式它的内容更加紧凑,占用的带宽更低,很受开发者的青睐。Groovy中生成Json和解析Json为对象都非常简单,生成Json只需要将对象传递给JsonOutput的toJson方法,解析Json语句的时候调用JsonSlurper.pareseXXX()方法。class Person {
S
转载
2023-11-23 22:51:33
309阅读
为了了解 Groovy 的基本语法,让我们先看看一个简单的 Hello World 程序class Example {
static void main(String[] args) {
println('Hello World');
}
}当我们运行上面的程序,我们会得到结果 Hello World在 Groovy 中导入语句import 语句可以用来导入,可以让你的
转载
2023-09-19 08:47:58
0阅读
面向对象官方文档:Object orientation1.数据类型 Types1.1基本数据类型 Primitive typesGroovy支持Java语言规范中定义的所有的基本数据类型:整数类型:byte(8 bit),short(16 bit),int(32 bit)和long(64 bit)浮点型: float(32 bit)和double(64 bit)boolean型(true 或fal
转载
2023-12-14 20:10:49
103阅读
1.Groovy 是没有类型的Java,所以定义变量的时候可以不指定类型,Groovy 会根据对象的值来判断其类型.
1. def str = "Hello world"
2. println str.class 2.通过Groovy进行循环 在Groovy中,for循环变得更简洁,更易阅读。首先,范围的定义方式更加简洁:0..4表明包含整数0,
转载
2023-12-14 22:34:34
218阅读
Groovy 基本语法
Groovy 是一种动态类型的 JVM 敏捷开发语言,基本的语法和 Java 十分相似,很多关键字直接使用 Java 的关键字,如:import 导入类,//、/**/ 标记注释,使用和 Java 类似运算符 等等;
一个基本的示例
Helloworld.groovyclass HelloWorld {
static void main(String
转载
2023-08-23 14:49:54
178阅读
一、概述:Groovy是一种基于Java平台的面向对象语言。在Groovy中,如在任何其他面向对象语言中一样,存在类和对象的概念以表示编程语言的对象定向性质。Java和Groovy的语法非常相似。Groovy 可以与 Java 语言无缝对接,在写 Groovy 的时候如果忘记了语法可以直接按Java的语法继续写,也可以在 Java 中调用 Groovy 脚本,都可以很好的工作,这有效的降低了 Ja
转载
2023-07-24 08:03:04
275阅读
ent syntax for handling lists and maps, reminiscent of Java's
转载
2017-10-30 19:54:00
83阅读
2评论