包括ElasticSearch的索引库的CRUD、以及中文分词、分页查询....
原创
2019-06-21 09:22:01
6511阅读
一、Scala语言与Java、Jvm的关系分析 Scala语言是马丁奥德斯基接触Java语言后，针对Java语言的特点，将函数式编程语言的特点融合到Java中，由此发明的。Scala语言和Java语言的；联系是十分紧密的。现在主流的JVM的Javac编译器就是马丁奥德斯基编写的，包括JDK1.5和JDK1.8。那么Scala和Java以及JVM之间有什么样的联系呢？我们来分析一下，如下图所示：&
转载
2023-05-29 12:44:46
54阅读
window APIwindow APIWindow 概述window窗口的分类Window的使用测试window APIWindow 概述streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限 数据集是指一种不断增长的本质上无限的数据集，而window 是一种切割无限数据 为有限块进行处理的手段。
原创
2022-04-27 21:33:37
310阅读
建表：// 创建kudu连接val kuduClient = new KuduClient.KuduClientBuilder("172.20.85.29:7051").build() // 设置表名val tableName = "kudu_test" // 创建列val colums = List[ColumnSchema]((new ColumnSchema.ColumnSc...
原创
2021-06-21 17:39:03
416阅读
建表：// 创建kudu连接val kuduClient = new KuduClient.KuduClientBuilder("172.20.85.29:7051").build() // 设置表名val tableName = "kudu_test" // 创建列val colums = List[ColumnSchema]((new ColumnSchema.ColumnSc...
原创
2022-03-28 17:38:22
466阅读
Table API和Flink SQL整体介绍API的调用执行环境的创建读取数据将 DataStream 转换成表数据的输出更新模式流处理中的特殊概念流处理和关系代数的区别动态表流式持续查询的过程将动态表转换成流时间特性处理时间（`rocessing Time`）事件时间（Event Time）整体介绍Flink 本身是批流统一的处理框架，所以Table API和 SQL
原创
2022-04-27 21:35:19
672阅读
Process Function API（底层）Process Function API（底层）Keyed Process FunctionTimer Service和定时器（Timers）侧输出流（Side Output）Process Function API（底层）
原创
2022-04-27 21:31:42
518阅读
Flink流处理APIEnvironmentSource从集合读取数据从文件读取数据从Kafka读取数据自定义Source转换算子Transform简单的转换算子（Map、FlatMAp和Filter）键控流的转换算子（keyBy、滚动聚合和reduce）多流的转换算子（Split、select、connect、CoMap
原创
2022-03-30 18:05:30
1135阅读
通过类型清单(manifests) and 类标签功能，Scala对于运行时的类型信息有着非常详细的概念。通常，Scala对象的类型和方法可以访问其泛型参数的类型，因此，Scala程序不会有Java程序那样的类型擦除问题。此外，Scala允许通过Scala的宏在Scala编译器中运行自定义代码，这意味着当你编译针对Flink的Scala API编写的Scala程序时，会执行一些Flink代码。...
原创
2021-07-12 14:37:52
205阅读
通过类型清单(manifests) and 类标签功能，Scala对于运行时的类型信息有着非常详细的概念。通常，Scala对象的类型和方法可以访问其泛型参数的类型，因此，Scala程序不会有Java程序那样的类型擦除问题。此外，Scala允许通过Scala的宏在Scala编译器中运行自定义代码，这意味着当你编译针对Flink的Scala API编写的Scala程序时，会执行一些Flink代码。...
原创
2021-07-12 14:37:52
94阅读
Javapjavap是JDK附带的一个工具，而不是JRE。它们之间还是有差别的。Javap反编译class文件，并且向你展示它里面放的是什么。使用起来很简单。 [local ~/projects/interop/target/scala_2. 8.1 /classes/com/twitter/interop]$ javap MyTrait
原创
2023-07-24 17:33:14
48阅读
Martin Odersky于2004年1月首先开发了通用编程语言Scala。我们可以与Java一起使用Scala。Scala转换为Java字节码并使用Java虚拟机。该名称源自可扩展性，可以随用户需求而增长。Sun Microsystems中的James Gosling于1995年5月开发了Java语言。Java是James在喝咖啡的同时给它的名字。Java是1995年排名前十的最佳产品之一。通
转载
2023-08-14 13:11:57
62阅读
自定义函数内置函数UDF注册用户自定义函数 UDF标量函数表函数聚合函数表聚合函数Flink Table和 SQL内置了很多 SQL 中支持的函数；如果有无法满足的需要，则可以实 现用户自定义的函数（UDF）来解决。内置函数Flink Table API 和 SQL为用户提供了一组用于数据转换的内置函数。
原创
2022-04-27 21:33:59
452阅读
scala代码编写Sample1.scalaclass Sample1 {
// --- Native methods
@native def intMethod(n: Int): Int
def loadLibrary(libName:String):Unit = {
System.loadLibrary(libName)
}
}
intMethod输入一
转载
2017-11-22 11:42:00
84阅读
DeltaLake提供纯Scala\Java\Python操作API，和Flink整合更加容易过往记忆大数据过往记忆大数据最近，DeltaLake发布了一项新功能，也就是支持直接使用Scala、Java或者Python来查询DeltaLake里面的数据，这个是不需要通过Spark引擎来实现的。Scala和Java读取DeltaLake里面的数据是通过DeltaStandaloneReader[1]
原创
2021-03-31 14:03:31
384阅读
最近，Delta Lake 发布了一项新功能，也就是支持直接使用 Scala、Java 或者 Python 来查询 Delta Lake 里面的数据，这个是不需要通过 Spark 引擎来实现的。Scala 和 Java 读取 Delta Lake 里面的数据是通过 Delta Standalone Reader[1] 实现的；而 Python 则是通过 Delta Rust API[2] 实现的。
原创
2021-04-05 12:29:54
355阅读
Java和Scala容器的转换和Scala一样，Java同样提供了丰富的容器库，Scala和Java容器库有
翻译
2022-11-03 17:10:13
125阅读
在实时数据处理领域，Apache Flink作为流处理框架的佼佼者，提供了Scala和Java两种主要API。许多开发者面临选择困境：Scala的简洁语法与Java的静态类型优势，究竟哪个能带来更高效的性能？本文将从执行效率、内存占用和开发便捷性三个维度，结合Flink源码实现与实际应用场景，为你揭示答案。## 2. 架构对比：API设计与执行引擎### 2.1 Java API的底层实现...
