CodeDevMaster的博客_JavaScript,Java,操作系统,Office,Hadoop,HTML5,项目管理,Docker,Spring Boot,Docker,MySQL

Flink之Catalog

Catalog是一种用于管理和组织元数据的抽象。Catalog提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。

hive

SQL

java

Catalog

原创 2023-11-25 15:21:59 548 阅读 1点赞

Flink之Table API & SQL连接器

Apache Flink的Table API 和 SQL 程序可以连接到其他外部系统，以读写批处理和流式表。

flink

SQL

java

原创 2023-11-24 09:51:41 213 阅读 1点赞

Flink之Java Table API的使用

Table API是批处理和流处理的统一的关系型API，查询不需要修改代码就可以采用批输入或流输入来运行，并且是针对Apache Flink专门设计的。

java

flink

API

Table

原创 2023-11-23 15:29:58 202 阅读

Flink之SQL查询操作

Apache Flink提供了对流数据进行SQL查询的功能。Flink SQL查询语法遵循标准的SQL标准，同时还支持更复杂的查询、连接操作等，并且还可以与Flink的数据流处理功能无缝集成。

java

字段

Flink

SQL

查询

原创精选 2023-11-21 16:15:49 593 阅读 1点赞

Flink之SQL客户端与DDL操作

Flink SQL是Flink框架中的一种查询语言，用于对数据流和批处理作业执行SQL查询和转换操作。它提供了一种声明性的方式来处理数据，使得开发人员能够使用熟悉的SQL语法来操作流式和批处理数据。

SQL

java

Flink

SQL语法

原创精选 2023-11-20 10:38:20 549 阅读 1点赞

FlinK之检查点与保存点机制

在 Flink 中，检查点是用于实现状态一致性和故障恢复的关键机制。检查点功能可确保作业的状态在发生故障时能够进行可靠地恢复。

检查点

状态一致性

flink

原创 2023-11-17 15:00:25 569 阅读

Flink之状态管理

Flink中的状态管理是指在流处理任务中对数据的状态进行有效管理和维护的过程。状态管理是非常重要的，因为它允许我们在流式处理中维护和操作数据的状态信息，以实现复杂的计算逻辑和应用需求。

java

Flink

状态管理

原创精选 2023-11-16 09:50:59 285 阅读 1点赞

Flink之常用处理函数

处理函数Processing Function是Apache Flink中用于对数据流上的元素进行处理的核心组件之一。处理函数负责定义数据流上的数据如何被处理，允许开发人员编写自定义逻辑以执行各种操作，如转换、聚合、筛选、连接等，并在处理后生成输出数据流。

java

处理函数

Flink

原创 2023-11-11 22:47:48 186 阅读 1点赞

Flink之Watermark水印、水位线

在Apache Flink中，Watermark即水印、水位线，它是插入到数据流中的一个标记点，主要内容就是一个时间戳，用来指示当前事件时间。通过使用水位线机制，能够动态地处理乱序事件，并在保证准确性的同时提供低延迟的数据处理。

时间戳

java

Watermark

水印

水位线

原创 2023-11-10 15:11:34 233 阅读 1点赞

Flink之Window窗口机制

在Apache Flink中，窗口是对无界数据流进行有界处理的机制。窗口可以将无限的数据流划分为有限的、可处理的块，使得可以基于这些有限的数据块执行聚合、计算和分析操作。

Time

数据

Flink

窗口

数据流

原创精选 2023-11-09 13:57:27 518 阅读 1点赞

Flink之输出算子Redis Sink

Redis具有其极高的写入读取性能，因此也是经常使用的Sink之一。可以使用Java Redis客户端Jedis手动实现，也可以使用Flink和Bahir提供的实现来实现。

Redis

java

Sink

flink

原创 2023-11-08 16:38:48 288 阅读 1点赞

Flink之输出算子Data Sink

在Apache Flink中，输出算子Data Sink用于将数据流发送到外部系统或存储介质中，如数据库、消息队列、文件系统等。输出算子是数据流处理的最后一步，它决定了数据的最终去向。

java

kafka

Flink

Data Sink

原创精选 2023-11-06 16:38:07 597 阅读 1点赞

MySQL使用函数、存储过程实现：向数据表快速插入大量测试数据

在MySQL中可以使用函数或者存储过程来快速向数据表插入大量测试数据,以此提高插入速度并减少代码中的重复。

java

MySQL

函数

存储过程

原创 2023-11-03 16:30:43 407 阅读 1点赞

配置Hive使用Spark执行引擎

在Hive中，可以通过配置来指定使用不同的执行引擎。Hive执行引擎包括：默认MR、tez、spark。

spark

Hive

java

原创 2023-11-02 22:02:53 408 阅读 1点赞

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

积跬步，至千里。

Flink之Catalog

Flink之Table API & SQL连接器

Flink之Java Table API的使用

Flink之SQL查询操作

Flink之SQL客户端与DDL操作

FlinK之检查点与保存点机制

Flink之状态管理

Flink之常用处理函数

Flink之Watermark水印、水位线

Flink之Window窗口机制

Flink之输出算子Redis Sink

Flink之输出算子Data Sink

MySQL使用函数、存储过程实现：向数据表快速插入大量测试数据

配置Hive使用Spark执行引擎

欢迎