CodeDevMaster的博客_大数据

Flink之Catalog

Catalog是一种用于管理和组织元数据的抽象。Catalog提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。

hive

SQL

java

Catalog

原创 2023-11-25 15:21:59 548 阅读 1点赞

Flink之Table API & SQL连接器

Apache Flink的Table API 和 SQL 程序可以连接到其他外部系统，以读写批处理和流式表。

flink

SQL

java

原创 2023-11-24 09:51:41 213 阅读 1点赞

Flink之Java Table API的使用

Table API是批处理和流处理的统一的关系型API，查询不需要修改代码就可以采用批输入或流输入来运行，并且是针对Apache Flink专门设计的。

java

flink

API

Table

原创 2023-11-23 15:29:58 202 阅读

Flink之SQL查询操作

Apache Flink提供了对流数据进行SQL查询的功能。Flink SQL查询语法遵循标准的SQL标准，同时还支持更复杂的查询、连接操作等，并且还可以与Flink的数据流处理功能无缝集成。

java

字段

Flink

SQL

查询

原创精选 2023-11-21 16:15:49 594 阅读 1点赞

Flink之SQL客户端与DDL操作

Flink SQL是Flink框架中的一种查询语言，用于对数据流和批处理作业执行SQL查询和转换操作。它提供了一种声明性的方式来处理数据，使得开发人员能够使用熟悉的SQL语法来操作流式和批处理数据。

SQL

java

Flink

SQL语法

原创精选 2023-11-20 10:38:20 549 阅读 1点赞

FlinK之检查点与保存点机制

在 Flink 中，检查点是用于实现状态一致性和故障恢复的关键机制。检查点功能可确保作业的状态在发生故障时能够进行可靠地恢复。

检查点

状态一致性

flink

原创 2023-11-17 15:00:25 572 阅读

Flink之状态管理

Flink中的状态管理是指在流处理任务中对数据的状态进行有效管理和维护的过程。状态管理是非常重要的，因为它允许我们在流式处理中维护和操作数据的状态信息，以实现复杂的计算逻辑和应用需求。

java

Flink

状态管理

原创精选 2023-11-16 09:50:59 286 阅读 1点赞

Flink之常用处理函数

处理函数Processing Function是Apache Flink中用于对数据流上的元素进行处理的核心组件之一。处理函数负责定义数据流上的数据如何被处理，允许开发人员编写自定义逻辑以执行各种操作，如转换、聚合、筛选、连接等，并在处理后生成输出数据流。

java

处理函数

Flink

原创 2023-11-11 22:47:48 186 阅读 1点赞

Flink之Watermark水印、水位线

在Apache Flink中，Watermark即水印、水位线，它是插入到数据流中的一个标记点，主要内容就是一个时间戳，用来指示当前事件时间。通过使用水位线机制，能够动态地处理乱序事件，并在保证准确性的同时提供低延迟的数据处理。

时间戳

java

Watermark

水印

水位线

原创 2023-11-10 15:11:34 238 阅读 1点赞

Flink之Window窗口机制

在Apache Flink中，窗口是对无界数据流进行有界处理的机制。窗口可以将无限的数据流划分为有限的、可处理的块，使得可以基于这些有限的数据块执行聚合、计算和分析操作。

Time

数据

Flink

窗口

数据流

原创精选 2023-11-09 13:57:27 520 阅读 1点赞

Flink之输出算子Redis Sink

Redis具有其极高的写入读取性能，因此也是经常使用的Sink之一。可以使用Java Redis客户端Jedis手动实现，也可以使用Flink和Bahir提供的实现来实现。

Redis

java

Sink

flink

原创 2023-11-08 16:38:48 290 阅读 1点赞

Flink之输出算子Data Sink

在Apache Flink中，输出算子Data Sink用于将数据流发送到外部系统或存储介质中，如数据库、消息队列、文件系统等。输出算子是数据流处理的最后一步，它决定了数据的最终去向。

java

kafka

Flink

Data Sink

原创精选 2023-11-06 16:38:07 598 阅读 1点赞

配置Hive使用Spark执行引擎

在Hive中，可以通过配置来指定使用不同的执行引擎。Hive执行引擎包括：默认MR、tez、spark。

spark

Hive

java

原创 2023-11-02 22:02:53 410 阅读 1点赞

Flink之转换算子Transformation

Flink中的转换算子是指对输入数据流进行转换操作的一类算子，它是将一个或多个DataStream转换为新的DataStream

java

Flink

DataStream

原创 2023-10-26 14:08:30 214 阅读 1点赞

Flink之源算子Data Source

在Flink 中，源算子用于从外部系统或数据源获取数据，并将其作为输入流提供给Flink Job。源算子是数据流处理的起点，它通常是整个数据流的第一个算子。

数据源

数据

java

Flink

源算子

原创 2023-10-25 11:31:48 249 阅读 1点赞

开发Flink应用程序与提交运行Flink应用程序

搭建Apache Flink开发环境搭，同时编写Flink应用程序，使用命令行方式与Web UI界面方式提交运行开发的Flink应用程序。

flink

java

原创 2023-10-23 09:34:49 130 阅读 1点赞

Flink之Flink程序开发过程与Flink常见数据类型

DataStream API是Flink中最主要的API之一，它支持高级的流处理操作，例如窗口计算、状态管理、流分区等，并且在处理大规模数据时表现出色。

java

API

DataStream

flink

原创 2023-10-20 21:22:48 267 阅读 1点赞

Flink的部署模式：Local模式、Standalone模式、Flink On Yarn模式

Local模式、Standalone模式和Flink on YARN模式是Flink的三种常见部署模式。

java

flink

jar

原创 2023-10-19 08:41:00 3762 阅读 1点赞

搭建Flink集群、集群HA高可用以及配置历史服务器

本文介绍了如何搭建一个Flink集群、Flink集群HA高可用，并配置历史服务器以记录Job任务执行的详细信息和状态。

flink

java

Flink集群

HA高可用

原创精选 2023-10-15 15:11:41 854 阅读 1点赞 1收藏

大数据开发中常用组件服务的集群管理脚本整理集合

在大数据开发中，需要对各个组件服务集群进行管理，为了效率和可靠性，可以编写shell脚本来统一管理和维护集群，确保系统的稳定性和可靠性。

vim

kafka

shell

Hadoop

大数据

原创 2023-10-12 10:13:13 144 阅读 1点赞

Flink的部署模式：Local模式、Standalone模式、Flink On Yarn模式

Local模式、Standalone模式和FlinkonYARN模式是Flink的三种常见部署模式。

java

flink

jar

yarn

Hadoop

原创精选 2023-09-22 17:13:04 1282 阅读 1点赞

配置开启Hive远程连接

使用IDEA工具远程连接Hive，首先需要配置开启Hive远程连接支持，主要有2种方式来配置开启Hive远程连接。

java

hive

apache

远程连接

原创精选 2023-09-18 11:34:16 672 阅读 1点赞

从源代码编译构建Apach Spark3.2.4

使用官方预编译版本的Spark已经足够满足日常需求。当在特定的场景和需求下，重新编译Spark提供了更大的灵活性和控制权，适用于需要特定功能、定制化配置或对Spark进行扩展的场景。

spark

scala

编译

原创 2023-08-14 10:22:17 363 阅读 1点赞 yyds干货盘点

从源代码编译构建Hive3.1.3

在某些特定情况下，可能需要从源代码编译Hive，而不是使用预编译的安装包。本文记录从源代码编译构建Hive3.1.3的整个过程。

Hive

Data

java

原创 2023-08-11 20:52:37 1130 阅读 1点赞 yyds干货盘点

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

积跬步，至千里。

Flink之Catalog

Flink之Table API & SQL连接器

Flink之Java Table API的使用

Flink之SQL查询操作

Flink之SQL客户端与DDL操作

FlinK之检查点与保存点机制

Flink之状态管理

Flink之常用处理函数

Flink之Watermark水印、水位线

Flink之Window窗口机制

Flink之输出算子Redis Sink

Flink之输出算子Data Sink

配置Hive使用Spark执行引擎

Flink之转换算子Transformation

Flink之源算子Data Source

开发Flink应用程序与提交运行Flink应用程序

Flink之Flink程序开发过程与Flink常见数据类型

Flink的部署模式：Local模式、Standalone模式、Flink On Yarn模式

搭建Flink集群、集群HA高可用以及配置历史服务器

大数据开发中常用组件服务的集群管理脚本整理集合

Flink的部署模式：Local模式、Standalone模式、Flink On Yarn模式

配置开启Hive远程连接

从源代码编译构建Apach Spark3.2.4

从源代码编译构建Hive3.1.3

欢迎