CodeDevMaster的博客_JavaScript,Java,操作系统,Office,Hadoop,HTML5,项目管理,Docker,Spring Boot,Docker,MySQL

Flink之Catalog

Catalog是一种用于管理和组织元数据的抽象。Catalog提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。

hive

SQL

java

Catalog

原创 2023-11-25 15:21:59 548 阅读 1点赞

Flink之Table API & SQL连接器

Apache Flink的Table API 和 SQL 程序可以连接到其他外部系统，以读写批处理和流式表。

flink

SQL

java

原创 2023-11-24 09:51:41 213 阅读 1点赞

Flink之Java Table API的使用

Table API是批处理和流处理的统一的关系型API，查询不需要修改代码就可以采用批输入或流输入来运行，并且是针对Apache Flink专门设计的。

java

flink

API

Table

原创 2023-11-23 15:29:58 202 阅读

Flink之SQL查询操作

Apache Flink提供了对流数据进行SQL查询的功能。Flink SQL查询语法遵循标准的SQL标准，同时还支持更复杂的查询、连接操作等，并且还可以与Flink的数据流处理功能无缝集成。

java

字段

Flink

SQL

查询

原创精选 2023-11-21 16:15:49 593 阅读 1点赞

Flink之SQL客户端与DDL操作

Flink SQL是Flink框架中的一种查询语言，用于对数据流和批处理作业执行SQL查询和转换操作。它提供了一种声明性的方式来处理数据，使得开发人员能够使用熟悉的SQL语法来操作流式和批处理数据。

SQL

java

Flink

SQL语法

原创精选 2023-11-20 10:38:20 549 阅读 1点赞

FlinK之检查点与保存点机制

在 Flink 中，检查点是用于实现状态一致性和故障恢复的关键机制。检查点功能可确保作业的状态在发生故障时能够进行可靠地恢复。

检查点

状态一致性

flink

原创 2023-11-17 15:00:25 569 阅读

Flink之状态管理

Flink中的状态管理是指在流处理任务中对数据的状态进行有效管理和维护的过程。状态管理是非常重要的，因为它允许我们在流式处理中维护和操作数据的状态信息，以实现复杂的计算逻辑和应用需求。

java

Flink

状态管理

原创精选 2023-11-16 09:50:59 285 阅读 1点赞

Flink之常用处理函数

处理函数Processing Function是Apache Flink中用于对数据流上的元素进行处理的核心组件之一。处理函数负责定义数据流上的数据如何被处理，允许开发人员编写自定义逻辑以执行各种操作，如转换、聚合、筛选、连接等，并在处理后生成输出数据流。

java

处理函数

Flink

原创 2023-11-11 22:47:48 186 阅读 1点赞

Flink之Watermark水印、水位线

在Apache Flink中，Watermark即水印、水位线，它是插入到数据流中的一个标记点，主要内容就是一个时间戳，用来指示当前事件时间。通过使用水位线机制，能够动态地处理乱序事件，并在保证准确性的同时提供低延迟的数据处理。

时间戳

java

Watermark

水印

水位线

原创 2023-11-10 15:11:34 233 阅读 1点赞

Flink之Window窗口机制

在Apache Flink中，窗口是对无界数据流进行有界处理的机制。窗口可以将无限的数据流划分为有限的、可处理的块，使得可以基于这些有限的数据块执行聚合、计算和分析操作。

Time

数据

Flink

窗口

数据流

原创精选 2023-11-09 13:57:27 518 阅读 1点赞

Flink之输出算子Redis Sink

Redis具有其极高的写入读取性能，因此也是经常使用的Sink之一。可以使用Java Redis客户端Jedis手动实现，也可以使用Flink和Bahir提供的实现来实现。

Redis

java

Sink

flink

原创 2023-11-08 16:38:48 288 阅读 1点赞

Flink之输出算子Data Sink

在Apache Flink中，输出算子Data Sink用于将数据流发送到外部系统或存储介质中，如数据库、消息队列、文件系统等。输出算子是数据流处理的最后一步，它决定了数据的最终去向。

java

kafka

Flink

Data Sink

原创精选 2023-11-06 16:38:07 597 阅读 1点赞

MySQL使用函数、存储过程实现：向数据表快速插入大量测试数据

在MySQL中可以使用函数或者存储过程来快速向数据表插入大量测试数据,以此提高插入速度并减少代码中的重复。

java

MySQL

函数

存储过程

原创 2023-11-03 16:30:43 407 阅读 1点赞

配置Hive使用Spark执行引擎

在Hive中，可以通过配置来指定使用不同的执行引擎。Hive执行引擎包括：默认MR、tez、spark。

spark

Hive

java

原创 2023-11-02 22:02:53 408 阅读 1点赞

Flink之转换算子Transformation

Flink中的转换算子是指对输入数据流进行转换操作的一类算子，它是将一个或多个DataStream转换为新的DataStream

java

Flink

DataStream

原创 2023-10-26 14:08:30 214 阅读 1点赞

Flink之源算子Data Source

在Flink 中，源算子用于从外部系统或数据源获取数据，并将其作为输入流提供给Flink Job。源算子是数据流处理的起点，它通常是整个数据流的第一个算子。

数据源

数据

java

Flink

源算子

原创 2023-10-25 11:31:48 248 阅读 1点赞

使用Windows平台的Hyper-V虚拟机安装CentOS7的详细过程

作为一名开发者，就服务器而言，接触最多的便是CentOS系统，最近有集群的需要，于是特此记录一下，使用Windows平台的Hyper-V虚拟机安装CentOS7的详细过程。

Ubuntu

CentOS

Hyper-V

虚拟机

原创 2023-10-24 21:57:24 520 阅读 1点赞

开发Flink应用程序与提交运行Flink应用程序

搭建Apache Flink开发环境搭，同时编写Flink应用程序，使用命令行方式与Web UI界面方式提交运行开发的Flink应用程序。

flink

java

原创 2023-10-23 09:34:49 130 阅读 1点赞

Flink之Flink程序开发过程与Flink常见数据类型

DataStream API是Flink中最主要的API之一，它支持高级的流处理操作，例如窗口计算、状态管理、流分区等，并且在处理大规模数据时表现出色。

java

API

DataStream

flink

原创 2023-10-20 21:22:48 269 阅读 1点赞

Flink的部署模式：Local模式、Standalone模式、Flink On Yarn模式

Local模式、Standalone模式和Flink on YARN模式是Flink的三种常见部署模式。

java

flink

jar

原创 2023-10-19 08:41:00 3761 阅读 1点赞

Python使用PyMongo4.x操作MongoDB总结

PyMongo是一个Python编程语言中用于连接和操作MongoDB数据库的库。它提供了丰富的功能和API，使开发者能够在Python中轻松地进行MongoDB的数据交互和管理。

Python

PyMongo

MongoDB

原创 2023-10-18 13:37:00 246 阅读 1点赞

MongoDB之用户与权限管理、备份与恢复管理以及客户端工具的使用

MongoDB是一款灵活且高性能的文档型数据库，具有可扩展性和强大的查询功能，适用于各种应用场景。

数据库

mongodb

MongoDB

权限管理

客户端工具

原创精选 2023-10-17 11:26:11 590 阅读

搭建Flink集群、集群HA高可用以及配置历史服务器

本文介绍了如何搭建一个Flink集群、Flink集群HA高可用，并配置历史服务器以记录Job任务执行的详细信息和状态。

flink

java

Flink集群

HA高可用

原创精选 2023-10-15 15:11:41 848 阅读 1点赞 1收藏

文本识别 (OCR)引擎之Tesseract的使用

Tesseract是一个开源文本识别 (OCR)引擎，是目前公认最优秀、最精确的开源OCR系统，用于识别图片中的文字并将其转换为可编辑的文本。

python

Tesseract

OCR

原创精选 2023-10-14 16:44:33 4238 阅读 2点赞 1收藏

VS Code配置Tomcat运行Java Web项目

使用Visual Studio Code工具配置Tomcat运行Java Web项目,以及配置热部署进行项目开发。

热部署

Server

vscode

Tomcat

Web项目

原创 2023-10-13 14:31:57 6341 阅读 2点赞 1收藏 2评论

大数据开发中常用组件服务的集群管理脚本整理集合

在大数据开发中，需要对各个组件服务集群进行管理，为了效率和可靠性，可以编写shell脚本来统一管理和维护集群，确保系统的稳定性和可靠性。

vim

kafka

shell

Hadoop

大数据

原创 2023-10-12 10:13:13 143 阅读 1点赞

VS Code配置Tomcat运行Java Web项目配置开发Maven项目、Spring Boot项目

在Visual Studio Code中配置Java开发环境，配置开发Maven项目、Spring Boot项目。

Java

vscode

Spring Boot

Maven

原创精选 2023-10-11 08:46:42 1565 阅读 1点赞

解决IntelliJ IDEA执行maven打包，执行java -jar命令提示jar中没有主清单属性

jar

java

maven

原创 2023-09-23 13:21:05 1385 阅读 1点赞

Flink的部署模式：Local模式、Standalone模式、Flink On Yarn模式

Local模式、Standalone模式和FlinkonYARN模式是Flink的三种常见部署模式。

java

flink

jar

yarn

Hadoop

原创精选 2023-09-22 17:13:04 1279 阅读 1点赞

Beautiful Soup4数据解析与提取

Beautiful Soup是一个Python的库，用于解析HTML和XML文档，提供了方便的数据提取和操作功能。

python

HTML

选择器

Beautiful Soup

数据提取

原创 2023-09-21 10:18:29 234 阅读 1点赞

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

积跬步，至千里。

Flink之Catalog

Flink之Table API & SQL连接器

Flink之Java Table API的使用

Flink之SQL查询操作

Flink之SQL客户端与DDL操作

FlinK之检查点与保存点机制

Flink之状态管理

Flink之常用处理函数

Flink之Watermark水印、水位线

Flink之Window窗口机制

Flink之输出算子Redis Sink

Flink之输出算子Data Sink

MySQL使用函数、存储过程实现：向数据表快速插入大量测试数据

配置Hive使用Spark执行引擎

Flink之转换算子Transformation

Flink之源算子Data Source

使用Windows平台的Hyper-V虚拟机安装CentOS7的详细过程

开发Flink应用程序与提交运行Flink应用程序

Flink之Flink程序开发过程与Flink常见数据类型

Flink的部署模式：Local模式、Standalone模式、Flink On Yarn模式

Python使用PyMongo4.x操作MongoDB总结

MongoDB之用户与权限管理、备份与恢复管理以及客户端工具的使用

搭建Flink集群、集群HA高可用以及配置历史服务器

文本识别 (OCR)引擎之Tesseract的使用

VS Code配置Tomcat运行Java Web项目

大数据开发中常用组件服务的集群管理脚本整理集合

VS Code配置Tomcat运行Java Web项目配置开发Maven项目、Spring Boot项目

解决IntelliJ IDEA执行maven打包，执行java -jar命令提示jar中没有主清单属性

Flink的部署模式：Local模式、Standalone模式、Flink On Yarn模式

Beautiful Soup4数据解析与提取

欢迎