前言在前段时间写了一篇《Storm》入门的文章，很多同学给我说：“大人，时代变了”。最近公司要把Storm集群给下线啦，所以我们都得把Storm的任务都改成Flink。于是最近入门了一把Flink，现在来分享一下Flink入门的相关知识。（写上面这一段话的时候，到发文章这个时候已经过了一个季度了，不好意思，我这篇文章拖了一个季度）不得不说，Flink这两年是真的火?这篇文章主要讲讲Flink入门时
我是Lake，专注大数据技术、程序员经验、互联网科技见解分享，如果你觉得这篇文章对你有帮助的话，欢迎你点赞转发或者关注我，你的一个小小的鼓励，就是我前进的最大动力。最近在做 Flink SQL 任务方面的开发，有这样一种情况，用户自己上传自定义的 UDF Jar 包，这里你可以理解为是用户自己定义的函数 Jar 包，然后在写的 Flink SQL 任务的时候，需要能够用到 Jar 包中定义的 UD
转载
2023-08-04 13:28:08
154阅读
# Java 整合 Flink
## 引言
Flink 是一个开源的流处理和批处理框架，能够处理大规模的实时和历史数据。它具有高吞吐量、低延迟、容错性和可扩展性等特点，被广泛应用于各类大数据场景。本文将介绍如何使用 Java 语言整合 Flink 框架，并提供一些代码示例。
## Flink 基本概念
在开始整合 Flink 之前，我们先了解一些 Flink 的基本概念。
- **Dat
原创
2023-10-03 09:37:47
124阅读
我们是否还需要另外一个新的数据处理引擎？当我第一次听到Flink的时候这是我是非常怀疑的。在大数据领域，现在已经不缺少数据处理框架了，但是没有一个框架能够完全满足不同的处理需求。自从Apache Spark出现后，貌似已经成为当今把大部分的问题解决得最好的框架了，所以我对另外一款解决类似问题的框架持有很强烈的怀疑态度。Flink。一开始仔细看了Flink的几个例子，感觉和Spark非常类
转载
2024-06-10 18:04:14
120阅读
项目文件结构：详细流程1、引入Mybatis我们使用 IDEA 建立一个 SpringBoot 项目，初始化组件部分选择 Web、JDBC API、MyBatis Framework、MySQL Drive。 项目初始化完成之后，可以在 pom.xml 文件中看到如下依赖：<dependency>
<groupId>org.springframewo
转载
2024-09-26 15:12:39
229阅读
一、介绍Flink是分布式大数据处理框架，那么网络通信就离不开了，从目前来看，几乎所有的开源的大型软件，尤其是Java的，基本已经不再倾向于自己写底层网络通信，毕竟有很多可以使用的Rpc网络通信框架可以来完善使用，Flink也是如此，它是基本Akka Rpc这款Rpc通信框架的。二、分析1、服务端先看一下测试代码的最基础的通信代码（RpcEndPointTest.java）：public inte
转载
2024-03-19 19:45:11
30阅读
DEMOFlink RPC 众所周知底层是Akka，我先来写一个RPC 的用例RPC Gatewaypublic interface HelloGateway extends RpcGateway {
CompletableFuture<String> hello();
}RPC Endpoint也就是服务端执行的public class HelloRpcEndpoint
转载
2024-03-08 10:37:10
38阅读
Apache Flink是新一代的分布式流式数据处理框架，它统一的处理引擎既可以处理批数据(batch data)也可以处理流式数据(streaming data)。在实际场景中，Flink利用Apache Kafka作为上下游的输入输出十分常见，本文将给出一个可运行的实际例子来集成两者。目录一、目标二、环境准备三、创建Flink Streaming工程四、增加kafka和kafka-
转载
2024-07-01 19:51:00
139阅读
主要抽象Flink RPC 框架主要抽象了RpcService,RpcEndpoint,RpcGateway,RpcServer这几个接口，具体实现可以采用多种方式，比如：akka,nettyRpcService我理解为RPC框架的引擎，可以用来启动、停止、连接一个RpcEndpoint，以及执行某些异步任务或者周期性调度任务。主要方法:
connect:连接到一个RpcEndpoint,返回一个
转载
2023-12-10 10:34:31
65阅读
flink中的rpc框架使用的akka。在本节并不详细讲述akka，而是就flink中rpc来讲述akka的部分内容。本节，我从AkkaRpcActor.handleRpcInvocation方法讲起。 看过hadoop、yarn、hive、hbase、presto的rpc框架，感觉flink的通信框架是最容易让人绕晕的。虽然之前也看过一点spark中akka的通信，但现在早已忘得一干二净。
转载
2024-02-08 14:51:49
85阅读
已经成为了数据仓库生态系统中的核心。 它不仅仅是一个用于大数据分析和ETL场景的SQL引擎，同样它也是一个数据管理平台，可用于发现，定义，和演化数据。Flink 与 Hive 的集成包含两个层面。一是利用了 Hive 的 MetaStore 作为持久化的 Catalog，用户可通过HiveCatalog将不同会话中的 Flink 元数据存储到 Hive Metastore 中。 例如，
转载
2024-01-24 08:22:22
91阅读
目录一、组件下载二、Batch模式实施步骤：2.1 启动flink-sql客户端2.2 创建表2.3插入数据2.4 根据主键更新数据三、stream模式实现步骤：3.1 创建表3.2 从批模式写入一条数据3.3 隔几秒后在流模式可以读取到一条新增的数据四.Hive 同步4.1 hudi编译：4.2. Hive 环境准备1.启动hive元数据2.在 Hive 服务器导入 Hudi
转载
2023-07-18 13:15:55
348阅读
文章目录一、介绍二、环境准备与实验1、环境2、启动步骤3、实验过程三、遇到过的坑四、参考资料 一、介绍hudi最新的0.9版本经过众人千呼万唤，终于在9月份出来了。hudi可以兼容在hadoop基础之上存储海量数据，不仅可以进行批处理，还可以在数据湖上进行流处理，即离线与实时结合。并且同时提供了2种原生语义：1）Update/Delete记录：即通过hudi可以更新和删除表中记录，同时还提供写操
转载
2023-07-14 17:13:23
291阅读
1评论
背景：最近工作需要，刚好在研究flink，然后发现flink的资料百度少之又少，谷歌以及flink文档的说明也都不是很通俗，这里记录一下我在整合flink以及springboot的过程中问题比较麻烦的点。工作需求，我需要从springboot启动之后，根据redis里的配置进行动态创建任务，并且会根据redis的配置变化对任务进行一些重启的操作实现先讲一下，我是使用flink的StreamExec
转载
2023-11-07 09:20:53
115阅读
入口关键类：KafkaDynamicTableFactorySource通过createDynamicTableSource方法创建 kafka source，这里主要做几件事：从context获取table ddl中相关的信息、比如schema、with属性，生成TableFactoryHelper辅助工具类。根据with中的key/value format配置discover key/valu
转载
2024-06-04 13:31:15
90阅读
有上面的特点可以看出，Spark Streaming是要生成rdd，然后进行处理的，rdd数据集我们可以理解为静态的，然每个批次，都会生成一个rdd，该过程就体现了批处理的特性，由于数据集时间段小，数据小，所以又称微批处理，那么就说明不是真正的实时处理。还有一点，spark Streaming与kafka的结合是不会发现kafka动态增加的topic或者partition。Spark的详细教程，请
转载
2024-06-01 17:32:31
102阅读
我的博客：兰陵笑笑生,欢迎浏览博客！ 上一章 SpringBoot入门实践(四)-RESTFUL API 最佳设计当中,我们介绍了在SpringBoot项目中如何规范的使用RESTful风格的API，。本章简单介绍一下常用的开源日志框架。前言 日志是程序设计中很重要的一部分，当然在我刚接触编程的时候，是不怎么在意的，正好有空归纳总结一下。 在JDK1.4版本之后才有JDK Logger，不过JD
Apache Flume介绍概述运行机制Flume采集系统结构图简单结构复杂结构Flume安装部署 介绍在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采
原文链接：本文开头附：Flink 学习路线系列 ^ _ ^Flink 整合 Kafka 基本步骤，请参考：Flink 基础整合 Kafka。本文仅用来介绍 Flink 整合 Kafka 实现 Exactly-Once。1.什么是Exactly-Once 恰好处理一次的意思。不管在处理的时候是否有异常发生，计算的结果都
转载
2023-07-25 10:01:39
248阅读
Kafka 和 Flink 是当前流行的两个开源项目，分别用于消息传递和流处理。在实际项目中，通常需要将 Kafka 作为数据源接入到 Flink 中实现实时数据处理。接下来我会详细介绍如何实现“Kafka 整合 Flink”，希望能帮助你快速上手。
### 整合流程
下面是整合 Kafka 和 Flink 的整体流程，可以帮助你更好地理解整个过程。
| 步骤 | 描述
原创
2024-05-21 10:45:40
122阅读
