主要抽象Flink RPC 框架主要抽象了RpcService,RpcEndpoint,RpcGateway,RpcServer这几个接口，具体实现可以采用多种方式，比如：akka,nettyRpcService我理解为RPC框架的引擎，可以用来启动、停止、连接一个RpcEndpoint，以及执行某些异步任务或者周期性调度任务。主要方法:
connect:连接到一个RpcEndpoint,返回一个
转载
2023-12-10 10:34:31
65阅读
一、介绍Flink是分布式大数据处理框架，那么网络通信就离不开了，从目前来看，几乎所有的开源的大型软件，尤其是Java的，基本已经不再倾向于自己写底层网络通信，毕竟有很多可以使用的Rpc网络通信框架可以来完善使用，Flink也是如此，它是基本Akka Rpc这款Rpc通信框架的。二、分析1、服务端先看一下测试代码的最基础的通信代码（RpcEndPointTest.java）：public inte
转载
2024-03-19 19:45:11
30阅读
DEMOFlink RPC 众所周知底层是Akka，我先来写一个RPC 的用例RPC Gatewaypublic interface HelloGateway extends RpcGateway {
CompletableFuture<String> hello();
}RPC Endpoint也就是服务端执行的public class HelloRpcEndpoint
转载
2024-03-08 10:37:10
38阅读
Apache Flink是新一代的分布式流式数据处理框架，它统一的处理引擎既可以处理批数据(batch data)也可以处理流式数据(streaming data)。在实际场景中，Flink利用Apache Kafka作为上下游的输入输出十分常见，本文将给出一个可运行的实际例子来集成两者。目录一、目标二、环境准备三、创建Flink Streaming工程四、增加kafka和kafka-
转载
2024-07-01 19:51:00
139阅读
flink中的rpc框架使用的akka。在本节并不详细讲述akka，而是就flink中rpc来讲述akka的部分内容。本节，我从AkkaRpcActor.handleRpcInvocation方法讲起。 看过hadoop、yarn、hive、hbase、presto的rpc框架，感觉flink的通信框架是最容易让人绕晕的。虽然之前也看过一点spark中akka的通信，但现在早已忘得一干二净。
转载
2024-02-08 14:51:49
85阅读
在 Flink 这个框架中，有很多独有的概念，比如分布式缓存、重启策略、并行度等，这些概念是我们在进行任务开发和调优时必须了解的，这一课时我将会从原理和应用场景分别介绍这些概念。分布式缓存熟悉 Hadoop 的你应该知道，分布式缓存最初的思想诞生于 Hadoop 框架，Hadoop 会将一些数据或者文件缓存在 HDFS 上，在分布式环境中让所有的计算节点调用同一个配置文件。在 Flink 中，Fl
转载
2023-08-03 18:57:41
135阅读
目录一、组件下载二、Batch模式实施步骤：2.1 启动flink-sql客户端2.2 创建表2.3插入数据2.4 根据主键更新数据三、stream模式实现步骤：3.1 创建表3.2 从批模式写入一条数据3.3 隔几秒后在流模式可以读取到一条新增的数据四.Hive 同步4.1 hudi编译：4.2. Hive 环境准备1.启动hive元数据2.在 Hive 服务器导入 Hudi
转载
2023-07-18 13:15:55
348阅读
文章目录一、介绍二、环境准备与实验1、环境2、启动步骤3、实验过程三、遇到过的坑四、参考资料 一、介绍hudi最新的0.9版本经过众人千呼万唤，终于在9月份出来了。hudi可以兼容在hadoop基础之上存储海量数据，不仅可以进行批处理，还可以在数据湖上进行流处理，即离线与实时结合。并且同时提供了2种原生语义：1）Update/Delete记录：即通过hudi可以更新和删除表中记录，同时还提供写操
转载
2023-07-14 17:13:23
291阅读
1评论
第 3 章3.1.1 环境配置Flink 是一个分布式的流处理框架，所以实际应用一般都需要搭建集群环境。我们在进行Flink 安装部署的学习时，需要准备 3 台 Linux 机器。具体要求如下：系统环境为 CentOS 7.5 版本。安装 Java 8。安装 Hadoop 集群，Hadoop 建议选择 Hadoop 2.7.5 以上版本。配置集群节点服务器间时间同步以及免密登录，关闭防火墙。3.1
转载
2023-10-11 20:16:51
240阅读
1. 简单介绍一下FlinkFlink是一个面向流处理和批处理的分布式数据计算引擎，能够基于同一个Flink运行，可以提供流处理和批处理两种类型的功能。 在 Flink 的世界观中，一切都是由流组成的，离线数据是有界的流；实时数据是一个没有界限的流：这就是所谓的有界流和无界流。2. Flink的运行必须依赖Hadoop组件吗Flink可以完全独立于Hadoop，在不依赖Hadoop组件下运行。但是
转载
2023-09-21 13:28:12
94阅读
Flink学习笔记-基础简单介绍特点功能特性`Flink`架构分层`Flink`的基本组件应用场景流式计算框架对比工作中如何选择实时框架一个简单的入门案例环境代码： 简单介绍Flink项目大数据计算领域冉冉升起的新星，大数据计算引擎的发展经历了几个过程，从第一代的MapReduce，到第二代基于有向无环图的Tez，第三代基于内存计算的Spark，再到第四代的Flink，因为Flink可以基于Ha
转载
2023-07-18 13:19:25
233阅读
集群和部署支持 Hadoop 3.0 及更高的版本：Flink 不再提供任何 flink-shaded-hadoop- 依赖。用户可以通过配置 HADOOP_CLASSPATH 环境变量(推荐)或在 lib 文件夹下放入 Hadoop 依赖项。另外 include-hadoop Maven profile 也已经被移除了。移除了 LegacyScheduler：Flink 不再支持 legacy
转载
2024-08-27 09:27:38
48阅读
今天我们来聊聊 Hadoop、Spark、Flink 这些大数据技术的选择问题。随着时间的推移，大数据的核心技术也在不断的发展，除了 Hadoop 的发展，其中还有两个最引人注意的大数据技术：一个是 2012 年发布的 Spark；另一个是 2014 年发布的 Flink；我们如果想正确的了解到底是选择 Hadoop、还是选择 Spark、还是选择 Flink 之前，我们需要搞明白一个概念，那就是
转载
2023-07-14 17:07:04
108阅读
一、前言 随着大数据技术的快速发展，越来越多的企业和组织开始关注和使用大数据技术来处理和分析海量数据。在众多的大数据技术中，Flink是一个备受关注的流处理框架。本文将探讨Flink与其他大数据技术的比较，以便更好地了解Flink的优势和不足之处。二、Flink与其他大数据技术的差异在本小节我将从五个方面来比较Flink与其他大数据技术的差异，包括Flink与
转载
2023-07-11 17:31:40
274阅读
我是Lake，专注大数据技术、程序员经验、互联网科技见解分享，如果你觉得这篇文章对你有帮助的话，欢迎你点赞转发或者关注我，你的一个小小的鼓励，就是我前进的最大动力。最近在做 Flink SQL 任务方面的开发，有这样一种情况，用户自己上传自定义的 UDF Jar 包，这里你可以理解为是用户自己定义的函数 Jar 包，然后在写的 Flink SQL 任务的时候，需要能够用到 Jar 包中定义的 UD
转载
2023-08-04 13:28:08
154阅读
我的博客：兰陵笑笑生,欢迎浏览博客！ 上一章 SpringBoot入门实践(四)-RESTFUL API 最佳设计当中,我们介绍了在SpringBoot项目中如何规范的使用RESTful风格的API，。本章简单介绍一下常用的开源日志框架。前言 日志是程序设计中很重要的一部分，当然在我刚接触编程的时候，是不怎么在意的，正好有空归纳总结一下。 在JDK1.4版本之后才有JDK Logger，不过JD
# Java 整合 Flink
## 引言
Flink 是一个开源的流处理和批处理框架，能够处理大规模的实时和历史数据。它具有高吞吐量、低延迟、容错性和可扩展性等特点，被广泛应用于各类大数据场景。本文将介绍如何使用 Java 语言整合 Flink 框架，并提供一些代码示例。
## Flink 基本概念
在开始整合 Flink 之前，我们先了解一些 Flink 的基本概念。
- **Dat
原创
2023-10-03 09:37:47
124阅读
Apache Flume介绍概述运行机制Flume采集系统结构图简单结构复杂结构Flume安装部署 介绍在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采
Kafka 和 Flink 是当前流行的两个开源项目，分别用于消息传递和流处理。在实际项目中，通常需要将 Kafka 作为数据源接入到 Flink 中实现实时数据处理。接下来我会详细介绍如何实现“Kafka 整合 Flink”，希望能帮助你快速上手。
### 整合流程
下面是整合 Kafka 和 Flink 的整体流程，可以帮助你更好地理解整个过程。
| 步骤 | 描述
原创
2024-05-21 10:45:40
122阅读
G7业务快览# G7主要通过在货车上的传感器感知车辆的轨迹、油耗、点熄火、载重、温度等数据，将车辆、司机、车队、货主连接到一起，优化货物运输的时效、安全、成本等痛点问题。整个数据是通过车载的传感器设备采集，比如公司的Smart盒子，CTBox盒子，油感设备，温度探头等，将车辆数据上报到后端平台，在后端平台计算和处理，最后展示到用户面前。 G7的业务场景是典型的IoT场景：1.传感器数据 2.数据
