文章目录一、介绍二、环境准备与实验1、环境2、启动步骤3、实验过程三、遇到过的坑四、参考资料 一、介绍hudi最新的0.9版本经过众人千呼万唤，终于在9月份出来了。hudi可以兼容在hadoop基础之上存储海量数据，不仅可以进行批处理，还可以在数据湖上进行流处理，即离线与实时结合。并且同时提供了2种原生语义：1）Update/Delete记录：即通过hudi可以更新和删除表中记录，同时还提供写操
转载
2023-07-14 17:13:23
291阅读
1评论
一、介绍Flink是分布式大数据处理框架，那么网络通信就离不开了，从目前来看，几乎所有的开源的大型软件，尤其是Java的，基本已经不再倾向于自己写底层网络通信，毕竟有很多可以使用的Rpc网络通信框架可以来完善使用，Flink也是如此，它是基本Akka Rpc这款Rpc通信框架的。二、分析1、服务端先看一下测试代码的最基础的通信代码（RpcEndPointTest.java）：public inte
转载
2024-03-19 19:45:11
30阅读
DEMOFlink RPC 众所周知底层是Akka，我先来写一个RPC 的用例RPC Gatewaypublic interface HelloGateway extends RpcGateway {
CompletableFuture<String> hello();
}RPC Endpoint也就是服务端执行的public class HelloRpcEndpoint
转载
2024-03-08 10:37:10
38阅读
主要抽象Flink RPC 框架主要抽象了RpcService,RpcEndpoint,RpcGateway,RpcServer这几个接口，具体实现可以采用多种方式，比如：akka,nettyRpcService我理解为RPC框架的引擎，可以用来启动、停止、连接一个RpcEndpoint，以及执行某些异步任务或者周期性调度任务。主要方法:
connect:连接到一个RpcEndpoint,返回一个
转载
2023-12-10 10:34:31
65阅读
Apache Flink是新一代的分布式流式数据处理框架，它统一的处理引擎既可以处理批数据(batch data)也可以处理流式数据(streaming data)。在实际场景中，Flink利用Apache Kafka作为上下游的输入输出十分常见，本文将给出一个可运行的实际例子来集成两者。目录一、目标二、环境准备三、创建Flink Streaming工程四、增加kafka和kafka-
转载
2024-07-01 19:51:00
139阅读
flink中的rpc框架使用的akka。在本节并不详细讲述akka，而是就flink中rpc来讲述akka的部分内容。本节，我从AkkaRpcActor.handleRpcInvocation方法讲起。 看过hadoop、yarn、hive、hbase、presto的rpc框架，感觉flink的通信框架是最容易让人绕晕的。虽然之前也看过一点spark中akka的通信，但现在早已忘得一干二净。
转载
2024-02-08 14:51:49
85阅读
目录一、组件下载二、Batch模式实施步骤：2.1 启动flink-sql客户端2.2 创建表2.3插入数据2.4 根据主键更新数据三、stream模式实现步骤：3.1 创建表3.2 从批模式写入一条数据3.3 隔几秒后在流模式可以读取到一条新增的数据四.Hive 同步4.1 hudi编译：4.2. Hive 环境准备1.启动hive元数据2.在 Hive 服务器导入 Hudi
转载
2023-07-18 13:15:55
348阅读
我是Lake，专注大数据技术、程序员经验、互联网科技见解分享，如果你觉得这篇文章对你有帮助的话，欢迎你点赞转发或者关注我，你的一个小小的鼓励，就是我前进的最大动力。最近在做 Flink SQL 任务方面的开发，有这样一种情况，用户自己上传自定义的 UDF Jar 包，这里你可以理解为是用户自己定义的函数 Jar 包，然后在写的 Flink SQL 任务的时候，需要能够用到 Jar 包中定义的 UD
转载
2023-08-04 13:28:08
154阅读
我的博客：兰陵笑笑生,欢迎浏览博客！ 上一章 SpringBoot入门实践(四)-RESTFUL API 最佳设计当中,我们介绍了在SpringBoot项目中如何规范的使用RESTful风格的API，。本章简单介绍一下常用的开源日志框架。前言 日志是程序设计中很重要的一部分，当然在我刚接触编程的时候，是不怎么在意的，正好有空归纳总结一下。 在JDK1.4版本之后才有JDK Logger，不过JD
# Java 整合 Flink
## 引言
Flink 是一个开源的流处理和批处理框架，能够处理大规模的实时和历史数据。它具有高吞吐量、低延迟、容错性和可扩展性等特点，被广泛应用于各类大数据场景。本文将介绍如何使用 Java 语言整合 Flink 框架，并提供一些代码示例。
## Flink 基本概念
在开始整合 Flink 之前，我们先了解一些 Flink 的基本概念。
- **Dat
原创
2023-10-03 09:37:47
124阅读
Apache Flume介绍概述运行机制Flume采集系统结构图简单结构复杂结构Flume安装部署 介绍在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采
Kafka 和 Flink 是当前流行的两个开源项目，分别用于消息传递和流处理。在实际项目中，通常需要将 Kafka 作为数据源接入到 Flink 中实现实时数据处理。接下来我会详细介绍如何实现“Kafka 整合 Flink”，希望能帮助你快速上手。
### 整合流程
下面是整合 Kafka 和 Flink 的整体流程，可以帮助你更好地理解整个过程。
| 步骤 | 描述
原创
2024-05-21 10:45:40
122阅读
G7业务快览# G7主要通过在货车上的传感器感知车辆的轨迹、油耗、点熄火、载重、温度等数据，将车辆、司机、车队、货主连接到一起，优化货物运输的时效、安全、成本等痛点问题。整个数据是通过车载的传感器设备采集，比如公司的Smart盒子，CTBox盒子，油感设备，温度探头等，将车辆数据上报到后端平台，在后端平台计算和处理，最后展示到用户面前。 G7的业务场景是典型的IoT场景：1.传感器数据 2.数据
此文对照哔哩哔哩up主：遇见狂神说的ssm系列 SSM整合目录一、搭建环境1.1在MySql数据库中建立相应数据库和表并插入数据1.2基本环境搭建1.2.1新建一个Maven项目 ssmbuild，添加web支持1.2.2导入相关的pom依赖1.2.3.建立项目结构1.3MyBatis层1.3.1 编写Book实体类1.3.2 编写Mapper接口1.3.3 编写Mapper对应xml1.3.4
在springboot2中使用
MongoDB1、引入依赖<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-
mongodb</artifactId>
<version>
转载
2023-06-13 20:27:53
278阅读
前言在 SpringBoot 很火热的时候，阿里巴巴的分布式框架 Dubbo 不知是处于什么考虑，在停更N年之后终于进行维护了。在之前的微服务中，使用的是当当维护的版本 Dubbox，整合方式也是使用的 xml 配置方式。改造前之前在 SpringBoot 中使用 Dubbox是这样的。先简单记录下版本，Dubbox-2.8.4、zkclient-0.6、zookeeper-3.4.6。
转载
2024-03-21 00:00:42
36阅读
这里说一下安装过程遇到的问题：1、安装时报错：Error: Error: Unable to run the custom hook script ['/usr/bin/python', '/var/lib/ambari-agent/cache/stack-hooks/before-ANY/scripts/hook.py', 'ANY', '/var/lib/ambari-agent/data/c
转载
2024-05-27 23:19:33
87阅读
文章目录一、开发环境二、相关技术三、系统架构四、分包解释五、相关博客 一、开发环境 此项目的开发环境如下：
macOS Big Sur（不影响）IntelliJ IDEAjdk 1.8.0_271Maven 3.6.1Flink 1.12.2Kafka 2.0.0MySQL 5.1.49Vue Cli 4.5.12Vue 2.5.2Element-UI 2.15.1二、相关技术 项目以Vue
转载
2024-02-20 15:26:12
162阅读
1、创建Flink源（1）安装httpd服务并创建flink目录注意事项：需要安装httpd服务生成 /var/www/html目录，如已存在则不用安装yum -y install httpd
service httpd restart
chkconfig httpd on
mkdir /var/www/html/flink（2）远程下载相关模块wget --no-check-certif
转载
2024-03-25 09:19:56
172阅读
一、描述：通过flnk 连接带有用户名和密码 mongodb报错信息如下com.mongodb.MongoSecurityException: Exception authenticating MongoCredential{mechanism=SCRAM-SHA-1, userName='test01', source='test', password=<hidden>, mecha
转载
2023-07-27 16:42:23
196阅读
