DEMOFlink RPC 众所周知底层是Akka，我先来写一个RPC 的用例RPC Gatewaypublic interface HelloGateway extends RpcGateway {
CompletableFuture<String> hello();
}RPC Endpoint也就是服务端执行的public class HelloRpcEndpoint
转载
2024-03-08 10:37:10
38阅读
G7业务快览# G7主要通过在货车上的传感器感知车辆的轨迹、油耗、点熄火、载重、温度等数据，将车辆、司机、车队、货主连接到一起，优化货物运输的时效、安全、成本等痛点问题。整个数据是通过车载的传感器设备采集，比如公司的Smart盒子，CTBox盒子，油感设备，温度探头等，将车辆数据上报到后端平台，在后端平台计算和处理，最后展示到用户面前。 G7的业务场景是典型的IoT场景：1.传感器数据 2.数据
在项目迭代开发中，难免会有更新数据库 Schema 的情况，比如添加新表、在表中增加字段或者删除字段等，那么当我对数据库进行一系列操作后，如何快速地在其他同事的电脑上同步？如何在测试/生产服务器上快速同步？Flyway 简介Flyway 是独立于数据库的应用、管理并跟踪数据库变更的数据库版本管理工具。用通俗的话讲，Flyway 可以像 Git 管理不同人的代码那样，管理不同人的 sql 脚本，从而
转载
2024-03-27 17:30:40
47阅读
文章目录一、开发环境二、相关技术三、系统架构四、分包解释五、相关博客 一、开发环境 此项目的开发环境如下：
macOS Big Sur（不影响）IntelliJ IDEAjdk 1.8.0_271Maven 3.6.1Flink 1.12.2Kafka 2.0.0MySQL 5.1.49Vue Cli 4.5.12Vue 2.5.2Element-UI 2.15.1二、相关技术 项目以Vue
转载
2024-02-20 15:26:12
162阅读
一、场景需要使用mongodb，由于数据量很小且单机版，考虑使用flink CDC不太合适； 然后看到使用springboot框架集成mongodb操作起来很方便，所以就有了此篇文章。二、遇到的问题现象1：springboot依赖注入与flink冲突 现象2：flink该放在springboot哪一层？ 现象3：sprin
转载
2023-10-10 22:30:07
348阅读
1、消息可靠投递在使用 RabbitMQ 的时候，作为消息发送方希望杜绝任何消息丢失或者投递失败场景。RabbitMQ 为我们提供了两种方式用来控制消息的投递可靠性模式。confirm 确认模式return 退回模式rabbitmq 整个消息投递的路径为：producer—>rabbitmq broker—>exchange—>queue—>consumer消息从 prod
转载
2024-04-03 10:30:03
156阅读
在之前的博客文章中，我们介绍了ApacheKafka的exactly once语义，介绍了各种消息传输语义，producer的幂等特性，事和Kafka Stream的exactly once处理语义。现在我们将从上篇文章结尾的地方开始，深入探讨Apache Kafka的事务。本文档的目标是使读者熟悉Apache Kafka中有效使用事务API所需要的主要概念。 &
转载
2024-08-07 09:30:34
116阅读
JobManager/TaskManager metricsJob metrics(checkpoint次数、size和fail次数)task metricsoperator metrics(每秒处理多少条record、receive的bytes数目)。现在方案是先根据不同的 scope 去做一致性哈希，发到不同的 Prometheus 上，之后再配合 Thanos (灭霸，对就是在《复仇者联盟3
转载
2024-07-26 08:26:18
101阅读
## Spring Boot整合Kafka、Flink和Hive的实践
在现代数据处理架构中，Apache Kafka、Apache Flink和Apache Hive是一组常用的工具。通过将它们与Spring Boot相结合，我们可以构建高效的数据流处理应用。本文将介绍如何整合这几个组件，并提供代码示例。
### 1. 项目结构
在开始之前，我们需要明确项目的结构。我们的项目包括以下几个模
# Spring Boot 整合 Flink 写入 MySQL 的实现指南
在现代数据处理和分析中，Apache Flink 是一种极为流行的流处理框架，而 Spring Boot 则是一个简化 Java Web 应用开发的框架。本文将指导您如何将这两个强大的工具结合使用，以实现将 Flink 处理后数据写入 MySQL 的功能。
## 整体流程
在开始之前，我们先了解一下整个实现流程。以下
项目文件结构：详细流程1、引入Mybatis我们使用 IDEA 建立一个 SpringBoot 项目，初始化组件部分选择 Web、JDBC API、MyBatis Framework、MySQL Drive。 项目初始化完成之后，可以在 pom.xml 文件中看到如下依赖：<dependency>
<groupId>org.springframewo
转载
2024-09-26 15:12:39
229阅读
1.背景介绍随着大数据时代的到来，数据量的增长速度远超人类的理解和处理能力。为了更好地处理这些大规模的数据，分布式计算
原创
2023-12-27 10:54:55
628阅读
Springboot整合Flowable并进行一个通用审批流程应用实践一、Flowable介绍二、springboot整合Flowable6.7.21.springboot和flowable的版本2.pom.xml引入3.application.yml中配置flowable的参数4.建好数据库flowabletest，然后启动5.定义流程文件6.代理类准备6.启动springboot工程让spr
转载
2024-05-31 08:41:04
1371阅读
点赞
# 教你如何实现springboot整合Flink实时同步MySQL
## 一、整体流程
首先，我们先来看一下整个实时同步MySQL的流程：
| 步骤 | 操作 |
| ------ | ---------- |
| 1 | 通过Flink的SourceFunction读取MySQL中的数据 |
| 2 | 对读取到的数据进行处理 |
| 3 | 将处理后的数据写入到另一个MySQL表中 |
原创
2024-04-28 04:47:00
639阅读
前面介绍了读取 state，这篇笔记介绍下 state 是如何触发写入的。1. Why考虑订阅 Kafka 写 HBase 的场景：写入 HBase 时，为了获取最大的写入性能，可能会先缓存到内存然后批量写入消费 Kafka 时，需要记录当前的 offsets，方便重启时继续消费。因此，就需要有数据同步的机制，在上传 kafka 的 offsets 前，确保 hbase 收到了全部数据并且将内存的
转载
2024-08-07 07:32:20
108阅读
主要抽象Flink RPC 框架主要抽象了RpcService,RpcEndpoint,RpcGateway,RpcServer这几个接口，具体实现可以采用多种方式，比如：akka,nettyRpcService我理解为RPC框架的引擎，可以用来启动、停止、连接一个RpcEndpoint，以及执行某些异步任务或者周期性调度任务。主要方法:
connect:连接到一个RpcEndpoint,返回一个
转载
2023-12-10 10:34:31
65阅读
Apache Flink是新一代的分布式流式数据处理框架，它统一的处理引擎既可以处理批数据(batch data)也可以处理流式数据(streaming data)。在实际场景中，Flink利用Apache Kafka作为上下游的输入输出十分常见，本文将给出一个可运行的实际例子来集成两者。目录一、目标二、环境准备三、创建Flink Streaming工程四、增加kafka和kafka-
转载
2024-07-01 19:51:00
139阅读
一、介绍Flink是分布式大数据处理框架，那么网络通信就离不开了，从目前来看，几乎所有的开源的大型软件，尤其是Java的，基本已经不再倾向于自己写底层网络通信，毕竟有很多可以使用的Rpc网络通信框架可以来完善使用，Flink也是如此，它是基本Akka Rpc这款Rpc通信框架的。二、分析1、服务端先看一下测试代码的最基础的通信代码（RpcEndPointTest.java）：public inte
转载
2024-03-19 19:45:11
30阅读
flink中的rpc框架使用的akka。在本节并不详细讲述akka，而是就flink中rpc来讲述akka的部分内容。本节，我从AkkaRpcActor.handleRpcInvocation方法讲起。 看过hadoop、yarn、hive、hbase、presto的rpc框架，感觉flink的通信框架是最容易让人绕晕的。虽然之前也看过一点spark中akka的通信，但现在早已忘得一干二净。
转载
2024-02-08 14:51:49
85阅读
环境 springboot 2.7.6 + flink13.1说明: 主要是想单独运行多个flink 项目, 小项目, 数据量少,充分使用 状态后端运行 java -jar xxx.jar 1: 创建springboot项目: (pom 见下面)实例1: /***************************
*&
转载
2022-07-20 19:29:00
636阅读
