1.1 简述最近做项目时，公司使用了knife4j，今天主要是讲解如何在Spring Boot项目如何配置使用。强烈建议大家使用Knife4j，因为它的前身是swagger-bootstrap-ui，是在Swagger的基础上进行了界面的优化，使用起来比Swagger舒服了太多。1.2 SpringBoot依赖和实例代码准备本实例基于SpringBoot搭建，所需要的配置和依赖很少，下面添加主要的
转载
2024-03-22 17:01:18
196阅读
最近做的一个项目，使用的是pg数据库，公司没有成熟的DCD组件，为了实现数据变更消息发布的功能，我使用SpringBoot集成Flink-CDC 采集PostgreSQL变更数据发布到Kafka。一、业务价值监听数据变化，进行异步通知，做系统内异步任务。架构方案（懒得写了，看图吧）：二、修改数据库配置2.1、更改配置文件postgresql.conf# 更改wal日志方式为logical（必须
转载
2023-11-23 17:09:57
582阅读
springboot集成kafka一、kafka简介二、kafka和zookeeper安装部署1、单容器手动部署方案2、docker-compose容器编排工具部署3、集群部署zookeeper和kafka三、springboot集成kafka1、创建springboot项目(生产者/消费者)2、实现生产者业务逻辑3、实现消费者业务逻辑 一、kafka简介Kafka是最初由Linkedin公司开
转载
2024-02-10 21:04:03
813阅读
序号作者版本时间备注1HamaWhite1.0.02022-11-22增加文档一、基础信息1.1 组件版本Flink: 1.13.0JDK： 1.8Mysql: 8.0.15com.ververica:flink-connector-mysql-cdc:2.0.0org.apache.flink:flink-connector-jdbc_2.11:
转载
2024-10-23 17:54:51
56阅读
1.初识
Flink 起源于 Stratosphere 项目，Stratosphere 是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014 年 4 月 Stratosphere 的代 码 被 复 制 并 捐 赠 给 了 Apache 软 件 基 金 会 ， 参 加 这 个 孵 化 项 目 的 初 始 成 员 是Stratosphere
转载
2024-04-03 14:08:58
89阅读
前言这周学习下Flink相关的知识，学习到一个读写Kafka消息的示例， 自己动手实践了一下，别人示例使用的是普通的Java Main方法，没有用到spring boot. 我们在实际工作中会使用spring boot。 因此我做了些加强， 把流程打通了，过程记录下来。准备工作首先我们通过docker安装一个kafka服务，参照Kafka的官方指导文档https://developer.confl
转载
2023-09-14 13:47:59
330阅读
一、场景需要使用mongodb，由于数据量很小且单机版，考虑使用flink CDC不太合适； 然后看到使用springboot框架集成mongodb操作起来很方便，所以就有了此篇文章。二、遇到的问题现象1：springboot依赖注入与flink冲突 现象2：flink该放在springboot哪一层？ 现象3：sprin
转载
2023-10-10 22:30:07
348阅读
目录一.Flink电商指标分析项目项目背景项目简介多维度指标分析项目整体介绍使用到的技术项目整体流程项目的技术选型KafkaHBaseCanalFlink项目整体工程搭建工程结构上报服务系统开发Spring Boot简介导入Maven依赖创建项目包结构验证Spring Boot工程是否创建成功安装Kafka-Manager编写Kafka生产者配置工具类均匀分区上报服务开发模拟生产点击流日志消息到
转载
2024-10-22 14:36:41
59阅读
G7业务快览# G7主要通过在货车上的传感器感知车辆的轨迹、油耗、点熄火、载重、温度等数据，将车辆、司机、车队、货主连接到一起，优化货物运输的时效、安全、成本等痛点问题。整个数据是通过车载的传感器设备采集，比如公司的Smart盒子，CTBox盒子，油感设备，温度探头等，将车辆数据上报到后端平台，在后端平台计算和处理，最后展示到用户面前。 G7的业务场景是典型的IoT场景：1.传感器数据 2.数据
### 实现Spring Boot集成Flink和Kafka的流程
#### 1.准备工作
在开始之前，需要确保已经安装好以下相关软件：
- JDK
- Maven
- Apache Flink
- Apache Kafka
#### 2. 创建一个Spring Boot项目
首先使用Spring Initializr创建一个基本的Spring Boot项目，并在`pom.xml`文件中添加F
原创
2024-04-24 12:30:00
130阅读
# 使用 Spring Boot、Flink 和 HBase 的实现指南
在大数据处理领域，Spring Boot、Flink 和 HBase 是三个非常流行的框架和工具。Spring Boot 是一个简化 Java 应用程序开发的框架，Flink 是一个分布式流处理引擎，而 HBase 是一个分布式、可扩展的 NoSQL 数据库。在这篇文章中，我们将逐步指导你如何结合这三者实现一个简单的应用。
原创
2024-08-16 07:09:38
49阅读
文章目录（一）本地配置方式的问题（二）Nacos配置中心（1）基本介绍（2）基于Data ID配置YAML的文件扩展名（3）不同环境的配置切换（三）Nacos Config 实现原理解析（1）SDK和OpenAPI（2）配置的CRUD（3）动态监听之Pull Or Push（一）本地配置方式的问题1、配置的动态更新 在实际应用中会有动态更新配置的需求，比如修改服务连接地址、限流的配置等。在传统模式
# 实现Spring Boot集成Flink和RabbitMQ
作为一名经验丰富的开发者，我将向刚入行的小白介绍如何实现Spring Boot集成Flink和RabbitMQ。在这篇文章中，我们将详细介绍整个流程，并提供相关的代码示例。
## 流程概览
下面是整个实现过程的概要流程：
| 步骤 | 操作 |
| --- | --- |
| 1 | 创建Spring Boot项目 |
| 2
原创
2024-05-15 10:30:42
167阅读
# Spring Boot、Flink和MySQL的集成实现
## 1. 概述
在这篇文章中，我将向你介绍如何使用Spring Boot、Flink和MySQL进行集成开发。首先，我将给出整个实现的流程概述，并使用表格展示每个步骤的具体操作。然后，我将详细说明每个步骤需要做的事情，并提供相应的代码和注释。
## 2. 实现流程
| 步骤 | 操作 |
| --- | --- |
| 1 |
原创
2023-10-29 09:03:17
64阅读
文章目录一、构建项目1.1 创建`Spring Boot`项目1.2 `pom.xml`二、建立数据库三、数据准备3.1 数据库初始化3.2 `Kafka Topic`建立3.3 数据模拟器`DataSimulator`（可选）四、相关博客 一、构建项目1.1 创建Spring Boot项目 此次开发使用IDEA，在创建项目阶段选择Spring Initializer，如下所示： 选择Mave
转载
2024-01-12 02:40:02
677阅读
文章目录一、开发环境二、相关技术三、系统架构四、分包解释五、相关博客 一、开发环境 此项目的开发环境如下：
macOS Big Sur（不影响）IntelliJ IDEAjdk 1.8.0_271Maven 3.6.1Flink 1.12.2Kafka 2.0.0MySQL 5.1.49Vue Cli 4.5.12Vue 2.5.2Element-UI 2.15.1二、相关技术 项目以Vue
转载
2024-02-20 15:26:12
162阅读
Flink简介Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。事件驱动及微批处理事件驱动以事件本身为触发点触发计算等动作，和Spark Streaming可以做鲜明对比，Spark Streaming就不是事件驱动，是微批应用。在Spark Streaming的观念中，流是
转载
2024-04-23 05:37:00
109阅读
DEMOFlink RPC 众所周知底层是Akka，我先来写一个RPC 的用例RPC Gatewaypublic interface HelloGateway extends RpcGateway {
CompletableFuture<String> hello();
}RPC Endpoint也就是服务端执行的public class HelloRpcEndpoint
转载
2024-03-08 10:37:10
38阅读
文章目录前文（1）什么是CDC（2）Flink-CDC是什么（3）Flink-CDC 特性CDC与Flink毕业版本Springboot项目整合Flink-CDC（1）说明（2）引入依赖（3）接入springboot项目创建监听类 实现 ApplicationRunner自定义数据读取解析器变更对象自定义sink 交由spring管理 前文（1）什么是CDCCDC:全称是 Change Data
转载
2023-11-20 13:27:00
197阅读
SpringBoot整合Flink（施耐德PLC物联网信息采集）Linux环境安装kafka前情：施耐德PLC设备（TM200C16R）设置好信息采集程序，连接局域网，SpringBoot订阅MQTT主题，消息转至kafka，由flink接收并持久化到mysql数据库； Wireshark抓包如下： MQTTBox测试订阅如下： 已知参数：服务器IP
转载
2024-03-04 02:27:49
187阅读
