1.初识
Flink 起源于 Stratosphere 项目，Stratosphere 是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014 年 4 月 Stratosphere 的代 码 被 复 制 并 捐 赠 给 了 Apache 软 件 基 金 会 ， 参 加 这 个 孵 化 项 目 的 初 始 成 员 是Stratosphere
转载
2024-04-03 14:08:58
89阅读
最近做的一个项目，使用的是pg数据库，公司没有成熟的DCD组件，为了实现数据变更消息发布的功能，我使用SpringBoot集成Flink-CDC 采集PostgreSQL变更数据发布到Kafka。一、业务价值监听数据变化，进行异步通知，做系统内异步任务。架构方案（懒得写了，看图吧）：二、修改数据库配置2.1、更改配置文件postgresql.conf# 更改wal日志方式为logical（必须
转载
2023-11-23 17:09:57
582阅读
正文1. 处理线程和异步线程在开始下面的讲解之前，在这里先区别下两个概念：处理线程：处理线程 属于 web 服务器线程，负责 处理用户请求，采用 线程池 管理。异步线程：异步线程 属于 用户自定义的线程，可采用 线程池管理。Spring 提供了对 异步任务 API，采用 WebAsyncTask 类即可实现 异步任务。对异步任务设置相应的 回调处理，如当 任务超时、异常抛出 等。异步任
1.1 简述最近做项目时，公司使用了knife4j，今天主要是讲解如何在Spring Boot项目如何配置使用。强烈建议大家使用Knife4j，因为它的前身是swagger-bootstrap-ui，是在Swagger的基础上进行了界面的优化，使用起来比Swagger舒服了太多。1.2 SpringBoot依赖和实例代码准备本实例基于SpringBoot搭建，所需要的配置和依赖很少，下面添加主要的
转载
2024-03-22 17:01:18
196阅读
springboot集成kafka一、kafka简介二、kafka和zookeeper安装部署1、单容器手动部署方案2、docker-compose容器编排工具部署3、集群部署zookeeper和kafka三、springboot集成kafka1、创建springboot项目(生产者/消费者)2、实现生产者业务逻辑3、实现消费者业务逻辑 一、kafka简介Kafka是最初由Linkedin公司开
转载
2024-02-10 21:04:03
813阅读
文章目录一、参数方面二、资源方面三、总结 提示：实时flink sql 参考很多网上方法与自己实践方法汇总(版本:flink1.13+)一、参数方面flink sql参数配置//关闭详细算子链(默认为true),true后job性能会略微有提升。false则可以展示更详细的DAG图方便地位性能结点 ###有用的参数
pipeline.operator-chaining: 'true'
//指
转载
2024-06-17 05:01:29
145阅读
序号作者版本时间备注1HamaWhite1.0.02022-11-22增加文档一、基础信息1.1 组件版本Flink: 1.13.0JDK： 1.8Mysql: 8.0.15com.ververica:flink-connector-mysql-cdc:2.0.0org.apache.flink:flink-connector-jdbc_2.11:
转载
2024-10-23 17:54:51
56阅读
前言这周学习下Flink相关的知识，学习到一个读写Kafka消息的示例， 自己动手实践了一下，别人示例使用的是普通的Java Main方法，没有用到spring boot. 我们在实际工作中会使用spring boot。 因此我做了些加强， 把流程打通了，过程记录下来。准备工作首先我们通过docker安装一个kafka服务，参照Kafka的官方指导文档https://developer.confl
转载
2023-09-14 13:47:59
330阅读
一、场景需要使用mongodb，由于数据量很小且单机版，考虑使用flink CDC不太合适； 然后看到使用springboot框架集成mongodb操作起来很方便，所以就有了此篇文章。二、遇到的问题现象1：springboot依赖注入与flink冲突 现象2：flink该放在springboot哪一层？ 现象3：sprin
转载
2023-10-10 22:30:07
348阅读
# 实现Spring Boot集成Flink和RabbitMQ
作为一名经验丰富的开发者，我将向刚入行的小白介绍如何实现Spring Boot集成Flink和RabbitMQ。在这篇文章中，我们将详细介绍整个流程，并提供相关的代码示例。
## 流程概览
下面是整个实现过程的概要流程：
| 步骤 | 操作 |
| --- | --- |
| 1 | 创建Spring Boot项目 |
| 2
原创
2024-05-15 10:30:42
167阅读
# Spring Boot、Flink和MySQL的集成实现
## 1. 概述
在这篇文章中，我将向你介绍如何使用Spring Boot、Flink和MySQL进行集成开发。首先，我将给出整个实现的流程概述，并使用表格展示每个步骤的具体操作。然后，我将详细说明每个步骤需要做的事情，并提供相应的代码和注释。
## 2. 实现流程
| 步骤 | 操作 |
| --- | --- |
| 1 |
原创
2023-10-29 09:03:17
64阅读
文章目录一、构建项目1.1 创建`Spring Boot`项目1.2 `pom.xml`二、建立数据库三、数据准备3.1 数据库初始化3.2 `Kafka Topic`建立3.3 数据模拟器`DataSimulator`（可选）四、相关博客 一、构建项目1.1 创建Spring Boot项目 此次开发使用IDEA，在创建项目阶段选择Spring Initializer，如下所示： 选择Mave
转载
2024-01-12 02:40:02
677阅读
目录一.Flink电商指标分析项目项目背景项目简介多维度指标分析项目整体介绍使用到的技术项目整体流程项目的技术选型KafkaHBaseCanalFlink项目整体工程搭建工程结构上报服务系统开发Spring Boot简介导入Maven依赖创建项目包结构验证Spring Boot工程是否创建成功安装Kafka-Manager编写Kafka生产者配置工具类均匀分区上报服务开发模拟生产点击流日志消息到
转载
2024-10-22 14:36:41
59阅读
G7业务快览# G7主要通过在货车上的传感器感知车辆的轨迹、油耗、点熄火、载重、温度等数据，将车辆、司机、车队、货主连接到一起，优化货物运输的时效、安全、成本等痛点问题。整个数据是通过车载的传感器设备采集，比如公司的Smart盒子，CTBox盒子，油感设备，温度探头等，将车辆数据上报到后端平台，在后端平台计算和处理，最后展示到用户面前。 G7的业务场景是典型的IoT场景：1.传感器数据 2.数据
### 实现Spring Boot集成Flink和Kafka的流程
#### 1.准备工作
在开始之前，需要确保已经安装好以下相关软件：
- JDK
- Maven
- Apache Flink
- Apache Kafka
#### 2. 创建一个Spring Boot项目
首先使用Spring Initializr创建一个基本的Spring Boot项目，并在`pom.xml`文件中添加F
原创
2024-04-24 12:30:00
130阅读
# 使用 Spring Boot、Flink 和 HBase 的实现指南
在大数据处理领域，Spring Boot、Flink 和 HBase 是三个非常流行的框架和工具。Spring Boot 是一个简化 Java 应用程序开发的框架，Flink 是一个分布式流处理引擎，而 HBase 是一个分布式、可扩展的 NoSQL 数据库。在这篇文章中，我们将逐步指导你如何结合这三者实现一个简单的应用。
原创
2024-08-16 07:09:38
49阅读
文章目录（一）本地配置方式的问题（二）Nacos配置中心（1）基本介绍（2）基于Data ID配置YAML的文件扩展名（3）不同环境的配置切换（三）Nacos Config 实现原理解析（1）SDK和OpenAPI（2）配置的CRUD（3）动态监听之Pull Or Push（一）本地配置方式的问题1、配置的动态更新 在实际应用中会有动态更新配置的需求，比如修改服务连接地址、限流的配置等。在传统模式
DEMOFlink RPC 众所周知底层是Akka，我先来写一个RPC 的用例RPC Gatewaypublic interface HelloGateway extends RpcGateway {
CompletableFuture<String> hello();
}RPC Endpoint也就是服务端执行的public class HelloRpcEndpoint
转载
2024-03-08 10:37:10
38阅读
过滤器(Filter)过滤器主要用于对用户请求进行预处理，也可以对响应进行后处理。例如：敏感词处理，在过滤器中定义了一些敏感词，请求内容包含这些敏感词的直接禁止访问。过滤器应用场景过滤黑名单过滤敏感词汇设置字符编码，对非标准编码的请求解码压缩响应信息拦截器(Interceptor)拦截器是一种面向方面/切面编程（AOP Aspect-Oriented Programming），而面向切面就是将多个
摘要：本文由美团研究员、实时计算负责人鞠大升分享，主要介绍 Flink 助力美团数仓增量生产的应用实践。内容包括：数仓增量生产流式数据集成流式数据处理流式 OLAP 应用未来规划一、数仓增量生产 1.美团数仓架构 先介绍一下美团数仓的架构以及增量生产。如下图所示，这是美团数仓的简单架构，我把它叫做三横四纵。所谓三横，第一是贯穿全链路的元数据以及血缘，贯穿数据
