1.1 简述最近做项目时，公司使用了knife4j，今天主要是讲解如何在Spring Boot项目如何配置使用。强烈建议大家使用Knife4j，因为它的前身是swagger-bootstrap-ui，是在Swagger的基础上进行了界面的优化，使用起来比Swagger舒服了太多。1.2 SpringBoot依赖和实例代码准备本实例基于SpringBoot搭建，所需要的配置和依赖很少，下面添加主要的
转载
2024-03-22 17:01:18
196阅读
前言Flink版本：1.12.1将实时的数据类比于一个车流（带有一个值），如果你想获得所有车值的总和，那该怎么办呢？求和：不断的将数据相加，像聚合函数一样：Flink的常见算子和实例代码。 但是问题来了：实时数据流是不断的产生数据的，那么作为无界数据流，你永远不可能获得流的完整结果。也许你可以创建一个同样的求和数据流（无界）像这样：关于事件时间和水印与窗口的联合使用及其demo代码：Flink事
转载
2024-03-01 13:39:10
106阅读
flink初始flink是什么为什么使用flinkflink的基础概念flink剖析实例flink是什么flink是一个用于有界和无界数据流进行有状态的计算框架。
flink提供了不同级别的抽象来开发流和批处理应用程序。最底层是Stateful Stream processing,只提供有状态流它 通过Process Function嵌入到DataStream API中。它允许用户自由处理来自一个
转载
2024-04-18 12:11:29
49阅读
1. map特性：接收一个数据，经过处理之后，就返回一个数据1.1. 源码分析我们来看看map的源码 map需要接收一个MapFunction<T,R>的对象，其中泛型T表示传入的数据类型，R表示经过处理之后输出的数据类型我们继续往下点，看看MapFunction<T,R>的源码 这是一个接口，那么在代码中，我们就需要实现这个接口1.2. 案例那么我们现在要实现一个功能，就
转载
2024-08-09 21:57:14
58阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》生成6条数据，从0开始递增的6个数字。模拟异步查询之后，加上时间戳输出public class AsyncIODemo { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.ge
原创
2021-06-10 20:04:07
449阅读
生成6条数据，从0开始递增的6个数字。模拟异步查询之后，加上时间戳输出 public class AsyncIODemo { public static void main(String[] args) throws Exception { StreamExecutionEnvironment en
转载
2020-10-07 20:03:00
97阅读
2评论
# Python Flink 实例：实时流处理的力量
随着数据流的迅猛增长，实时数据处理已经成为大多数企业的必需品。Apache Flink 是一个开源的流处理框架，以其高吞吐量、低延迟和强大功能而受到广泛欢迎。在这篇文章中，我们将探讨如何使用 Python 和 Flink 来构建简单的实时数据处理应用，并提供代码示例和状态图，帮助您更好地理解 Flink 的工作机制。
## 什么是 Apac
原创
2024-09-19 06:22:00
23阅读
# Java Flink 实例：流处理入门
Apache Flink 是一个开源的流处理框架，用于实时数据流的处理和分析。本文将通过一个简单的 Java Flink 实例，介绍 Flink 的基本概念和使用方法。
## Flink 简介
Flink 是一个用于大规模数据流处理和事件驱动应用的框架。它提供了数据并行性和流水线并行性，以实现高性能和可伸缩性。Flink 支持多种编程模型，包括批处
原创
2024-07-28 06:24:09
23阅读
什么是FlinkXFlinkX是在是袋鼠云内部广泛使用的基于flink的分布式离线数据同步框架，实现了多种异构数据源之间高效的数据迁移。不同的数据源头被抽象成不同的Reader插件，不同的数据目标被抽象成不同的Writer插件。理论上，FlinkX框架可以支持任意数据源类型的数据同步工作。作为一套生态系统，每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通在底层实现上，FlinkX依赖F
转载
2024-03-18 15:01:00
47阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》生成6条数据，从0开始递增的6个数字。模拟异步查询之后，加上时间戳输出public class AsyncIODemo { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.ge
原创
2021-06-10 20:04:06
703阅读
springboot集成kafka一、kafka简介二、kafka和zookeeper安装部署1、单容器手动部署方案2、docker-compose容器编排工具部署3、集群部署zookeeper和kafka三、springboot集成kafka1、创建springboot项目(生产者/消费者)2、实现生产者业务逻辑3、实现消费者业务逻辑 一、kafka简介Kafka是最初由Linkedin公司开
转载
2024-02-10 21:04:03
813阅读
最近做的一个项目，使用的是pg数据库，公司没有成熟的DCD组件，为了实现数据变更消息发布的功能，我使用SpringBoot集成Flink-CDC 采集PostgreSQL变更数据发布到Kafka。一、业务价值监听数据变化，进行异步通知，做系统内异步任务。架构方案（懒得写了，看图吧）：二、修改数据库配置2.1、更改配置文件postgresql.conf# 更改wal日志方式为logical（必须
转载
2023-11-23 17:09:57
582阅读
分流案例模板代码public class FlinkApp {
public static void main(String[] args) throws Exception {
//得到执行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironme
转载
2024-04-25 14:56:57
91阅读
文章目录八、Flink项目实战1、需求背景2、数据流程设计3、应用实现4、实现效果分析 Flink流式计算实战专题五 ==楼兰 八、Flink项目实战 这一个章节，我们来找一个常见的流式计算场景，将Flink真正用起来。1、需求背景 现在网络直播平台非常火爆，在斗鱼这样的网络直播间，经常可以看到这样的总榜排名，体现了主播的活跃度。我们就以这个贡献日榜为例，来设计一个Flink的计算程序。 大
转载
2023-09-04 17:08:08
272阅读
在flink中的时间窗口中有个重要概念，就是watermark，也就是我们经常谈论的水印，这里我们不对水印的概念和使用方式进行介绍，这里从源码的角度来看，如何不断的生成水印。在flink中，有两种水印TimestampsAndPunctuatedWatermarksOperatorTimestampsAndPeriodicWatermarksOperator我们编写原因水印的代码如下：//抽取ti
转载
2024-04-12 06:03:57
161阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》业务如下：接收kafka数据，转为user对象，调用async，使用user.id 查询对应的phone，放回user对象，输出主类：import com.alibaba.fastjson.JSON;import com.venn.common.Common;import org.apache.flink.formats.json.JsonNodeDeserializa.
原创
2021-06-10 20:04:04
383阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》业务如下：接收kafka数据，转为user对象，调用async，使用user.id 查询对应的phone，放回user对象，输出主类：import com.alibaba.fastjson.JSON;import com.venn.common.Common;import org.apache.flink.formats.json.JsonNodeDeserializa.
原创
2021-06-10 20:04:05
399阅读
1.初识
Flink 起源于 Stratosphere 项目，Stratosphere 是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014 年 4 月 Stratosphere 的代 码 被 复 制 并 捐 赠 给 了 Apache 软 件 基 金 会 ， 参 加 这 个 孵 化 项 目 的 初 始 成 员 是Stratosphere
转载
2024-04-03 14:08:58
89阅读
业务如下： 接收kafka数据，转为user对象，调用async，使用user.id 查询对应的phone，放回user对象，输出 主类： import com.alibaba.fastjson.JSON; import com.venn.common.Common; import org.apac
转载
2020-10-07 22:32:00
110阅读
序号作者版本时间备注1HamaWhite1.0.02022-11-22增加文档一、基础信息1.1 组件版本Flink: 1.13.0JDK： 1.8Mysql: 8.0.15com.ververica:flink-connector-mysql-cdc:2.0.0org.apache.flink:flink-connector-jdbc_2.11:
转载
2024-10-23 17:54:51
56阅读
