一、Flink是什么 Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Flink ha
转载
2024-08-14 17:59:13
33阅读
MySQL CDC连接器允许从MySQL数据库读取快照数据和增量数据。本文档根据官网翻译了如何设置MySQL CDC连接器以对MySQL数据库运行SQL查询。依赖关系为了设置MySQL CDC连接器，下表提供了使用构建自动化工具（例如Maven或SBT）和带有SQL JAR捆绑包的SQL Client的两个项目的依赖项信息。1、Maven依赖<dependency><groupId>com.alibaba.ververica</groupId>
转载
2021-06-10 19:58:01
2833阅读
1评论
MySQL CDC连接器允许从MySQL数据库读取快照数据和增量数据。本文档根据官网翻译了如何设置MySQL CDC连接器以对MySQL数据库运行SQL查询。依赖关系为了设置MySQL CDC连接器，下表提供了使用构建自动化工具（例如Maven或SBT）和带有SQL JAR捆绑包的SQL Client的两个项目的依赖项信息。1、Maven依赖<dependency><groupId>com.alibaba.ververica</groupId>
转载
2021-06-10 19:58:00
1279阅读
导读：数据仓库是公司数据发展到一定规模后必然需要提供的一种基础服务，也是“数据智能”建设的基础环节。迅速获取数据反馈不仅有利于改善产品及用户体验，更有利于公司的科学决策，因此获取数据的实时性尤为重要。目前企业的数仓建设大多是离线一套，实时一套。业务要求低延时的使用实时数仓；业务复杂的使用离线数仓。架构十分复杂，需要使用很多系统和计算框架，这就要求企业储备多方面的人才，导致人才成本较高，且出了问题难
转载
2024-05-12 16:54:29
67阅读
brew install apache-flink1 需求1.1 Flink开发批处理应用程序词频统计(word count)一个文件，统计文件中每个单词出现的次数，分隔符是\t。统计结果我们直接打印在控制台(生产上肯定是Sink到目的地)2 开发环境2.1 Maven构建2.1.1 RequirementsMaven 3.0.4（或更高版本）Java 82.1.2 Create Project使
转载
2024-05-25 18:02:14
29阅读
本文是《Flink处理函数实战》系列的第二篇，上一篇《Flink处理函数实战之一：ProcessFunction类》学习了最简单的ProcessFunction类，今天要了解的KeyedProcessFunction，以及该类带来的一些特性；关于KeyedProcessFunction通过对比类图可以确定，KeyedProcessFunction和ProcessFunction并无直接关系：
转载
2024-03-15 11:50:59
74阅读
目录1 前置说明1.1 API1.2 编程模型2 准备工程2.1 pom文件3 Flink初体验3.1 需求3.2 编码步骤3.3 代码实现3.3.1 基于DataSet3.3.2 基于DataStream3.3.3 Lambda版3.3.4 在Yarn上运行1 前置说明1.1 API⚫ API Flink提供了多个层次的API供开发者使用，越往上抽象程度越高，使用起来越方便；越往下越底层，使用起
转载
2023-10-29 14:39:31
131阅读
Flink的两种基本状态Flink包含两种基本的状态 Keyed State 和 Operator StateKeyed State Keyed State 通常和 key 相关，仅可使用在 KeyedStream 的方法和算子中。你可以把 Keyed State 看作分区或者共享的 Operator State, 而且每个 key 仅出现在一个分区内。 逻辑上每个 keyed-state 和唯一
转载
2024-03-11 10:05:07
85阅读
Flink的Checkpoint和savepoint的区别和作用一、Flink的checkpointflink的checkpoint是异步的、分布式的、轻量级的，将同一时间点的task/operator的状态数据全局统一快照处理，包括用户自定义的keyed state和operator state 当未来程序出现问题，可以基于保存的快照容错。checkpoint的原理A：flink会在输入的数据集
转载
2024-02-20 10:38:34
73阅读
状态管理 算子状态（operator state） 算子状态的作用范围限定为算子任务。 这意味着由同一并行任务所处理的所有数据都可以访问到相同的状态，状态对于同一任务而言是共享的。算子状态不能由相同或不同算子的另一个任务访问。 Flink为算子状态提供三种基本数据结构： &nbs
转载
2024-06-17 05:15:23
35阅读
需求分析： 标准化：日志放哪里( /data/logs)，格式是什么（JSON） 命名规则（access_log error_log runtime_log）日志怎么切割access error crontab进行切分 runtime_log,所有文本rsync到NAS后删除最近三天前的 工具化：如
原创
2021-09-10 14:44:10
157阅读
# Dockerfile生产案例实现步骤
## 概述
Dockerfile是用于构建Docker镜像的一种文本格式，它包含了一条条的指令，每条指令构建镜像的一层。在本文中，我们将指导刚入行的小白如何使用Dockerfile来实现一个简单的生产案例。
## 整体流程
下表展示了整个实现过程的步骤和对应的操作：
| 步骤 | 操作 |
| --- | --- |
| 1 | 创建一个空目录作为工
原创
2023-07-27 15:51:28
51阅读
本文基于事件驱动场景来讲解下在企业中的实际应用以及所遇到的坑。（关于Flink主题的所有文章已整理同步到在线腾讯文档，本文中涉及到其他知识点都可在文档中查看，后台回复【文档】获取链接）。需求背景某日，小明早上10点打卡到公司，先来一杯热水润润嗓子，打开音乐播放器带上心爱的降噪耳机看看新闻，静静等待11点半吃午饭。突然消息框亮了起来，这个时候小明心想要么来需求了，要么数据就有问题了。这个时候运营A部
转载
2024-07-04 10:47:27
50阅读
第1章 简介在前面的文章中，介绍了Flink相关环境的准备，并且完成了一个简单的Flink开发环境的搭建；本篇文章介绍一个完整的端到端涵盖Flink计算的案例：客户端=>Web API服务=>Kafka=>Flink=>MySQL。本次仍然以Flink Table API/SQL为例，采用docker-compose的方式进行部署。（文章中只给出关键部分代码，完整代码详见后
转载
2024-08-23 15:01:45
25阅读
在上一篇文章中掌握了StreamTableEnvironment的基本概念，下面就进入代码实战环节：一、实例中采用socket连接方式，获取数据流信息，使用 nc -l 端口号方式，开启端口监控，用来数据数据信息，实例中使用9999作为端口，命令行中输入：nc -l 9999 二、本实例主要功能是完成根据学生姓名实现分数统计 三、具体依赖实体类如下： @Data
public class
转载
2024-03-18 09:16:27
107阅读
1一、前言在大数据时代，金融科技公司通常借助消费数据来综合评估用户的信用和还款能力。这个过程中，某些中介机构会搜集大量的号并进行“养号”工作，即在一年周期里让这些号形成正常的消费、通讯记录，目的是将这些号“培养”得非常健康，然后卖给有欺诈意向的用户。这类用户通过网上信息提交审核，骗到贷款后就“销声匿迹”了。那么，如何更快速地预防或甄别可能的欺诈行为？如何从超大规模、高并发、多维度的数据中实现在线实
转载
2024-07-19 14:22:34
32阅读
第13讲：如何实现生产环境中的 Flink 高可用配置我们在第 06 课时“Flink 集群安装部署和 HA 配置”中讲解了 Flink 的几种常见部署模式，并且简单地介绍了 HA 配置。概述事实上，集群的高可用（High Availablility，以下简称 HA）配置是大数据领域经典的一个问题。通常 HA 用来描述一个系统经过专门的设计，从而减少停工时间，而保持其服务的高度可用性。我们在第 0
本文阐述了使 Flink 应用达到生产就绪状态所需要的一些配置步骤。在以下部分中，我们概述了重要的配置参数，这些参数是技术领导、DevOps、工程师们在将 Flink 应用程序上线生产之前都需要仔细考虑的。Apache Flink 为大多数配置都提供了开箱即用的默认选项，在许多情况下，它们是POC阶段（概念验证）或探索 Flink 不同 API 和抽象的很好的起点。然而，将 Flink 应用程序投
转载
2024-05-06 21:26:41
58阅读
# Flink YARN 案例分析
Apache Flink 是一个流式数据处理框架，它能够高效、可靠地处理数据流任务。YARN（Yet Another Resource Negotiator）是Hadoop的资源管理系统，适用于大规模集群处理。本文将结合Flink与YARN的使用场景，介绍如何通过案例加深理解。
## 项目背景
在现代数据处理中，企业往往需要处理大量的实时数据流。Flink
原创
2024-09-18 07:48:36
24阅读
# Apache Flink 案例及应用解析
Apache Flink 是一个开源的大数据处理框架，专用于流处理和批处理。它能够处理大规模数据集，并提供高吞吐量和低延迟的性能。本文将通过一个简单的Java示例来演示Flink的基本用法，并展示Flask在实际数据处理中的应用。
## 简介
Flink 强调实时处理，支持任务的分布式执行，并提供强大的状态管理能力。以下是一个简单的示例，通过Fl
