1.创建表环境 对于 Flink 这样的流处理框架来说，数据流和表在结构上还是有所区别的。所以使用 TableAPI 和 SQL 需要一个特别的运行时环境，这就是所谓的“表环境”（TableEnvironment）。它主要负责：（1）注册 Catalog 和表；（2）执行 SQL 查询；（3）注册用户自定义函数（UDF）；（4）DataStream 和表之间的转换。 这里的 Catalog 就是“
转载
2023-11-27 03:25:18
50阅读
## 实现“flink 采集mysql”教程
### 一、流程概述
在这个教程中，我们将使用Apache Flink来实现从MySQL数据库中采集数据的过程。整个过程可以分为以下几个步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 创建Flink环境 |
| 2 | 配置MySQL连接信息 |
| 3 | 从MySQL中读取数据 |
| 4 | 对数据进行处理 |
| 5
原创
2024-04-01 04:13:28
47阅读
standalone 模式的高可用部署flink 使用zookeeper协调多个运行的jobmanager,所以要启用flink HA 你需要把高可用模式设置成zookeeper，配置zookeeper相关参数，并且在masters配置文件中配置所有的jobmanager主机地址和web UI 端口在一下例子中，我们配置node1,node2,node3三个jobmanager编辑conf/mas
转载
2024-04-25 12:08:55
34阅读
Flink Window 窗口概念和数据处理Flink的Window操作1. 什么是window2. 时间窗口2.时间窗口案例1.tumbling-time-window (翻滚窗口-无重叠数据)2. sliding-time-window (滑动窗口-有重叠数据)3. 小结3.统计窗口Count-Window1 tumbling-count-window (无重叠数据)2 sliding-co
转载
2024-01-03 06:08:23
66阅读
flink Data Sink 介绍(六)首先 Sink 的意思是：大概可以猜到了吧！Data sink 有点把数据存储下来(落库)的意思。如上图，Source 就是数据的来源，中间的 Compute 其实就是 Flink 干的事情，可以做一系列的操作，操作完后就把计算后的数据结果 Sink 到某个地方。(可以是 MySQL、ElasticSearch、Kafka、Cassa
转载
2024-02-02 19:50:56
114阅读
大数据课程之Flink第一章 Flink简介1、初识Flink Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。 Flink起源于Stratosphere项目，Stratosphere是在2010~2014年由3
#### 1.1 普通实时计算与实时数仓比较 普通的实时计算优先考虑时效性，所以从数据源采集经过实时计算直接得到结果。如此做时效性更好，但是弊端是由于计算过程中的中间结果没有沉淀下来，所以当面对大量实时需求的时候，计算的复用性较差，开发成本随着需求增加直线上升。实时数仓基于一定的数据仓库理念，对数据处理流程进行规划、分层，目的是提高数据的复用性。 #
转载
2023-09-22 12:53:21
109阅读
## Flink CDC采集MySQL
### 什么是Flink CDC？
Flink CDC（Change Data Capture）是Apache Flink的一个功能，用于实时捕获和处理数据源中的更改。它可以监控任何支持事务日志的数据库，并将更改事件流式传输到Flink中进行实时处理。在本文中，我们将介绍如何使用Flink CDC来采集MySQL数据库中的数据，并进行实时分析和处理。
原创
2024-01-31 11:08:32
108阅读
# 使用 Flink 采集 MySQL Binlog 的探索之旅
## 引言
随着大数据技术的发展，实时数据处理变得越来越重要。MySQL 作为一个流行的关系型数据库，它的 Binlog（Binary Log）记录了所有对数据库的更改，是实现数据变更捕获的理想选择。而 Apache Flink 作为一个强大的流处理框架，可以轻松地从 MySQL 的 Binlog 中实时提取数据。
在本篇文章
# Flink SQL 采集 MySQL
## 概述
Flink 是一个流式数据处理框架，可以用于实时数据流的计算和分析。Flink SQL 是 Flink 提供的一种处理数据的语言，可以通过 SQL 语句来操作和分析数据。本文将介绍如何使用 Flink SQL 采集 MySQL 数据库的数据。
## 准备工作
在开始之前，需要确保已经安装并配置好以下环境：
- Java Develop
原创
2024-02-01 09:15:40
53阅读
MySQL数据库迁移(数据文件直接迁移)在今年10月下旬的时候，公司的服务器需要迁移，其中涉及到了MySQL数据库迁移。查看了一下MySQL数据文件的大小，接近60G的大小(实际数据并没用那么多)。由于服务器上业务需要，要尽量减少服务器迁移时的损失。所以迁移时间选在了晚上零点开始，而且要尽量减少迁移所用的时间。在迁移之前有三种方案： 数据库直接导出，拷贝文件到新服务器，在新服务器上导入。 使用
转载
2023-09-03 13:20:23
100阅读
1、首先导入依赖<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<maven.compiler.source>8</maven.compiler.source>
<maven
转载
2023-09-03 19:34:57
63阅读
根据[1]:'''这里面的核心就是 checkpoint 机制，Flink 使用 checkpoint 机制来进行状态保证，在 Flink 中 checkpoint 是一个定时触发的全局异步快照，并持久化到持久存储系统上（通常是分布式文件系统）。发生故障后，Flink 选择从最近的一个快照进行恢复。有用户的作业状态达到 GB 甚至 TB 级别，对这么大的作业状态做一次 checkpoint 会非常
转载
2023-08-03 18:50:33
234阅读
五、Flink运行架构4.1 任务提交流程Flink任务提交后，Client向HDFS上传Flink的Jar包和配置，之后向Yarn ResourceManager提交任务，ResourceManager分配Container资源并通知对应的NodeManager启动ApplicationMaster，ApplicationMaster启动后加载Flink的Jar包和配置构建环境，然后启动JobM
### Flink 实现 Kafka 到 Mysql 数据采集
在实时数据处理领域，Apache Flink 是一个非常流行的流处理引擎，而 Kafka 是一个高性能、分布式的消息队列系统。本文将介绍如何使用 Flink 从 Kafka 中读取数据，并将数据写入到 Mysql 数据库中。
### 环境准备
在开始之前，需要确保以下环境已经准备好：
- JDK 8+
- Apache Fli
原创
2024-07-11 04:27:24
71阅读
上周六在深圳分享了《Flink SQL 1.9.0 技术内幕和最佳实践》，会后许多小伙伴对最后演示环节的 Demo 代码非常感兴趣，迫不及待地想尝试下，所以写了这篇文章分享下这份代码。希望对于 Flink SQL 的初学者能有所帮助。完整分享可以观看 Meetup 视频回顾 ：https://developer.aliyun.com/live/1416演示代码已经开源到了 GitHub 上：htt
转载
2024-07-18 10:42:07
101阅读
1 背景介绍Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。Flink CDC 是 Apache Flink 的一组源连接器，基于数据库日志的 Change Data Caputre 技术，实现了全量和增量的一体化读取能力，并借助 Flink 优秀的管道能力和丰富的上下游生
转载
2024-06-13 15:13:44
207阅读
# 如何实现MySQL整库迁移
## 1. 整体流程
以下是整库迁移的流程，通过表格展示：
| 步骤 | 描述 |
|------|------------------------------------------|
| 1 | 创建目标数据库 |
|
原创
2024-05-27 03:44:17
72阅读
1.笛卡尔积:多张表关联的时候,如果没有加条件限制,就会出现的一一相连的情况,这种情况的出现,如果数据庞大,会直接导致系统崩溃
如何避免:添加where条件过滤
select * from emp;
select * from dept;
--查询两张表的数据
正常的表关联
select * from emp,dept;
select * from emp,dept wher
# 实现“mysql dump 整库”教程
## 整体流程
```mermaid
journey
title 整库备份流程
section 开始
开始备份 -> 备份数据库 -> 完成备份
```
## 具体步骤
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 打开终端 |
| 2 | 进入MySQL的bin目录 |
| 3 | 使用my
原创
2024-05-14 07:00:19
24阅读
