前言前面 FLink 的文章中我们已经介绍了说 Flink 已经有很多自带的 Connector。其中包括了 Source 和 Sink 的，后面我也讲了下如何自定义自己的 Source 和 Sink。那么今天要做的事情是啥呢？就是介绍一下 Flink 自带的 ElasticSearch Connector，我们今天就用他来做 Sink，将 Kafka 中的数据经过 Flink 处理后然后存
转载
2024-01-17 11:36:56
44阅读
文章目录一、环境搭建1、下载2、运行3、访问4、提交作业二、入门demo1、pom文件依赖2、我的demo3、集成kafka和mysql3、运行结果 一、环境搭建1、下载下载地址：https://flink.apache.org/downloads.html#apache-flink-1124 flink-1.12.4的下载地址：https://apache.website-solution.n
转载
2023-11-02 10:28:03
119阅读
# Flink SQL 读取 Hive Demo 教程
Apache Flink 是一个强大的流处理框架，能够与多种数据源和存储结合使用。Hive 是一个数据仓库工具，用于大数据的存储和管理。在这个教程中，我们将学习如何使用 Flink SQL 读取 Hive 数据。整个流程如下所示：
## 流程概述
以下是实现 Flink SQL 读取 Hive 的步骤：
| 步骤 | 描述 |
|--
原创
2024-10-18 08:48:36
60阅读
常用命令1. 解析 binlog 排查问题如果只是解析出来查看，可以加 --base64-output=decode-rows 不显示行格式的内容：mysqlbinlog --no-defaults -vv --base64-output=decode-rows mysql-bin.0002012. 解析指定 GTID 的事务用来分析某个事务做了什么：mysqlbinlog --no-defaul
转载
2024-07-04 10:47:04
106阅读
1、前提背景准备
Flink在1.11之后就已经支持从
MySQL增量
读取Binlog日志的方式。pom文件如下：<properties>
<scala.binary.version>2.11</scala.binary.version>
<scala.version>2.11.12</scala.version>
&
转载
2023-08-31 08:30:56
223阅读
风雨送春归，飞雪迎春到。已是悬崖百丈冰，犹有花枝俏。俏也不争春，只把春来报。待到山花烂漫时，她在丛中笑。选自《卜算子·咏梅》图片来自网络，如侵权，请联系删除有不少读者反馈，参考上篇文章《Hive 终于等来了 Flink》部署 Flink 并集成 Hive 时，出现一些 bug 以及兼容性等问题。虽已等来，却未可用。所以笔者增加了这一篇文章，作为姊妹篇。回顾在上篇文章中，笔者使用的 CDH 版本为
转载
2023-12-05 16:49:40
68阅读
众所周知，Flink 是当前最为广泛使用的计算引擎之一，它使用 Checkpoint 机制进行容错处理 [1]，Checkpoint 会将状态快照备份到分布式存储系统，供后续恢复使用。在 Alibaba 内部，我们使用的存储主要是 HDFS，当同一个集群的 Job 到达一定数量后，会对 HDFS 造成非常大的压力，本文将介绍一种大幅度降低 HDFS 压力的方法——小文件合并。背景不管使用 FsSt
转载
2024-08-06 13:04:51
86阅读
FlinkStreamETL0.功能说明概括：利用Flink实时统计Mysql数据库BinLog日志数据，并将流式数据注册为流表，利用Flink SQL将流表与Mysql的维表进行JOIN，最后将计算结果实时写入Greenplum/Mysql。1.需求分析1.1需求实时统计各个地区会议室的空置率，预定率，并在前端看板上实时展示。源系统的数据库是Mysql，它有三张表，分别是：t_meeting_i
转载
2023-07-25 22:25:50
0阅读
目前跑通的读写MySQL的方式有三种，一种是直接使用flink自带的JDBCInputFormat和JDBCOutputFormat，一种是自定义source和sink，最后一种是通过DDL连接MySQL进行读写（但是这种只在idea调试通了，打包上传后运行报错，因此比较的时候只比较前两种）。引入依赖<!-- https://mvnrepository.com/artifact/mysql/
转载
2023-06-02 11:45:56
1699阅读
目录一、功能需求说明二、前期准备工作2.1 需要导入mysql驱动2.2 mysql建立表及插入数据2.3 启动Kafka的topic2.4 编写 Flink相关应用代码三、 启动Flink 应用程序及向Kafka生产数据 3.1 可以在idea本地启动 C01_QueryActivityName 3.2 通过向Kafka-producer生产数据
转载
2023-09-20 16:33:44
159阅读
该demo基于flnk 1.10版本，由flink大佬fhueske发布到github：https://github.com/fhueske/flink-sql-demo。动手实践前请先git clone https://github.com/fhueske/flink-sql-demo.git。由于该demo内容较多，所以文章拆成了2部分，此为第一部分。场景和数据介绍此demo主要演示：Flin
转载
2023-10-24 15:03:24
221阅读
# 实现 Flink SQL Kafka MySQL Demo
## 1. 简介
本文将介绍如何使用 Apache Flink 和 Kafka 和 MySQL 实现一个简单的实时数据处理示例。首先，我们将使用 Flink SQL 从 Kafka 主题中读取数据，然后将处理后的数据写入 MySQL 数据库中。
## 2. 整体流程
下面是实现该示例的整体流程：
```flow
st=>st
原创
2023-08-10 12:13:59
174阅读
什么是CDC？CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。1. 环境准备mysqlHiveflink 1.13.5 on yarn说明：如果没有安装hadoop，那么可以不用
转载
2023-07-28 23:08:12
169阅读
什么是数据异构？简单讲，就是将数据进行异地数据异构存储。数据异构服务市场使用 BinLake（京东 MySQL 的 Binlog 日志实时采集、统一分发、消息订阅和监控服务）进行数据异构，即通过订阅 MySQL 的 Binlog 日志，通过接收 JMQ 进行数据异地构建存储。数据异构主要有两种方式，一种是顺序消费、另一种是并行消费。其中，在进行订单、订购的数据异构时是要求保证严格的顺序性的，因为并
转载
2024-04-18 13:54:33
48阅读
目录1. 写入方式1.1 CDC Ingestion1.2 Bulk Insert1.3 Index Bootstrap2. 写入模式2.1 Changelog Mode2.2 Append Mode3. write写入速率限制4. 读取方式4.1 Streaming Query4.2 Incremental Query 1. 写入方式1.1 CDC Ingestion有两种方式同步数据到Hud
转载
2023-07-14 17:09:34
376阅读
作者：腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。本文将为您详细介绍如何取 MySQL 数据，
转载
2023-05-25 13:51:14
1297阅读
## Flink MySQL增量读取简介
在实时数据处理中，数据源的选择非常重要。MySQL数据库作为一种常见的关系型数据库，被广泛应用于各种场景。本文将介绍如何使用Apache Flink作为数据处理框架，实现对MySQL数据库的增量读取。
### Flink简介
Apache Flink是一个基于流的分布式数据处理引擎，提供了丰富的API和库，支持实时数据处理和批处理。通过Flink，可
原创
2024-05-28 06:42:26
81阅读
# 使用 Flink 拆分读取 MySQL 数据的完整指南
Apache Flink 是一个强大的流处理框架，能够与多种数据源进行连接。MySQL 是非常常见的关系型数据库，很多数据分析和实时处理场景都需要从中读取数据。在本文中，我们将详细介绍如何使用 Flink 从 MySQL 数据库中拆分读取数据。我们将通过分步流程、必要的代码示例以及图示来帮助你理解这个过程。
## 整体流程
在进行
# Flink读取MySQL示例
## 介绍
Apache Flink是一个流处理和批处理框架，能够处理大规模的数据，并提供稳定性和容错性。与传统的批处理框架相比，Flink能够实时处理数据，而不需要等待所有数据都到达。
在实际的数据处理过程中，我们经常需要从各种数据源（如MySQL、Hadoop等）中读取数据并进行处理。本文将以读取MySQL数据为例，介绍如何使用Flink实现。
##
原创
2024-02-03 11:45:47
66阅读
# 使用 Flink CDC 读取 MySQL 数据
Apache Flink 是一个流处理框架，能够高效地处理实时数据流。Flink 的变化数据捕获（Change Data Capture，CDC）功能使得用户能够实时读取和处理数据库中的变更数据。本文将介绍如何使用 Flink CDC 从 MySQL 数据库中读取数据，并提供代码示例和序列图。
## 什么是 Flink CDC？
变化数据
