1.概述在流数据应用场景中，往往会通过Flink消费Kafka中的数据，然后将这些数据进行结构化到HDFS上，再通过Hive加载这些文件供后续业务分析。今天笔者为大家分析如何使用Flink消费Kafka的数据后，将消费后的数据结构化到Hive数据仓库中。2.内容Hive能够识别很多类型的文件，其中包含Parquet文件格式。因此，我们只需要将Flink消费Kafka后的数据以Parquet文件格式
转载
2024-03-18 20:01:25
80阅读
什么是CDC？CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。1. 环境准备mysqlHiveflink 1.13.5 on yarn说明：如果没有安装hadoop，那么可以不用
转载
2023-07-28 23:08:12
169阅读
一、背景以前写的比较多的是spark，传入外部参数，通常有两种方法： 1、用main方法传入，代码中通过args获取（基本上只要是个java程序，就可以通过这种方式来传参）2、通过--conf 传入一个spark开头的key的配置，代码中通过sparkConf来获取对应的value（这个是spark独有的特性）那么flink如何读取properties，又如何读取外部传入的参数呢？二、正文1、ma
转载
2023-08-26 15:21:43
153阅读
一、准备工作在文件存储HDFS上使用Apache Flink，需要先完成以下准备工作。说明 本文档的操作步骤中涉及的安装包版本号、文件夹路径，请根据实际情况进行替换。开通文件存储HDFS服务并创建文件系统实例和挂载点，详情请参见HDFS快速入门。在计算节点上安装JDK。版本不能低于1.8。在计算节点上安装Scala。Scala下载地址：官方链接，其版本要与使用的Apache Flink版
转载
2023-10-08 19:21:48
1265阅读
在 Flink 中使用表和 SQL基本上跟其他场景是一样的；不过对于表和流的转换，却稍显复杂。当我们将一个 Table 转换成 DataStream 时，有“仅插入流”（Insert-Only Streams）和“更新日志流”（Changelog Streams）两种不同的方式，具体使用哪种方式取决于表中是否存在更新（update）操作。这种麻烦其实是不可避免的。我们知道，Table API 和
转载
2023-07-28 10:38:22
1731阅读
Flink系列Table API和SQL之：动态表、持续查询、将流转换成动态表、更新查询、追加查询、将动态表转换为流、更新插入流一、表和流的转换二、动态表三、持续查询四、将流转换成动态表五、更新查询六、追加查询七、将动态表转换为流八、更新插入流(Upsert) 一、表和流的转换Flink中使用表和SQL基本上跟其他场景是一样的。不过对于表和流的转换，却稍显复杂。当我们将一个Table转换成Dat
转载
2023-07-26 13:39:05
602阅读
# Flink读取Hadoop配置
## 流程概述
在使用Flink进行数据处理时，通常需要读取Hadoop的配置信息。本文将介绍如何使用Flink读取Hadoop的配置，并教会刚入行的小白如何实现。
### 步骤概览
下表展示了整个流程的步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1. | 创建一个Flink的ExecutionEnvironment对象 |
原创
2024-01-19 07:26:25
230阅读
import java.lang.Iterable
import org.apache.flink.api.common.functions.GroupReduceFunction
import org.apache.flink.api.java.aggregation.Aggregations.SUM
import org.apache.flink.api.java.utils.Paramet
转载
2024-10-14 13:28:12
36阅读
业务背景&痛点流式处理的业务场景，经常会遇到实时消息数据需要与历史存量数据关联查询或者聚合，比如电商常见的订单场景，订单表做为实时事实表，是典型的流式消息数据，通常会在 kafka 中，而客户信息，商品 SKU 表是维度表，通常存在业务数据库或者数仓中，是典型的离线数据。实时订单数据在实时处理时通常需要事实表与维度表 join 做 reference 补全，以便拿到订单详情并实时统计当天或
Flink（八）CDC一.简介二.DataStream方式1.MySQL binlog开启2.相关依赖3.编写代码4.打包5.测试三.自定义反序列化 一.简介CDC 是 Change Data Capture(变更数据获取)的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费CDC的
转载
2023-08-20 20:08:00
132阅读
什么是CDC？CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。1. 环境准备mysqlkafka 2.3flink 1.13.5 on yarn说明：如果没有安装hadoop，那
转载
2024-03-04 17:05:09
166阅读
目录CDC 简介step 1 配置 mysql 开启binlog step 2 flink 测试 mysql cdcStep 3 flink cdc 实时ETL 实例endCDC 简介 Change Data Capture 变更数据捕获，我们可以通过 CDC 得知数据源表的更新内容（包含Insert Upd
转载
2023-08-18 16:35:22
399阅读
## Flink动态读取MySQL配置
Flink是一个强大的流处理框架，它可以处理大规模的数据流，并具备容错性和高可用性。在Flink应用程序中，有时候需要从外部配置文件中读取一些配置项，比如连接数据库的用户名、密码、数据库名称等。本文将介绍如何在Flink应用程序中动态读取MySQL配置，并提供相应的代码示例。
### 为什么需要动态读取MySQL配置
在实际生产环境中，Flink应用程
原创
2023-11-24 06:03:06
388阅读
# Flink算子读取Redis配置教程
## 1. 概述
本教程旨在教会刚入行的开发者如何在Flink中实现读取Redis配置的功能。在这个教程中，我们将使用Flink的DataStream API和Jedis库来实现这个功能。
## 2. 整体流程
下面是实现“Flink算子读取Redis配置”的整体流程：
```mermaid
flowchart TD
A[初始化Flink
原创
2023-12-05 06:28:39
262阅读
# 教你如何使用flink读取redis配置数据
## 流程概述
首先，我们需要确保你已经安装好了flink和redis，并且已经对flink有一定的了解。然后我们将通过以下步骤来实现“flink 读取redis配置数据”。
| 步骤 | 操作 |
| ---- | ---- |
| 步骤一 | 引入flink-connector-redis的依赖 |
| 步骤二 | 创建一个RedisInp
原创
2024-06-26 03:43:12
234阅读
文章目录前言Map算子FlatMap算子Filter算子KeyBy算子Max、Min、Sum、Reduce算子maxminsumreduceUnion算子Connect算子CoProcessFunction、CoFlatMap、CoMapProcess 算子Side Outputs算子（原 split、select）Window算子CoGroup算子算子链式调用总结： 前言DataStream
转载
2023-09-02 21:55:53
152阅读
Flink提供了基于JDBC的方式，可以将读取到的数据写入到MySQL中；本文通过两种方式将数据下入到MySQL数据库，其他的基于JDBC的数据库类似，另外，Table API方式的Catalog指定为Hive Catalog方式，持久化DDL操作。另外，JDBC 连接器允许使用 JDBC 驱动程序从任何关系数据库读取数据并将数据写入其中。 本文档介绍如何设置 JDBC 连接器以针对关系数据库运行
转载
2023-06-11 08:40:03
614阅读
前言再来一个Flink的stream的example，提前先说下，官网的例子有点坑。一、stream例子 拷贝到我的目录（这里顺便说下一个好的工具用起来真香，idea居然可以复制的代码，粘贴自动跟我创建类） 你想文什么，我知道，先别问，继续看下面。二、example整理1.依赖引入你拷贝到你的demo项目，在自动引包的时候，会发现很多缺很多对象。 首先需要引入flink-connector-fil
转载
2024-04-24 12:06:16
101阅读
本人自己录的视频，讲解 Flink 整和 Apollo，动态更新作业配置，无需重启作业！在上一篇讲解 Flink 与 Nacos 整合的视频 中，讲过了常见的几种更新配置的方法，最常使用的可能就是通过广播流的方式，相信看完上个视频的，估计对整合 Nacos 做动态更新配置应该问题不大，zhisheng 我也觉得稍微简单，尤其 Nacos 搭建安装也比较简单。不知道大家公司有没有使用 Nacos 呢
转载
2024-05-24 19:32:01
11阅读
# Flink：将配置表从MySQL读取并写入Kafka
