前言Flink 1.9 版本开源了很多 Blink 方面的功能，尤其是在 SQL 方面，这使得我们在开发 Flink 实时任务变得更加方便。目前 Blink SQL 支持了 Create Table 功能，以及维表的功能。我们的实时任务整体流程为，读取Kafka的数据，然后去关联 HBase 维表的数据，最后在输出到 Kafka 中，虽然整体流程跑通，但是其中也遇到了很多坑，这里记录一下，和大家一
转载
2024-02-09 21:22:25
40阅读
背景Flink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言。自 2015 年开始，阿里巴巴开始调研开源流计算引擎，最终决定基于 Flink 打造新一代计算引擎，针对 Flink 存在的不足进行优化和改进，并且在 2019 年初将最终代码开源，也就是我们熟知的 Blink。Blink 在原来的 Flink 基础上最显著的一个贡
转载
2023-08-08 11:09:54
289阅读
Flink流处理API运行环境EnvironmentgetExecutionEnvironment创建一个执行环境，表示当前执行程序的上下文。 如果程序是独立调用的，则此方法返回本地执行环境；如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境，也就是说，getExecutionEnvironment 会根据查询运行的方式决定返回什么样的运行环境，是最常用的一种创建执行环境的方式。
转载
2024-03-26 15:04:58
80阅读
整理：陈政羽（Flink 社区志愿者） Flink 1.11 引入了 Flink SQL CDC，CDC 能给我们数据和业务间能带来什么变化？本文由 Apache Flink PMC，阿里巴巴技术专家伍翀 (云邪）分享，内容将从传统的数据同步方案，基于 Flink CDC 同步的解决方案以及更多的应用场景和 CDC 未来开发规划等方面进行介绍和演示。传统数据同步方案基于 Flink SQ
转载
2024-03-19 23:09:27
46阅读
文章目录一 Flink Table API & SQL1 什么是 Table API 和 Flink SQL2 引入依赖3 动态表（1）动态表和连续查询（2）在流上定义表（3）连续查询a 聚合操作b 开窗口二 使用FlinkSQL实现实时TopN 一 Flink Table API & SQL1 什么是 Table API 和 Flink SQLFlink 本身是批流统一的处理框
转载
2023-07-11 16:56:34
211阅读
文章目录一、数据打宽1.1、ETL架构1.2、数据打宽1.3、利⽤ Flink SQL 打宽实时数据二、双流 Join & 区间 Join2.1、双流 Join (Regular Join)2.2、区间 Join (Interval Join)三、时态表 Join3.1、时态 (Temporal)表 VS 临时(Temporary)表3.2、时态(Temporal )表 概念3.3、时态
转载
2023-07-14 17:12:28
142阅读
1. 基础知识1.抽象出来一个动态表，并未进行存储，是Flink支持流数据的table API 和sql的核心概念，随时间变化的，查询动态表会生成一个连续的查询，结果是一个动态表 2.hive进入命令行需要先启动元数据服务，在查数据的时候数据是不变的 3.除非是有界流，否则连续的查询是不会停止的 4.将流转化（定义）成动态表，在动态表上计算一个连续的查询，生成一个新的动态表，最后转换成流，连续查询
转载
2023-08-04 18:57:39
472阅读
实战 | flink sql 实时 TopN1.背景篇2.难点剖析篇-此类指标建设、保障的难点2.1.数据建设2.2.数据保障2.3.数据服务保障3.数据建设篇-具体实现方案详述3.1.整体数据服务架构3.2.flink 方案设计3.3.数据源3.4 数据汇3.5.数据建设方案1、内层 rownum + 外层自定义 udf方案2、自定义 udf3.6.高可用、高性能3.6.1.整体高可用保障3.
转载
2023-11-15 22:01:24
66阅读
一、TableAPI和SQL概述Flink本身是批流统一的处理框架，所以Table API和SQL，就是批流统一的上层处理API。目前功能尚未完善，处于活跃的开发阶段。Table API是一套内嵌在Java和Scala语言中的查询API，它允许我们以非常直观的方式，组合来自一些关系运算符的查询（比如select、filter和join）。而对于Flink SQL，就是直接可以在代码中写SQL，来实
转载
2023-10-10 08:39:57
102阅读
一.OPPO 实时数仓的演进思路本文主要内容如下：OPPO 实时数仓的演进思路；基于 Flink SQL 的扩展工作；构建实时数仓的应用案例；未来工作的思考和展望。1.1.OPPO 业务与数据规模大家都知道 OPPO 是做智能手机的，但并不知道 OPPO 与互联网以及大数据有什么关系，下图概要介绍了 OPPO 的业务与数据情况：OPPO 作为手机厂商，基于 Android 定制了自己的 Color
转载
2024-06-22 20:09:46
28阅读
第1章 需求分析及实现思路1.1 分层需求分析 在之前介绍实时数仓概念时讨论过，建设实时数仓的目的，主要是增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。 我们这里从 kafka 的 ods 层读取用户行为日志以及业务数据，并进行简单处理，写回到 kafka
转载
2023-11-09 10:07:09
93阅读
Flink Sql Gateway是Flink集群的“任务网关”，支持以rest api的形式提交查询、插入、删除等任务。 官网推荐与Flink jdbc driver搭配使用，不过jdbc driver限制了很多功能，如果自己开发数据平台，最好还是直接使用sql gateway。想要透彻的使用sql gateway，需要了解一下问题：1 如何处理并发请求？多个提交怎么处理？2
转载
2024-03-30 09:23:18
44阅读
Flink SQL 实时监控 Hive
在现代数据处理场景中，Apache Flink 和 Apache Hive 的结合为实时数据分析提供了强有力的支持。随着业务需求的增长，监控这些实时流处理任务的执行状况变得尤为重要。本文将详细阐述如何实现 Flink SQL 对 Hive 的实时监控，提供清晰的调试步骤、性能优化策略、排错指南以及最佳实践。
### 背景定位
在金融领域，数据实时性直接
1 描述利用FLINK SQL 构建一个数据实时分析平台,主要包含以下两个需要实现的需求点1 FLINK SQL 从KAFKA消费数据，并将数据写入到ES 通过KIBANA查询2 FLINK SQL 从KAFKA消费数据，计算每十分钟用户独立数据（UV）2 系统版本1 Java 8+2 flink 1.10 +3 elasticsearch 6+4 kibana 6+3 数据处理流程 &
转载
2024-03-05 14:05:33
113阅读
目录简介原理Flink Table & SQL案例pom依赖Student数据类型实现数据源实现案例实现 简介Flink 自身提供了不同级别的抽象来支持我们开发流式或者批量处理程序，下图描述了 Flink 支持的 4 种不同级别的抽象。 Table API 和 SQL 处于最顶端，是 Flink 提供的高级 API 操作。Flink SQL 是 Flink 实时计算的简化计算模型，降低用
转载
2023-09-27 22:22:53
75阅读
01 FlinkSql在B站目前在B站，线上大概有4000+的flink实时任务，主要支撑数据集成,实时数仓，模型训练，特征指标计算，以及增量化等业务。其中90%以上都是sql任务，存量的jar包任务，也在逐步推进尽可能往sql改写，sql在计算描述上的优点比较明显，既降低了用户的使用运维门槛，也降低了平台日常的答疑成本。大量的sql作业，对flinksql本身可用性提出了比较高的要求，我们的主版
转载
2023-10-13 21:04:19
366阅读
一、发展历程作业帮主要运用人工智能、大数据等技术，为学生提供更高效的学习解决方案。因此业务上的数据，主要是学生的到课情况、知识点掌握的情况这些。整体架构上，无论是 binlog 还是普通日志，经过采集后写入 Kafka，分别由实时和离线计算写入存储层，基于 OLAP 再对外提供对应的产品化服务，比如工作台、BI 分析工具。作业帮的实时计算目前基本以 Flink 为主，发展历程大概有三个
需求描述最近需要将mysql数据库的某个表中的一个状态信息统计结果并实时显示到数据大屏上思路首先使用flinkcdc监听mysql中的特定表 然后编写一定的处理逻辑得出结果数据 将结果数据通过flink写入到mysql的结果表中技术选型java 1.8mysql 8.0.28flink 1.11.3flink cdc 1.1.0实现数据order_info表（需要处理的数据）flink_count
转载
2024-04-01 09:31:42
127阅读
Flink Table & SQL 概述背景Flink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言。 DataStream 和 DataSet 两套 API，并没有做到事实上的批流统一，因为用户还是使用了2套API。正是因为 Flink Table & SQL 的加入，可以说 Flink 在某种程度上做到了事
转载
2023-09-07 05:52:51
114阅读
1、ETL背景在我们实时数仓日常工作中，经常会有一些实时的需求，这些需求往往都是一些拉宽的需求。为了给实时数仓来进行OLAP对来进行Ad-hoc查询，但是我们工作中一些维度表的数据是会发生变化的，可能是缓慢变化维度。那么这个时候就需要进行flink连接其他数据源来进行查询。那么这个时候我们肯定可以想到就是来一条查一次，这个是肯定可以做到的。但是在大数据场景下，我们是不是会觉得有点慢呢？我们是否有更
转载
2023-07-11 16:58:08
595阅读
