第11章 Flink SQL编程
如果用户需要同时流计算、批处理的场景下，用户需要维护两套业务代码，开发人员也要维护两套技术栈，非常不方便。Flink 社区很早就设想过将批数据看作一个有界流数据，将批处理看作流计算的一个特例，从而实现流批统一，Flink 社区的开发人员在多轮讨论后，基本敲定了Flink 未来的技术架构，Apache Flink 有两种关系型 API 来做
转载
2024-03-28 09:10:02
74阅读
2021-06-07 修改白干了，flink 1.13 json format 可以直接解析复杂的sql，以如下格式CREATE TABLE user_log (
user_id STRING
,item_id STRING
,category_id STRING
,sub_json ROW(sub_name STRING, password STRING, sub_json RO
转载
2023-09-18 09:23:17
968阅读
环境准备 1、flink 1.13.0 2、oracle 11g 3、flink-connector-oracle-cdc 2.1.01、oracle环境配置首先需要安装oracle环境，参考 进入容器进行配置:docker exec -it oracle11 bash
# 切换到oracle用户
su - oracle
# 创建数据需要的目录,需要提前创建，否则报错目录不存在
mkdir /ho
转载
2023-12-09 13:23:36
272阅读
1 cdc 简介CDC (Change Data Capture) 是一种用于捕捉数据库变更数据的技术，Flink 从 1.11 版本开始原生支持 CDC 数据（changelog）的处理，目前已经是非常成熟的变更数据处理方案。 Flink CDC Connectors 是 Flink 的一组 Source 连接器，是 Flink CDC 的核心组件，这些连接器负责从 MySQL、Pos
转载
2024-02-02 10:03:55
324阅读
本文主要测试了flink-json*.jar与Table SQL对Json嵌套子对象和数组对象的解析方法以及SQL语句的语法,同时参考Blink定义了PrintTableSink以方便调试.
原创
精选
2019-03-27 10:06:02
10000+阅读
点赞
Flink流应用程序处理的是以数据对象表示的事件流。所以在Flink内部，我么需要能够处理这些对象。它们需要被序列化和反序列化，以便通过网络传送它们；或者从状态后端、检查点和保存点读取它们。为了有效地做到这一点，Flink需要明确知道应用程序所处理的数据类型。并为每个数据类型生成特定的序列化器、反序列化器和比较器。Flink支持非常完善的数据类型，数据类型描述信息都是由TypeInformatio
转载
2024-06-21 23:37:15
23阅读
Flink-流平台调研Flink系列文章更多Flink系列文章请点击Flink系列文章更多大数据文章请点击大数据好文1 flinkStreamSQL1 简介flinkStreamSQL是袋鼠云大数据团队基于开源的flink，对其实时sql进行了扩展；主要实现了流与维表的join，支持原生flink SQL所有的语法。优点是可以纯SQL的方式提交应用运行。缺点是目前版本只支持到Flink 1.8
转载
2024-05-24 11:38:21
42阅读
本文整理自Flink Forward 全球在线会议 ，演讲者云邪，由浪尖整理。1. Flink table/sql架构演变flink 1.9之前的版本，对于Table API和SQL的底层实现结构如下图，可以看处流处理和批处理有各自独立的api (流处理DataStream，批处理DataSet)。而且有不同的执行计划解析过程，codegen过程也完全不一样，完全没有流批一体的概念，面向
转载
2024-02-26 21:33:59
103阅读
在上一篇文章 你公司到底需不需要引入实时计算引擎？ 中我讲解了日常中常见的实时需求，然后分析了这些需求的实现方式，接着对比了实时计算和离线计算。随着这些年大数据的飞速发展，也出现了不少计算的框架(Hadoop、Storm、Spark、Flink)。在网上有人将大数据计算引擎的发展分为四个阶段。第一代：Hadoop 承载的 MapReduce第二代：支持 DAG(有向无环图)框架
flink的运行其实不需要这些，但是如果需要模拟一些业务场景，就需要依赖zk、kafka等中间件，下面记录一些安装、配置的简要内容。 由于公司机器是win10，这边的操作都是基于win环境的，linux下可能稍有改动。安装zk：下载地址：zookeeper.apache.org/releases.html下载后，解压放在目录D:bigdata(本文所用的目录)下，关于zookeeper以
转载
2024-02-27 10:28:14
76阅读
目录一、Flink里的时间二、水位线（Watermark）1、水位线的概念2、有序流中的水位线3、乱序流中的水位线 4、水位线的特性5、如何生成水位线（1）水位线生成策略（Watermark Strategies）（2）Flink 内置水位线生成器（3）自定义水位线策略（4）在自定义数据源中发送水位线6、水位线的传递7、水位线总结一、Flink里的时间 因为网络传输会有延迟
转载
2024-02-21 16:09:26
60阅读
整理：戴季国（Flink 社区志愿者）校对：苗文婷（Flink 社区志愿者） 摘要：本文由腾讯高级工程师杜立分享，主要介绍腾讯实时计算平台针对 Flink SQL 所做的优化，内容包括：Flink SQL 现状窗口功能的扩展回撤流的优化未来的规划 一、背景及现状1. 三种模式的分析 Flink 作业目前有三种创建方式：JAR
转载
2024-02-28 10:10:16
40阅读
Flink 1.11 Table&Sql预览概述之前就和大家说过要做一期Flink 1.11的超前点映版，加上Flink 1.11 release在即，所以这次的内容就和大家简单分享一些Table&Sql方面的新特性就像标题一样，还是会在Zeppelin中演示，由于两个项目都没release，所以我自己编了下，不过大家用的时候可能有点问题，可以钉钉联系我解决，钉钉号是rnodvmd
转载
2024-03-18 23:21:58
70阅读
本次，我们从 0 开始逐步剖析 Flink SQL 的来龙去脉以及核心概念，并附带完整的示例程序，希望对大家有帮助！本文大纲一、快速体验 Flink SQL为了快速搭建环境体验 Flink SQL，我们使用 Docker 来安装一些基础组件，包括 zk 和 kafka，如果你有这个环境，可以略过了。在 Centos 7 上安装 Docker 环境1、拉取安装并执行 zookeeper 镜像dock
转载
2023-09-14 20:27:06
253阅读
1、官网: https://ci.apache.org/projects/flink/flink-docs-release-1.7/concepts/programming-model.html#windows （建议大家多看看官网） 2、什么是Window而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Fl
转载
2024-03-21 10:51:30
61阅读
SQL部分学习Table API的特点Table API和SQL都是Apache Flink中高等级的分析API，SQL所具备的特点Table API也都具有，如下：声明式 - 用户只关心做什么，不用关心怎么做； 高性能 - 支持查询优化，可以获取最好的执行性能； 流批统一 - 相同的统计逻辑，既可以流模式运行，也可以批模式运行； 标准稳定 - 语义遵循SQL标准，语法语义明确，不易变动。当然除了
转载
2024-07-24 18:49:43
87阅读
新一代 FlinkSQL 平台，重新定义 Apache Flink 开发前言Dinky 0.5.1 已发布，它将重新定义 Apache Flink 的开发运维，让其如虎添翼，降本增效。现状Flink Forward Asia 2021 刚刚结束，从 Apache Flink 中文社区发起人、阿里巴巴开源大数据平台负责人王峰（花名莫问）老师得知 Apache Flink 将不止于计算，数仓架构或兴起
转载
2023-09-22 14:28:37
171阅读
目录1.基本流程2.基本结构3.代码流程图4.执行样例4.1.calcite的parse解析4.2.validate校验4.3.RelRoot获取4.4.封装Operator4.5.translateToRel4.6.optimize优化4.7.转换物理计划4.8.translateToPlan 1.基本流程 Flink SQL的解析流程基于Calcite，通用流程包含以下几个步骤：1、Par
转载
2023-09-03 20:45:42
505阅读
Foreword大数据领域SQL化的风潮方兴未艾（所谓"Everybody knows SQL"），Flink自然也不能“免俗”。Flink SQL是Flink系统内部最高级别的API，也是流批一体思想的集大成者。用户可以通过简单明了的SQL语句像查表一样执行流任务或批任务，屏蔽了底层DataStream/DataSet API的复杂细节，降低了使用门槛。那么，一条Flink SQL语句是如何转化
转载
2024-02-22 17:07:24
42阅读
1. 版本说明本文档内容基于flink-1.14.x2. 概览本章节描述了 Flink 所支持的 SQL 语言，包括数据定义语言（Data Definition Language，DDL）、数据操纵语言（Data Manipulation Language，DML）以及查询语言。Flink 对 SQL 的支持基于实现了 SQL 标准的 Apache Calcite。本页面列出了目前 Flink S
转载
2024-02-11 20:11:45
111阅读
