一、前期准备项目路径:https://github.com/DTStack/flinkStreamSQL官方文档:https://github.com/DTStack/flinkStreamSQL/blob/1.11_release/docs/quickStart.md官方视频:b站(欢迎各位多多三连)https://www.bilibili.com/video/BV1GA411J7RL?from
转载 2021-03-19 12:52:20
1868阅读
2评论
1. 项目的目录结构及介绍FlinkStreamSQL 项目的目录结构如下:flinkStreamSQL ├── aws ├── bin ├── cassandra ├── ci ├── clickhouse ├── console ├── core ├── db2 ├── dirtyData ├── docs ├── elasticsearch5-xh ├── elasticsearch5 ├
写这个博客主要是看了袋鼠云的flinkStreamSQL git地址:https://github.com/DTStack/flinkStreamSQL  自己还往上提交了kudu的sink和side 第一次commit到github上面还是很开心的。这里重点说的是flinkStreamSQL是如何完成side的,主要其实是两种缓存方案LRU和ALL。这里忽略所有的sql解析 注册等等,
转载 2023-11-23 12:51:48
54阅读
Flink-流平台调研Flink系列文章更多Flink系列文章请点击Flink系列文章更多大数据文章请点击大数据好文1 flinkStreamSQL1 简介flinkStreamSQL是袋鼠云大数据团队基于开源的flink,对其实时sql进行了扩展;主要实现了流与维表的join,支持原生flink SQL所有的语法。优点是可以纯SQL的方式提交应用运行。缺点是目前版本只支持到Flink 1.8
转载 2024-05-24 11:38:21
42阅读
本文整理自:EasyAgent正式开源啦丨开源送“粽”礼 2018年,袋鼠云技术团队决定在技术社区上开源项目,为开源社区贡献力量。 同年FlinkX、FlinkStreamSQL相继上线,经过三年的发展,Star数分...
原创 2022-09-21 16:47:05
151阅读
Dlink ?一款交互式FlinkSQL开发平台背景目前 Flink 社区正如火如荼的发展,但苦于没有一款适合 Flink SQL 界面化开发的工具,于是增加了 Flink 的门槛与成本。虽然官方提供了 SQL Client,但仍有很多局限与不方便。对于开源的 Flink 平台主要有 DTStack 的 FlinkStreamSQL及Flinkx、zhp8341 的 flink-streaming
flinkStreamSQL熟悉flink的应该都了解,flink支持流表之间的join,但到1.6为止都不支持流表和维表的join。浪尖最近,也在开发流平台,需要到flink流表和维表的join。那么针对这个大家第一印象,可以写个算子去实现,比如map等。但是浪尖这里开发的流平台不是说自己写api,而是用户通过sql去实现创建source,sink,udf,sql等,这个时候要进行维表join,
转载 2024-04-25 19:17:09
44阅读
万众期待的FlinkX1.12的Beta版今天正式在Github社区开源上线啦!这是FlinkX技术团队潜心打造的新版本的FlinkX,设计文档和使用文档已在社区中推送,大家可以随时下载查阅,喜欢的同学记得给我们点个Star哦~ 本次上线的FlinkX1.12 Beta版做了以下更新:1、FlinkX与FlinkStreamSQL融合 FlinkX作为分布式数据同步工具,FlinkStreamSQ
原创 2021-07-01 10:18:29
4264阅读
flinkStreamSQL基于开源的flink,对其实时sql进行扩展自定义create table 语法(包括源表,输出表,维表)自定义create view 语法自定义create function 语法实现了流与维表的join支持原生FLinkSQL所有的语法扩展了输入和输出的性能指标到promethus新特性:1.kafka源表支持not null语法,支持字符串类型的时间转换。2.rd
本文整理自:EasyAgent正式开源啦丨开源送“粽”礼   2018年,袋鼠云技术团队决定在技术社区上开源项目,为开源社区贡献力量。 同年FlinkX、FlinkStreamSQL相继上线,经过三年的发展,Star数分别达到2.2k和1.5k,位列Flink生态领域前茅,获得广泛的社区支持。 三年多的时间里,袋鼠云数栈技术团队一直以技术为核心,坚持开源开放、将数字化技术红利回馈社区的理念,不断的
原创 精选 2021-06-10 20:25:48
1416阅读
现在最新版本的flink1.6版本现在还不支持直接用SQL来实现流与维表的join。这里打个广告我们团队已经实现了这个功能并且开源 https://github.com/DTStack/flinkStreamSQL这里先解释下什么是维表;维表是动态表,表里所存储的数据有可能不变,也有可能定时更新,但是更新频率不是很频繁。在业务开发中一般的维表数据存储在关系型数据库如mysql,oracle等,也可
转载 2023-09-27 13:42:37
177阅读