dafei1288的博客_Java,Mysql,大数据,Linux,集群(3)

零基础学Flink：CEP复杂事件处理

上一篇文章，我们介绍了UDF，可以帮用户自定义函数，从而在使用Flink SQL中，能够得心应手的处理一些数据问题。今天我们来学习一下Flink是如何处理CEP问题的。本...

flink

apache

kafka

原创 2022-02-03 16:00:41 397 阅读

Apache Calcite 优化器详解（三）

VolcanoPlanner介绍完 HepPlanner 之后，接下来再来看下基于成本优化（CBO）模型在 Calcite 中是如何实现、如何落地的，关于 Volcano 理论内容建议先看下相关理论知识，否则直接看实现的话可能会有一些头大。从 Volcano 模型的理论落地到实践是有很大区别的，这里先看一张 VolcanoPlanner 整体实现图，如下所示（图片来自 Cost-based Que

初始化

apache

迭代

转载 2022-02-03 15:59:38 617 阅读

零基础学Flink：Data Source & Data Sink

在上一篇讲述CEP的文章里，直接使用了自定义Source和Sink，我翻阅了一下以前的文章，似乎没有对这部分进行一个梳理，那么今天我们来就这上次的代码，来说说 Data ...

flink

apache

kafka

原创 2022-02-03 15:57:42 203 阅读

Apache Calcite 处理流程详解（一）

关于 Apache Calcite 的简单介绍可以参考 Apache Calcite：Hadoop 中新型大数据查询引擎这篇文章，Calcite 一开始设计的目标就是 one size fits all，它希望能为不同计算存储引擎提供统一的 SQL 查询引擎，当然 Calcite 并不仅仅是一个简单的 SQL 查询引擎，在论文 Apache Calcite: A Foundational Fra

sql

java

apache

转载 2022-02-03 15:56:56 743 阅读

Flink 2.0前瞻！关于技术栈的重新思考与批流融合

今天我们来解读一下Flink未来的方向：批流融合。这份PPT来自Flink Forward SF 2019。我在之前的一篇推文：Flink Forward 2019 旧金...

数据

flink

业务逻辑

转载 2022-02-03 15:55:31 158 阅读

spark君第一篇图文讲解Delta源码和实践的文章

今年砖厂发的几个项目都很有意思，除了这个Delta 还有 Koalas让使用pandas的人们更容易转到spark上来了。本文是繁育老师关于Delta的原创文章，值得...

spark

数据

sql

转载 2022-02-03 15:54:22 77 阅读

吐槽冰火周刊V

好了，倒数第二集就这么来了，没有期待的大战，而是一场屠杀，龙妈在 Mad Queen 的道路上越走越远了，这样，估计最后铁王座不会有龙家的人了，囧再一次实力证明，丫也不适...

其他

转载 2022-02-03 15:53:22 47 阅读

尝尝Blink

期待 Flink 1.9 整合 Flink 和 Blink 的版本。突然心血来潮，打算自己编一版 Blink 玩玩，这篇文章分为两个部分：介绍如何编译Blink，这部分非...

flink

sql

elasticsearch

原创 2022-02-03 15:52:46 62 阅读

数据质量监控

0x00 概述随着大数据时代的带来，数据的应用也日趋繁茂，越来越多的应用和服务都基于数据而建立，数据的重要性不言而喻。而且，数据质量是数据分析和数据挖掘结论有效性和准确性...

数据

数据质量

数据处理

转载 2022-02-03 15:52:09 1351 阅读

用中文进行大数据查询

概述如何降低人们使用数据的门槛，这是一个有意思，而又不那么容易回答的问题。大家习惯从WYSIWYG（What You See Is What You Get）的角度去出发...

双引号

字段

表名

原创 2022-02-03 15:51:19 250 阅读

从连接到赋能——“智能+”助力中国经济高质量发展

这是转载阿里的一份PPT，有兴趣的同学可以单找我要文件。IoT应该是未来流计算的一个大型战场...... ...

流计算

转载 2022-02-03 15:49:59 79 阅读

吐槽冰火周刊IV

在 Children is coming 的恐慌中，又度过了一个礼拜。这集应该是铺垫矛盾，为最后的解决做准备了，无论如何，大家需要一个结局，顺便为马大爷立一个Flag，L...

其他

原创 2022-02-03 15:48:47 43 阅读

吐槽冰火周刊VI

伴随着 children is here，这一期果不其然 #咕咕# 了几天 ...看其实早就看完了，但是一直不知道该写些什么，一方面是心力憔悴，新手老父亲，确实手足无措，...

其他

原创 2022-02-03 15:48:47 84 阅读

吐槽冰火周刊III

铺垫了八季的衣柜大战，就在今天打响了，看完后感觉有点不舒服，就是怅然若失的感觉，终究会有个结局，这一集也是很棒的一集，在前面69集的铺垫下，很多感情终于得到了释放，现在进...

树结构

其他

原创 2022-02-03 15:48:47 98 阅读

吐槽冰火周刊I

经过漫长的等待，在即将入夏的时候，维斯特洛的永夜即将到来，这是一场关于活人与死人的战争。我不是专业的剧评人，所以这不是逐帧分析和预测，仅仅是看到这部分的时候，一些梗或是有...

其他

原创 2022-02-03 15:48:47 69 阅读

英伟达史上最便宜AI硬件发布：可运行所有AI模型，算力472 GFLOPS，功耗5瓦

本文经AI新媒体量子位（公众号：QbitAI）授权转载，转载请出处李根乾明郭一璞发自圣何塞量子位报道 | 公众号 QbitAI中国古语有言：否极泰来。AI...

英伟达

自动驾驶

服务器

转载 2022-02-03 15:43:24 203 阅读

数据驱动的基石——数据库 | 晨思

◆ ◆ ◆◆吴文超晨山资本投资经理随着万物互联的时代到来，数据总量也将呈现爆发式增长。如何存储和处理海量数据也将成为一个亟需解决的问题，这必将带来新一轮的数据库系统底层...

数据库

关系型数据库

数据

转载 2022-02-03 15:42:52 205 阅读

Stream SQL 的执行原理与 Flink 的实现

本文作者：张茄子在数据仓库应用中，执行 ETL 过程是一种常见的需求。我们希望通过 ETL 过程预处理我们的原始数据，从而达到抽取有用信息和将数据转换为适合进一步查询的格式等目的。MapReduce 和 Spark 等批数据处理系统已经很好地解决了在高延迟的场景下的需求，目前低延迟的流式处理和增量计算是主要的发展方向。本文将结合 Apache Flink 系统讨论相关技术课题。伴随着流处理系

sql

flink

物化视图

转载 2022-02-03 15:42:21 63 阅读

零基础学Flink：UDF

在上一篇文章中我们介绍了一些 Flink SQL 的基础内容，以及与 Spark SQL 对比，有兴趣的小伙伴可以点连接进去看看。这篇文章，我们来说说UDF(User...

flink

apache

scala

原创 2022-02-03 15:41:36 622 阅读

基于TensorFlow.js在浏览器上构建深度学习应用

节选自《深度学习TensorFlow.js：浏览器实战篇》第八章，已获授权。在前面的章节，我们讨论了各种JavaScript概念和运行在浏览器上的各种深度学习框架。在本章...

迭代

tensorflow

ide

转载 2022-02-03 15:40:59 250 阅读

阿卡姆大酒店:芋泥波波茶没有波波

前些天给领导做了一碗没有波波也没有芋泥的芋泥波波茶，有点不好意思，今天补上正经的芋泥波波茶没有波波╮(╯▽╰)╭带芋头，某宝买的，挺新鲜，上面的泥还是湿的洗个澡 (๑•...

其他

原创 2022-02-03 15:40:35 143 阅读

实战|一群人齐心协力解决了一个spark问题

首先感谢 spark君细心的整理，下文是早些时候在群里关于一个SparkSQL条件下推问题的实录，由于刚刚发表了一篇文章（Flink SQL vs Spark SQL）...

spark

sql

数据库

转载 2022-02-03 15:39:48 38 阅读

Flink SQL vs Spark SQL

Spark已经在大数据分析领域确立了事实得霸主地位，而Flink则得到了阿里系的亲赖前途一片光明。我们今天会SparkSQL和FlinkSQL的执行流程进行一个梳理。并提...

sql

flink

spark

原创 2022-02-03 15:39:19 875 阅读

Flink与Spark Streaming在与kafka结合的区别！

本文主要是想聊聊flink与kafka结合。当然，单纯的介绍flink与kafka的结合呢，比较单调，也没有可对比性，所以的准备顺便帮大家简单回顾一下Spark Stre...

kafka

flink

数据

转载 2022-02-03 15:37:50 77 阅读

如何优雅地设计数据分层

0x00 前言一、文章主题本文主要讲解数据仓库的一个重要环节：如何设计数据分层！其它关于数据仓库的内容可参考之前的文章。本文对数据分层的讨论适合下面一些场景，超过该范围场...

数据

数据仓库

字段

转载 2022-02-03 15:36:57 173 阅读

上船

去年夏天一番折腾，半年的时间，你又不行了，6年的时间，不算长，但你陪我走过了我最重要的几个人生阶段，谢谢你的陪伴。从外星人，到神船，妥妥的消费降级了，选购的历程还是很简单...

触摸板

贴吧

转载 2022-02-03 15:36:42 24 阅读

使用Spark轻松做数据透视(Pivot)

spark从1.6开始引入，到现在2.4版本，pivot算子有了进一步增强，这使得后续无论是交给pandas继续做处理，还是交给R继续分析，都简化了不少。大家无论在使用p...

spark

数据

sql

原创 2022-02-03 15:36:23 1257 阅读

零基础学Flink：Window & Watermark

在上一篇文章中，我们学习了flink的时间。本文我们来一起研究下 window 和 watermark 。Window首先，window是无界流数据处理的关键，fl...

flink

数据

滑动窗口

原创 2022-02-03 15:35:38 399 阅读

零基础学Flink：Time

在前一篇《再谈Flink》里笼统的介绍了一下flink的时间，但感觉说的还不够，那么今天就专门来说说时间。本文仅代表个人理解，如有错误，请不吝赐教。欢迎转载，请注明出处。...

flink

检查点

时间戳

原创 2022-02-03 15:34:33 127 阅读

我也能写数据库 —— Streaming(下)

概述在上一篇文章中介绍了，如何在select语句中使用stream关键字，进行流查询,并且模拟了简单数据结构，有兴趣的同学可以移步去看看(streaming上篇)。本文...

kafka

apache

java

原创 2022-02-03 15:34:04 124 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

飞翔的天空

零基础学Flink：CEP复杂事件处理

Apache Calcite 优化器详解（三）

零基础学Flink：Data Source & Data Sink

Apache Calcite 处理流程详解（一）

Flink 2.0前瞻！关于技术栈的重新思考与批流融合

spark君第一篇图文讲解Delta源码和实践的文章

吐槽冰火周刊V

尝尝Blink

数据质量监控

用中文进行大数据查询

从连接到赋能——“智能+”助力中国经济高质量发展

吐槽冰火周刊IV

吐槽冰火周刊VI

吐槽冰火周刊III

吐槽冰火周刊I

英伟达史上最便宜AI硬件发布：可运行所有AI模型，算力472 GFLOPS，功耗5瓦

数据驱动的基石——数据库 | 晨思

Stream SQL 的执行原理与 Flink 的实现

零基础学Flink：UDF

基于TensorFlow.js在浏览器上构建深度学习应用

阿卡姆大酒店:芋泥波波茶没有波波

实战|一群人齐心协力解决了一个spark问题

Flink SQL vs Spark SQL

Flink与Spark Streaming在与kafka结合的区别！

如何优雅地设计数据分层

上船

使用Spark轻松做数据透视(Pivot)

零基础学Flink：Window & Watermark

零基础学Flink：Time

我也能写数据库 —— Streaming(下)