dafei1288的博客_Java,Mysql,大数据,Linux,集群

零基础学Flink：Flink SQL（上）

前面几篇内容，我们结合案例来介绍了，两流Join，热销榜，以及状态容错，今天我们依旧基于这个数据，来说说Flink SQL，如果对原理有兴趣的同学，也可以移步到《Stre...

flink

数据

apache

原创 2022-02-11 15:47:22 574 阅读

什么是 ALC (Apache Local Community) Beijing？

背景当提起Apache软件基金会（Apache Software Foundation，ASF）项目时，国内大多数程序员都不会陌生。下图展示了在ASF 2019年年度报告中披露的ASF...

apache

开源项目

开发者

转载 2022-02-11 15:44:52 204 阅读

One SQL to rule them all

力让大家更平滑的使用SQL来进行...

sql

sed

flink

转载 2022-02-08 15:45:35 167 阅读

手动编译 Flink 1.9 踩坑实录

大家期盼已久的1.9已经剪支有些日子了，兴冲冲的切换到跑去编译，我在之前的文章《尝尝Blink》里也介绍过如何编译，本文只针对不同的地方以及遇到的坑做一些说明，希望对遇到...

flink

kafka

java

原创 2022-02-08 15:45:23 243 阅读

迟到的吐槽复联4

复联4，上映的时候正好赶上领导大肚肚的末期，只好忍着不看了，终于等到资源看看吧，也顺便吐一吐槽。整体感觉，妇联4这个水平应该比正联还差一点，就更别提BVS了，但是marv...

吐槽

原创 2022-02-08 15:44:51 48 阅读

零基础学Flink：Join两个流

《零基础学Flink》这个系列已经做了不少篇了，接下来几章会更加贴近案例来说明一些功能，今天我们先来说说如何将两个流join起来。这次我们以实时汇率和订单流合并为最后牌价为案例，进行说明。案例代码存放在 https://github.com/dafei1288/flink_casestudy原理介绍首先流和流的Join的基本原理和表之间join是一样的，但是由于窗口本身性质的原因，流和流Join还

flink

合并流

apache

ide

原创 2022-02-08 15:44:35 465 阅读

零基础学Flink：状态与容错

在上一篇《零基础学Flink：实时热销榜Top5（案例）》文档中我们介绍了如何计算实时热销榜。在案例的最后TopNHot类中，我们使用了状态类。// 用于存储商品状态，待...

数据

flink

并行度

原创 2022-02-08 15:43:49 120 阅读

零基础学Flink：实时热销榜Top5（案例）

如前文所预告的一样，今天我们来分析一下，如何通过flink完成实时热销榜单Top5的计算，本文案例，需要使用前文一些内容，如果不了解的同学，请移步《零基础学Flink：Join两个流》。案例代码存放在 https://github.com/dafei1288/flink_casestudy前文我们已经聚合好了两条流，结果是将汇率和订单价格最终计算成最后的成交价格。其数据结构如下：Tuple9<

flink

ide

apache

原创 2022-02-08 15:43:23 167 阅读

读透《阿里巴巴数据中台实践》，其到底有什么高明之处？

最近阿里巴巴分享了《阿里巴巴数据中台实践》这个PPT（自行搜索原始文章），对于数据中台的始作俑者，还是要怀着巨大的敬意去学习的，因此仔细的研读了，希望能发现一些不一样的东...

数据

元数据

数据中心

转载 2022-02-08 15:42:59 153 阅读

JimSQL

翻出来10年前自己写的一个玩具文本数据库，这个项目期初来自ACM月赛的一道题，然后被扩充成了这个样子。当时给取名JimSQL，寓意Jim Isn't MySQL. 现在看...

sql

数据库

文本文件

原创 2022-02-08 15:42:39 26 阅读

机器学习的敲门砖：kNN算法（上）

机器学习的敲门砖：kNN算法（上）本文为数据茶水间群友原创，经授权在本公众号发表。关于作者：Japson。某人工智能公司AI平台研发工程师，专注于AI工程化及场景落地。持...

数据

机器学习

可选参数

转载 2022-02-08 15:42:23 222 阅读

机器学习的敲门砖：kNN算法（下）

机器学习的敲门砖：kNN算法（下）本文为数据茶水间群友原创，经授权在本公众号发表。关于作者：Japson。某人工智能公司AI平台研发工程师，专注于AI工程化及场景落地。持续学习中，期望与大家多多交流技术以及职业规划。0x00 前言在上一篇文章《机器学习的敲门砖：kNN算法（中）》中，我们借助kNN分类算法，学习了如下知识点：将数据集划分为训练数据集和测试数据集，以此验证模型好坏。在我们得到了分类结

归一化

数据

方差

转载 2022-02-08 15:42:07 312 阅读

如何构建更好的数据立方体系统(Cube)

看到了kylin关于cube的设计，难以抑制的觉得这部分设计得太巧妙了，确实比我们的产品要好上很多，不得不学习一下！！！本文不是从实例的角度，来分析如何构建一个数据立方体...

数据

hadoop

mapreduce

原创 2022-02-08 15:41:51 891 阅读

机器学习的敲门砖：kNN算法（中）

机器学习的敲门砖：kNN算法（中）本文为数据茶水间群友原创，经授权在本公众号发表。关于作者：Japson。某人工智能公司AI平台研发工程师，专注于AI工程化及场景落地。持续学习中，期望与大家多多交流技术以及职业规划。0x01 前言在《我们学习了kNN算法的流程，并且在jupyter notebook上手动实现了代码，并且在外部也进行了封装。最后我们学习了sklearn中的kNN算法。在品尝到“实践

搜索

数据

数据集

转载 2022-02-08 15:41:22 294 阅读

Prometheus入门

Prometheus(普罗米修斯)这款开源监控工具，名字和功能一样酷，本文是一个干货入门，动手来部署一个实验环境。用Prometheus+Grafana来监控MySQL。...

mysql

ide

sed

原创 2022-02-08 15:41:08 690 阅读

零基础学Flink：监控 on Prometheus

好久没更新Flink系列了，之前果然在Flink SQL 上淹死了，那部分暂时咕一段时间，等日后学有所成再补上，由于最近对普罗米修斯感兴趣，今天借机来说说监控吧，本文以推模式为例进行阐述的。对于监控有兴趣的同学，也可以移步到《Prometheus入门》去看看。Pushgateway前文并没有对，pushgateway进行介绍，下面来简述一下。Pushgateway是 Prometheus 生态中一

flink

数据

apache

原创 2022-02-08 15:40:39 1314 阅读

Apache Beam 架构原理及应用实践

分享嘉宾：张海涛海康威视编辑整理：Hoh出品社区：DataFun注：欢迎转载，转载请注明出处导读：大家好，很荣幸跟大家分享 Apache Beam 架构原理及应用实践。讲这门课之前大家可以想想，从进入 IT 行业以来，不停的搬运数据，不管职务为前端，还是后台服务器端开发。随着这两年科技的发展，各种数据库，数据源，应运而生，大数据组件，框架也是千变万化，从 Hadoop 到现在的 Spark、Fl

apache

kafka

数据

转载 2022-02-08 15:40:12 90 阅读

基于Calcite自定义SQL解析器

这本应该是《我也能写数据库》系列文章中的一篇，但是最近一直在反思这个系列标题是不是有点不亲民，所以，暂时放弃这个系列标题了。本文会介绍如何扩展Calcite的SQL解析器使之更符合你的业务需求，或是特殊的语法需求，以前的文章里我们介绍过如何撰写UDF，其实这些都是对SQL进行扩展，只是我们今天会对SQL的结构进行扩展。用一句简单的话说，就是如何定义属于你自己的SQL语法。Calcite 使用 ja

sql

apache

java

原创 2022-02-08 15:37:51 2428 阅读

随便聊聊JDK

最近发现一个很奇怪的事情，各个公众号，不是一批批的商业互推，就是包装精美，猝不及防的广告文案。我是很反感现在这种潮流的，一点不加修饰。这点不得不佩服，杜蕾斯的文案，总会让你有拍案叫绝的感慨。不过在这次疫情期间，似乎不用再搞文案了，确确实实的供不应求......好了，不跑题了，今天说说jdk14，看到14这个结尾，我有种莫名其妙的感觉，是不是我少打了一个点？我还是那个没毕业的小伙子，梦想着有一天为“

java语言

oracle

赋值

原创 2022-02-08 15:37:30 14 阅读

2020 Gartner Magic Quadrant for Analytics and BI Platforms

2020 Gartner Magic Quadrant for Analytics and BI Platforms2020 Gartner 数据分析与BI平台魔力象限图Publishe...

ide

sed

oracle

转载 2022-02-08 15:37:17 960 阅读

这些技术轮子，让监控落地成为现实！

场景一：页面提示超时了，到底是哪个服务响应慢了呢？场景二：系统当前的处理能力如何，TPS、QPS 指标是多少呢？场景三：线上服务部署在多台机器上，你挨个登录机器去查日志，...

github

java

elastic

其他

转载 2022-02-04 10:01:01 18 阅读

《F1 Query：大规模数据的声明式查询》读后感

导读: Google 的 F1 Query 论文详细阐述了 Google 对于企业数据处理领域三大类需求的解决办法。即使你对这个主题不感兴趣，单纯的对 Presto 感兴趣你应该读一读 ...

数据

数据源

sql

其他

转载 2022-02-04 10:01:00 49 阅读

阿卡姆大酒店:大红灯笼高高挂

自从上次那道问题不大的西班牙冷汤以后，李麒麟三星大厨好久没有展现厨艺的机会了。临近年底，加之昨日下班到家，突然发现麦麦会叫“爸爸”了，老夫甚感欣慰，所以今天准备一道美食，犒劳领导和国姨。...

其他

原创 2022-02-04 10:00:48 49 阅读

小丑：虚幻的真实

经过了漫长的等待，终于看完了这部电影。这是一部彻底的R级电影，但是整部电影里，几乎没有任何裸露、粗口或是血腥的镜头，这是一部需要静下心来看的电影，整体节奏也比较缓慢。但...

其他

原创 2022-02-04 10:00:48 106 阅读

都在这儿了！Flink Forward Asia 最佳参会指南

11 月 28 日（本周四），Flink Forward Asia 2019 即将重磅开启！为了让大家更全面、充分的了解大会内容，找到最佳参会方式，Flink 社区整理了...

flink

大数据

机器学习

转载 2022-02-04 09:55:25 43 阅读

基于Calcite自定义JDBC Driver

最近在公司享受福报，所以更新进度严重脱节了，本期依旧是一篇Calcite相关的文章，上一篇《基于Calcite自定义SQL解析器》有兴趣的童鞋可以移步去看看。本文我们将介绍一下如何自定义...

json

apache

java

原创 2022-02-04 09:53:20 755 阅读

Flink Forward Asia 2019 - 总结和展望（附PPT下载链接）

11 月 28 - 30 日，北京迎来了入冬以来的第一场雪，2019 Flink Forward Asia（FFA）也在初雪的召唤下顺利拉开帷幕。尽管天气寒冷，FFA 实际到会人次超过 ...

flink

apache

sql

转载 2022-02-04 09:52:36 69 阅读

国查：用中文编写SQL

这两天被文言（wenyan-lang）刷屏了，这个项目在于使用文言文进行编程，我打算蹭个热度，把年初的作品再捞一捞，即中文SQL。1. 文言Wenyan：吾有一數。曰三。名之曰「甲」...

双引号

字段

表名

原创 2022-02-04 09:51:35 152 阅读

Apache Flink CEP 实战

本文根据 Apache Flink 系列直播课程整理而成，由哈啰出行大数据实时平台资深开发刘博分享。通过一些简单的实际例子，从概念原理，到如何使用，再到功能的扩展，希望能够给计划使用或者...

flink

结果集

状态转移

转载 2022-02-04 09:50:59 199 阅读

科普: 中间件底层实现的分布式协议之Raft

前言正式介绍 Raft 协议之前，我们先来举一个例子????进行展开。方式一：在一个技术团队内假设角色都是均等的，会导致什么情况呢？产品提出一个需求，就可以随便去找团队中的任意一个人去...

数据

客户端

重置

转载 2022-02-04 09:50:26 79 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

飞翔的天空

零基础学Flink：Flink SQL（上）

什么是 ALC (Apache Local Community) Beijing？

One SQL to rule them all

手动编译 Flink 1.9 踩坑实录

迟到的吐槽复联4

零基础学Flink：Join两个流

零基础学Flink：状态与容错

零基础学Flink：实时热销榜Top5（案例）

读透《阿里巴巴数据中台实践》，其到底有什么高明之处？

JimSQL

机器学习的敲门砖：kNN算法（上）

机器学习的敲门砖：kNN算法（下）

如何构建更好的数据立方体系统(Cube)

机器学习的敲门砖：kNN算法（中）

Prometheus入门

零基础学Flink：监控 on Prometheus

Apache Beam 架构原理及应用实践

基于Calcite自定义SQL解析器

随便聊聊JDK

2020 Gartner Magic Quadrant for Analytics and BI Platforms

这些技术轮子，让监控落地成为现实！

《F1 Query：大规模数据的声明式查询》读后感

阿卡姆大酒店:大红灯笼高高挂

小丑：虚幻的真实

都在这儿了！Flink Forward Asia 最佳参会指南

基于Calcite自定义JDBC Driver

Flink Forward Asia 2019 - 总结和展望（附PPT下载链接）

国查：用中文编写SQL

Apache Flink CEP 实战

科普: 中间件底层实现的分布式协议之Raft