高性能作业指南本文通过代码和一些配置信息来优化blink/flink作业的性能。 共分为几部分： 1．group aggregate优化： 开启minibatch，开启localglobal，开启partialfinal，count distinct改写为agg with filter（count distinct优化） 2．topN优化 使用UpdateFastRank算法：order by s
转载
2024-03-06 10:40:22
270阅读
目录高阶聚合时间窗口 TVF（表值函数）支持的时间窗口类型window 聚合window joinregular joininterval joinlookup jointemporal joinarray joinover 窗口聚合 Flink SQL除了支持基本查询外，还支持一些复杂的高阶聚合和关联。 高阶聚合语法group by cube(维度 1，维度 2，维度 3)
group by
转载
2024-02-28 16:30:34
367阅读
一、背景及现状 1. 三种模式的分析 Flink 作业目前有三种创建方式：JAR 模式、画布模式和 SQL 模式。不同的提交作业的方式针对的人群也是不一样的。■ Jar 模式Jar 模式基于 DataStream/DataSet API 开发，主要针对的是底层的开发人员。优点：功能灵活多变，因为它底层的 DataStream/DataSet A
转载
2024-07-24 13:13:18
51阅读
很多年没更新博客了，写博客这件事真的不能停，一停下来就完全不知道该怎么开始了。深圳的天气格外的美，蓝天白云、绿树，最近公司放大假，由于担心疫情原因没有出去玩，呆着家里无聊居然想写点东西。博客上次更新还是2018年底，这几年发生了太多太多事情，就连疫情都来到了第三个年头，想写的东西有点多，先从安卓的性能优化说起。性能优化的重要性：相比于iOS，Android用的时间越长就会越卡，在 Android开
转载
2023-09-08 20:12:13
61阅读
很多人反映安卓系统手机用久了会卡，一些人就选择刷机了，那么除了刷机还有没有什么方法优化系统呢?下面由学习啦小编为你整理了安卓手机如何进行优化系统的相关方法，希望对你有帮助!安卓手机优化系统方法如下安卓刷机系统这一块绝对是有着举足轻重的地位，一款好的系统能让安卓手机脱胎换骨。而从Android 4.1开始，Android的流畅性可以说有了质的飞跃。Android 4.1的触控感觉非常好，这主要归功于
转载
2023-08-29 15:54:39
830阅读
Java底层 - JVM
转载
2020-08-29 14:19:00
111阅读
2评论
目录1 检查点机制Checkpoint2 重启策略2.1 固定延时重启配置2.2 失败率重启配置2.3 指数延迟重启策略3 状态后端3.1 内存状态后端MemoryStateBackend3.2 文件系统状态后端FsStateBackend3.3 RocksDB数据库状态后端RocksDBStateBackend4 SQL 1 检查点机制CheckpointCheckpoint，是Flink用来
转载
2024-07-10 20:34:41
44阅读
FlinkSql 传统数据库/批处理场景下数据集是有限的，天然避免了流计算面临的两大问题：1. 流计算中两条流数据的输入可能存在时间差，如何能保证在时间不一致情况下Join的准确性。2. 流计算中数据是无限的，历史数据不能一直被保存，否则会带来极大内存、磁盘压力，如何做取舍。针对第一个问题，Flink采用了retract操作，对于没有Join到的数据会先下发Null，后续等J
转载
2024-07-26 16:25:01
152阅读
.Apache Flink提供了两种顶层的关系型API，分别为Table API和SQL，Flink通过Table API&SQL实现了批流统一。其中Table API是用于Scala和Java的语言集成查询API，它允许以非常直观的方式组合关系运算符（例如select，where和join）的查询。Flink SQL基于Apache Calcite 实现了标准的SQL，用户可以使用标准的
转载
2024-04-26 18:02:58
100阅读
1. 简单介绍1.1 什么是 Table API 和 Flink SQLFlink本身是批流统一的处理框架，所以Table API和SQL，就是批流统一的上层处理API。 目前功能尚未完善，处于活跃的开发阶段。 Table API是一套内嵌在Java和Scala语言中的查询API，它允许我们以非常直观的方式，组合来自一些关系运算符的查询（比如select、filter和join）。而对于Flink
转载
2024-04-12 11:47:52
105阅读
Flink 1.10.0 于近期刚发布，释放了许多令人激动的新特性。尤其是 Flink SQL 模块，发展速度非常快，因此本文特意从实践的角度出发，带领大家一起探索使用 Flink SQL 如何快速构建流式应用。本文将基于 Kafka, MySQL, Elasticsearch, Kibana，使用 Flink SQL 构建一个电商用户行为的实时分析应用。本文所有的实战演练都将在 Flink SQ
转载
2024-08-07 21:08:09
89阅读
上一篇我们介绍了Flink CEP的API，这一篇我们将以结合一个案例来练习使用CEP的API编写应用程序，以强化对API的理解。所选取的案例是对网络遭受的潜在攻击进行检测并给出告警。当下互联网安全形势仍然严峻，网络攻击屡见不鲜且花样众多，这里我们以DDOS（分布式拒绝服务攻击）产生的流入流量来作为遭受攻击的判断依据。假定一家云服务提供商，有多个跨地区的数据中心，每个数据中心会定时向监控中心上报其
转载
2024-05-28 07:55:38
0阅读
Flink Table API 和 Flink-SQL使用详解 1.Table API & Flink SQL-核心概念 Apache Flink 有两种关系型 API 来做流批统一处理：Table APITable API 是用于 Scala 和 Java 语言的查询API，它可以用一种非常直观的方式来组合使用选取、过滤、join 等关系型算子Flink SQLFlink SQL 是
转载
2024-03-29 06:40:10
71阅读
FLINKSQL自定义UDF函数3之自定义累加器 文章目录FLINKSQL自定义UDF函数3之自定义累加器前言一、自定义String List累加器创建累加器类创建AggregateFunction注意点二、自定义泛型累加器1.创建累加器创建AggregateFunction注意点总结 前言这里记录自定义累加器得实现以及过程中得问题。一、自定义String List累加器创建累加器类public
转载
2024-05-04 17:01:59
105阅读
TopN语句用于获取流表中的前N条记录。本文总结Flink Table & SQL 中实时TopN的用法。语法SELECT [column_list]
FROM (
SELECT [column_list],
ROW_NUMBER() OVER ([PARTITION BY col1[, col2...]]
ORDER BY col1 [asc|desc][,
转载
2024-03-15 05:16:10
658阅读
1. 版本说明本文档内容基于flink-1.15.x，其他版本的整理，请查看本人博客的 flink 专栏其他文章。2. 简介2.1. 介绍Flink的Table API和SQL程序可以连接到其他外部系统，用于读写批处理表和流处理表。 表source提供对存储在外部系统(如数据库、键值存储、消息队列或文件系统)中数据的访问。表sink向外部存储系统发送数据。根据source和sink的类型，它们支持
转载
2024-04-28 12:27:38
34阅读
pymysql使用 In this tutorial, I will show you how to create a Lambda function which queries data from your RDS database using the pymysql library. 在本教程中，我将向您展示如何创建Lambda函数，该函数使用pymysql库从RDS数据库查询数据。 (1.
1. 关于OpenCV进阶之路前段时间写过一些关于OpenCV基础知识方面的系列文章，主要内容是面向OpenCV初学者，介绍OpenCV中一些常用的函数的接口和调用方法，相关的内容在OpenCV的手册里都有更详细的解释，当时自己也是边学边写，权当为一种笔记的形式，所以难免有浅尝辄止的感觉，现在回头看来，很多地方描述上都存在不足，以后有时间，我会重新考虑每一篇文章，让成长系列对基础操作的介绍更加详细
转载
2024-04-07 13:45:48
44阅读
动态应用，是相对于网站静态内容而言， 是指以c/c++、php、Java、perl、.net等 服务器端语言开发的网络应用软件，比如论坛、网络相册、交友、BLOG等常见应用。动态应用系统通 常与数据库系统、缓存系统、分布式存储系统等密不可分。大型动态应用系统平台主要是针对于大流 量、高并发网站建立的底层系统架构。大型网站的运行需要一个可靠、安全、可扩展、易维护的应用系统平台做为支撑，
背景：mysql 查询慢，要解决，首先要知道它是哪里慢了，哪一个步骤慢了，想要知道哪里慢并且要知道怎样去优化，首先得对mysql的一些基本信息，比如基础层要有一定的了解。 mysql的基础层mysql的架构图可以看一下，大致如下：通过这个图，可以知道mysql的架构分三个层次，client -> server -> 存储引擎接下来的比较多关于优化的，都会出现在存储引擎一块，所
转载
2024-01-30 00:20:50
45阅读
