Foreword大数据领域SQL化的风潮方兴未艾（所谓"Everybody knows SQL"），Flink自然也不能“免俗”。Flink SQL是Flink系统内部最高级别的API，也是流批一体思想的集大成者。用户可以通过简单明了的SQL语句像查表一样执行流任务或批任务，屏蔽了底层DataStream/DataSet API的复杂细节，降低了使用门槛。那么，一条Flink SQL语句是如何转化
转载
2024-02-22 17:07:24
42阅读
引子上周末，一个好兄弟找我说一个很重要的目标shell丢了，这个shell之前是通过一个S2代码执行的漏洞拿到的，现在漏洞还在，不过web目录全部不可写，问我有没有办法搞个webshell继续做内网。正好我之前一直有个通过“进程注入”来实现内存webshell的想法，于是就趁这个机会以Java为例做了个内存webshell出来（暂且叫它memShell吧），给大家分享一下：）前言一般在渗透过程中，
转载
2024-09-13 10:51:51
24阅读
选中表格行执行查询…………………………………………………………………………………………………
开发工具与关键技术：Visual Studio 2015 C#作者：林敏静撰写时间：2019年7月23日…………………………………………………………………………………………………前段时间总是因为粗心大意弄出了许多Bug，我也有回去认真反省，认真地去对待每一行代码，最近几天写的都是些增删查改的功能，没有遇
概述Apache Flink提供了两种顶层的关系型API，分别为Table API和SQL，Flink通过Table API&SQL实现了批流统一。其中Table API是用于Scala和Java的语言集成查询API，它允许以非常直观的方式组合关系运算符（例如select，where和join）的查询。Flink SQL基于Apache Calcite 实现了标准的SQL，用户可
转载
2024-04-29 12:21:14
80阅读
一个flink程序，其实就是对DataStream的各种转换。具体可以分成以下几个部分：获取执行环境（Execution Environment）读取数据源（Source）定义基于数据的转换操作（Transformations）定义计算结果的输出位置（Sink）触发程序执行（Execute）一、执行环境（Execution Environme
可能会有一些截图中会有错误提示，是因为本地的包一直包下载有问题，截完图已经下载好了。创建包结构 创建一个基础信息类所有输出到mysql数据库中的自定义MR任务的自定义key均需要实现该抽象类 代码内容，主要是实现org.apache.hadoop.io.WritableComparable类，其它不需要写 创建平台信息类 创建全局配置常数类
转载
2024-03-25 20:41:23
382阅读
个推Flink SQL使用现状在SQL模式下，个推通过jar+SQL文件+配置参数的方式使用Flink。其中jar是基于Flink封装的执行SQL文件的执行jar，提交命令示例如下：/opt/flink/bin/flink run -m yarn-cluster -ynm KafkaSourceHbaseSinkCaseTestSql \
-c ${mainClassName} \
${jarPa
转载
2024-02-28 16:16:54
63阅读
整理：戴季国（Flink 社区志愿者）校对：苗文婷（Flink 社区志愿者） 摘要：本文由腾讯高级工程师杜立分享，主要介绍腾讯实时计算平台针对 Flink SQL 所做的优化，内容包括：Flink SQL 现状窗口功能的扩展回撤流的优化未来的规划 一、背景及现状1. 三种模式的分析 Flink 作业目前有三种创建方式：JAR
转载
2024-02-28 10:10:16
40阅读
作者：腾讯云流计算 Oceanus 团队流计算 Oceanus 简介流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。Flink Jar 作业既支持使用 DataStream
转载
2024-02-10 21:11:47
43阅读
过idea编写flink工程，并且导出可执行jar,上传到flink执行的过程，请大家参考。
原创
2021-08-31 10:00:52
4021阅读
6、Flink SQl 语法1、查询语句1、hint在对表进行查询的是偶动态修改表的属性-- 创建表
CREATE TABLE word (
lines STRING
)
WITH (
'connector' = 'kafka',
'topic' = 'word',
'properties.bootstrap.servers' = 'master:9092,node1:90
转载
2024-04-15 21:29:49
627阅读
关于处理函数(Process Function)如下图，在常规的业务开发中，SQL、Table API、DataStream API比较常用，处于Low-level的Porcession相对用得较少，从本章开始，我们一起通过实战来熟悉处理函数(Process Function)，看看这一系列的低级算子可以带给我们哪些能力？ 关于ProcessFunction类处理函数有很多种，最基础的
转载
2024-04-20 10:28:12
47阅读
1、官网: https://ci.apache.org/projects/flink/flink-docs-release-1.7/concepts/programming-model.html#windows （建议大家多看看官网） 2、什么是Window而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Fl
转载
2024-03-21 10:51:30
61阅读
modules概念通过hive module使用hive函数内置函数自定义函数sql 客户端的使用原理分析和源码解析实现modules概念flink 提供了一个module的概念，使用户能扩展flink的内置对象，比如内置函数。这个功能是插件化的，用户可以方便的加载或者移除相应的module。flink内置了CoreModule，并且提供了一个hive module，允许用户在加载了hive mo
转载
2023-09-05 11:15:52
76阅读
本篇概览本文是《hive学习笔记》的第九篇，前面学习的内置函数尽管已经很丰富，但未必能满足各种场景下的个性化需求，此时可以开发用户自定义函数(User Defined Function，UDF)，按照个性化需求自行扩展；本篇内容就是开发一个UDF，名为udf_upper，功能是将字符串字段转为全大写，然后在hive中使用这个UDF，效果如下图红框所示： 本篇包括以下内容：开发部署和验证(临
转载
2023-09-07 14:28:54
49阅读
我们先从wordcount程序说起 下面是一段使用 Flink 实现的 WordCount 代码import org.apache.flink.streaming.api.scala._
object WordCount {
def main(args: Array[String]): Unit = {
val env =
StreamExecutionEnvironmen
转载
2024-01-28 00:35:22
59阅读
简介Apache Flink具有两个关系API - 表API和SQL - 用于统一流和批处理。Table API是Scala和Java的语言集成查询API，允许以非常直观的方式组合来自关系运算符的查询，Table API和SQL接口彼此紧密集成，以及Flink的DataStream和DataSet API。您可以轻松地在基于API构建的所有API和库之间切换。例如，您可以使用CEP库从DataSt
转载
2023-11-01 18:29:15
66阅读
flink1.14 sql基础语法（二） flink sql表定义详解一、表的概念和类别1.1 表的标识结构每一个表的标识由 3 部分组成：catalog name (常用于标识不同的“源”，比如 hive catalog，inner catalog 等)database name(通常语义中的“库”)table name (通常语义中的“表”)package cn.yyds.sql;
impo
转载
2023-11-27 22:04:59
101阅读
无论在 OLAP 还是 OLTP 领域，Join 都是业务常会涉及到且优化规则比较复杂的 SQL 语句。对于离线计算而言，经过数据库领域多年的积累，Join 语义以及实现已经十分成熟，然而对于近年来刚兴起的 Streaming SQL 来说 Join 却处于刚起步的状态。其中最为关键的问题在于 Join 的实现依赖于缓存整个数据集，而 Streaming SQL Join 的对象却是无限的数据流，
转载
2024-07-26 12:44:59
113阅读
目录0. 相关文章链接1. 为什么要实现将业务数据实时写入到数据仓库中2. 架构设计3. FlinkSQL将binlog写入到HDFS中4. 创建增量外部表（binlog表）5. 创建全量历史表6. 创建Spoop任务同步商品表数据7. 历史数据和增量数据合并8. Java的nanoTime()9. 创建视图完成按分钟
转载
2023-12-18 22:15:23
35阅读
