一、Flink概述
官网：https://flink.apache.org/
mapreduce-->maxcompute
HBase-->部门
quickBI
DataV
Hive-->高德地图
Storm-->Jstorm
......
2019年1月，阿里正式开源flink--
转载
2023-10-02 19:58:33
78阅读
目录1. 随机分区（shuffle）2. 轮询分区（Round-Robin）3. 重缩放分区（rescale）4. 广播（broadcast）5. 全局分区（global）6. 自定义分区（Custom） 顾名思义，“分区”（partitioning
）操作就是要将数据进行重新分布，传递到不同的流分
转载
2023-10-16 22:36:50
69阅读
# Flink Hudi：只能用Java的真相
Apache Flink 是一个开源的流处理框架，而 Apache Hudi 是一种支持流式和批量数据处理的存储解决方案。二者结合使用，可以实现高效的数据管理与处理。本文将带您深入了解 Flink Hudi，并提供实际的代码示例，同时讨论其只能用 Java 的特点。
## 什么是 Apache Hudi？
Apache Hudi（Hadoop
一.概述生成时间戳/水印与在事件时间有关。有关事件时间， 处理时间和摄取时间，参考：事件时间概述为了处理事件时间，流式传输程序需要相应地设置时间特征。val env = StreamExecutionEnvironment.getExecutionEnvironment
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)二.分
转载
2023-12-20 08:58:15
12阅读
Flink作为实时流处理界的新秀，以其优越的性能被越来越多的公司使用。1、Flink简介Apache Flink是新一代的大数据处理引擎，目标是统一不同来源的数据处理。同时，Flink也是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时（Flink Runtime），提供支持流处理和批处理两种类型应用的功能，Flink本身提供了DataSet和DataStre
转载
2024-01-12 09:54:18
68阅读
ArchitectureClient连接其中的⼀个代理服务区然后发送查询请求给Proxy服务器，查询指定key所对应的状态数据，底层Flink按照KeyGroup的⽅式管理Keyed State，这些KeyGroup被分配给了所有的TaskMnager的服务。每个TaskManage服务多个KeyGroup状态的存储。为了找到查询key所在的KeyGroup所TaskManager服务，Proxy
转载
2024-03-07 10:43:43
44阅读
1-Flink入门 2-本地环境搭建&构建第一个Flink应用 3-DataSet API 4-DataSteam API 5-集群部署 6-分布式缓存 7-重启策略 8-Flink中的窗口 9-Flink中的Time 时间 时间类型事件时间，摄入时间，处理时间三种。 如果以EventTime为基准来定义时间窗口将形成EventTimeWindow,要求消息本身就应该携带EventTim
Python基本编码规范1、分号不得在行尾加分号，也不要使用分号将两条命令放在同一行。Python有很严格的语法规范，在其他一些编程语言中使用分号可以实现你想要的隔离功能，但在Python不适用。2、行长度一般情况下每行不要超过80个字符，超出时可以使用换行进行处理，各类括号会将内容连接在一起。3、括号能不用就不用，除了列表需要或者进行内容连接时，其他情况不要使用。4、缩进必须使用4个空格来表示每
转载
2023-05-26 18:31:58
180阅读
为什么Python中没有++和--运算符？#1楼首先，Python仅受C间接影响。 它受ABC的影响很大， ABC 显然没有这些运算符 ，因此也没有在Python中找到它们也就不足为奇了。其次，正如其他人所说的， +=和-=已经支持增量和减量。第三，对++和--运算符集的完全支持通常包括同时支持它们的前缀和后缀版本。 在C和C ++中，这可能导致各种“可爱”的结构(在我看来)与Python所包含的
转载
2023-09-20 22:47:25
127阅读
时间语义谈及watermark就要先从Flink支持的时间语义说起，Flink支持三种时间语义：process time:指的系统处理对应数据时的系统时间。他是最简单的一种实现，由于不需要额外的协调，因性能最好event time:是指数据中携带的时间，而不是数据到达的时间。因此时间的进度完全取决于数据，而不是系统时间。使用event time必须指定生成eventTime和watermark的方
转载
2024-06-05 23:44:57
30阅读
# QTP能用Python进行自动化测试
QTP（Quick Test Professional），现更名为 UFT（Unified Functional Testing），是一款强大的自动化测试工具，广泛应用于软件测试领域。随着编程语言的多样化，Python逐渐成为许多测试工程师的首选语言。本文将介绍如何使用Python与QTP/UFT进行测试自动化，并提供一个简单的代码示例。
## QTP
原创
2024-10-10 05:56:07
181阅读
背景：由于第一次接触zeromq，对其了解甚少，于是度娘对其原理了解一番后，就开始了接下来实践“坑”中，首先在LR中，对于用socekt、java、c那种方式来实现，通过抓包对比，以及socekt和c语言可实现，但复杂度有点”呵呵“，而用java开发的zeromq请求脚本（见：实现过程一），实现挺简单，但是在回放脚本时，遇见了我一个”大坑“，
转载
2024-09-20 18:05:23
24阅读
# 在平板上使用Python：你需要知道的一切
随着科技的发展，Python作为一种简单而强大的编程语言，逐渐被更多的用户所接受。在移动设备上，尤其是平板上，使用Python的可能性不仅提升了学习的灵活性，也为应用开发提供了新机会。本文将带你探索平板上使用Python的一些常见方法、工具和代码示例，帮助你在旅途中轻松编写代码。
## 为什么选择Python？
Python的流行源于其简单的语
## iPad能用Python：开启编程的移动新体验
随着科技的发展，越来越多的人希望能够随时随地进行编程。特别是对于Python这样灵活且强大的编程语言，使用者希望能够在移动设备上进行编写和测试。对于许多iPad用户而言，能够在这样的设备上使用Python，无疑可以提升学习和工作的灵活性。
### 1. 为何选择Python？
Python因其简单易学的语法、强大的数据处理能力以及丰富的库
摘要：本文整理自阿里巴巴高级技术专家付典，在 FFA 核心技术专场的分享。本篇内容主要分为四个部分：PyFlink 发展现状介绍PyFlink 最新功能解读PyFlink 典型应用场景介绍PyFlink 下一步的发展规划Tips：点击「阅读原文」查看原文视频&演讲 ppt01PyFlink 发展现状介绍很多 PyFlink 的新用户都会问这样一些问题，PyFlink 是否成熟？功能是否齐全
转载
2024-02-03 10:28:08
32阅读
作为流计算领域的佼佼者，Flink框架在这两年的发展势头不容小觑，尤其是在不少大公司的数据平台上，都争相开始引入Flink引擎。而作为一个流批一体的大数据计算引擎，Flink在语言支持上也更加开明，比如说支持Python API架构。今天，我们就主要来聊聊Flink Python相关的内容。 Flink在 1.9.0版本开启了新的ML接口和全新的Python API架构，并且已经支持
转载
2023-08-16 04:10:07
183阅读
python常用运算符&数字&布尔值上节回顾一、变量名和标识符变量名的命名规范(1)只能包含数字,字母和下划线
(2)只能以字母和下划线开头
(3)标识符是区分大小写的
(4)不能使用python内置的关键字
（5)不能以数字开头标识符包括：变量名、函数名、类名、模块名和项目名标识符的命名风格（1）下划线命名法： 单词的所有字母是小写，单词之间用下划线连接:max_number、t
转载
2023-08-27 21:13:21
92阅读
不遵守编程规范的程序员，简直就是耍流氓，python为了抵制流氓，特意把核心规范加到了运行环境中。但也有部分需要靠个人自觉遵守的。1. 分号：不要在行尾加分号, 也不要用分号将两条命令放在同一行；2. 字符串： 即使参数都是字符串, 使用%操作符或者格式化方法格式化字符串. 不过也不能一概而论, 你需要在+和%之间好好判定；3. 文件和sockets：在文件
转载
2023-07-07 16:53:14
91阅读
1 IDEA中运行Flink从Flink 1.11版本开始, PyFlink 作业支持在 Windows 系统上运行，因此您也可以在 Windows 上开发和调试 PyFlink 作业了。1.1 环境配置pip3 install apache-flink==1.15.3
CMD>set PATH查看环境变量
CMD>set JAVA_HOME查看环境变量
JAVA_HOME=D:\Ja
转载
2023-08-18 16:56:48
143阅读
在 Apache Flink 1.9 版中，我们引入了 PyFlink 模块，支持了 Python Table API。Python 用户可以完成数据转换和数据分析的作业。但是，您可能会发现在 PyFlink 1.9 中还不支持定义 Python UDFs，对于想要扩展系统内置功能的 Python 用户来说，这可能有诸多不便。在刚刚发布的 ApacheFlink 1.10 中，PyFlink 添加
转载
2023-08-30 16:48:00
209阅读
