状态管理 算子状态（operator state） 算子状态的作用范围限定为算子任务。 这意味着由同一并行任务所处理的所有数据都可以访问到相同的状态，状态对于同一任务而言是共享的。算子状态不能由相同或不同算子的另一个任务访问。 Flink为算子状态提供三种基本数据结构： &nbs
转载
2024-06-17 05:15:23
35阅读
brew install apache-flink1 需求1.1 Flink开发批处理应用程序词频统计(word count)一个文件，统计文件中每个单词出现的次数，分隔符是\t。统计结果我们直接打印在控制台(生产上肯定是Sink到目的地)2 开发环境2.1 Maven构建2.1.1 RequirementsMaven 3.0.4（或更高版本）Java 82.1.2 Create Project使
转载
2024-05-25 18:02:14
29阅读
本文是《Flink处理函数实战》系列的第二篇，上一篇《Flink处理函数实战之一：ProcessFunction类》学习了最简单的ProcessFunction类，今天要了解的KeyedProcessFunction，以及该类带来的一些特性；关于KeyedProcessFunction通过对比类图可以确定，KeyedProcessFunction和ProcessFunction并无直接关系：
转载
2024-03-15 11:50:59
74阅读
1.需求在大数据的实时处理中，实时的大屏展示已经成了一个很重要的展示项，比如最有名的双十一大屏实时销售总价展示。除了这个，还有一些其他场景的应用，比如我们在我们的后台系统实时的展示我们网站当前的pv、uv等等，其实做法都是类似的。需求如下：实时计算出当天零点截止到当前时间的销售总额计算出各个分类的销售top3每秒钟更新一次统计结果2.数据首先我们通过自定义source 模拟订单的生成，生成了一个T
转载
2024-03-12 11:14:30
32阅读
抽象层次Flink 提供了不同层次的抽象给批/流编程模型使用。最底层的抽象是状态流（stateful streaming），它通过处理函数（Process Function）嵌入到数据流API（DataStream API ）中。它允许用户自由处理来自一个或多个事件流，并具有一致的容错状态。另外你还可以自行注册基于事件时间和程序处理时间的回调，允许程序实现非常复杂的计算。实际应用中，大多数程序都不
转载
2024-03-04 06:55:51
47阅读
教程API 教程Python APIPython API 教程本文档是 Apache Flink 的旧版本。建议访问 最新的稳定版本。在该教程中，我们会从零开始，介绍如何创建一个Flink Python项目及运行Python Table API程序。关于Python执行环境的要求，请参考Python Table API环境安装。创建一个Python Table API项目首先，使用您最熟悉的IDE
转载
2023-07-26 11:13:31
225阅读
Flink DataStream Manager(托管) Operator State的简单使用要使用Manager(托管) Operator State，需要实现CheckpointedFunction接口或者ListCheckpointed<T extends Serializable>接口。一、CheckpointFunctionCheckpointedFunction接口提供具
转载
2024-07-29 21:55:39
56阅读
一、Flink的用武之地Flink的口号是实时即未来。 在底层平台建设、实时数仓、实时推荐、实时分析、实时大屏、风控、数据湖等场景中，都可以考虑使用Flink解决实时计算的需求二、应用场景1.事件驱动型应用事件驱动型应用是一类具有状态的应用，它从一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。 事件驱动型应用是基于状态化流处理来完成。在该设计中，数据和计算不会分离，应用
转载
2023-12-15 10:42:49
13阅读
文章目录 我们分析过 CEP 检测处理的流程，可以认为检测匹配事件的过程中会有“初始（没有任何匹配）”“检测中（部分匹配成功）”“匹配成功”“匹配失败”等不同的“状态”。随着每个事件的到来，都会改变当前检测的“状态”；而这种改变跟当前事件的特性有关、也跟当前所处的状态有关。这样的系统，其实就是一个 “状态机”（state machine） 。这也正是正则表达式底层引擎的实现原理。所以 Flink
转载
2024-02-14 13:50:29
133阅读
窗口的计算处理，在实际应用中非常常见。对于一些比较复杂的需求，如果增量聚合函数无法满足，我们就需要考虑使用窗口处理函数。 网站中一个非常经典的例子，就是实时统计一段时间内的热门 url。例如，需要统计最近 10 秒钟内最热门的两个 url 链接，并且每 5 秒钟更新一次。这可以用一个滑动窗口来实现，而“
转载
2023-10-24 08:35:58
54阅读
一 、ipython的简单使用IPython:交互式的Python命令行丰富的快捷键TAB键自动完成?：内省、命名空间搜索!：执行系统命令魔术命令：以%开始的命令%run：执行文件代码%paste：执行剪贴板代码%timeit：评估运行时间%pdb：自动调试使用命令历史获取输入输出结果目录标签系统IPython Notebookjupyter notebook在cmd上安装jupyter 然后运行
目录Python 例题（7） 1金融问题货币兑换： 源代码： 测试结果： 2.几何问题，点在三角形内吗？源代码：测试结果：3.找出可被5或六整除但不能被它两同时整除的数字源代码：测试结果：4.在金字塔模式中显示数字：源代码：测试结果：Python 例题（7） 1金融问题货币兑换： 源代码：d = float(input("Enter th
转载
2023-07-07 22:36:30
156阅读
2 Flink快速上手2.1 批处理api经典案例WordCountpublic class BatchWordCount {
public static void main(String[] args) throws Exception {
//1.创建一个执行环境
ExecutionEnvironment env = ExecutionEnvironme
转载
2024-03-12 17:12:30
22阅读
流式计算分为无状态和有状态两种情况。无状态的计算观察每个独立事件，并根据最后一个事件输出结果。例如，流处理应用程序从传感器接收温度读数，并在温度超过90度时发出警告。有状态的计算则会基于多个事件输出结果 状态一致性在流处理中，一致性可以分为3个级别：at-most-once: 这其实是没有正确性保障的委婉说法——故障发生之后，计数结果可能丢失。同样的还有udp。at-least-once
转载
2024-10-22 07:37:38
17阅读
目录1 前置说明1.1 API1.2 编程模型2 准备工程2.1 pom文件3 Flink初体验3.1 需求3.2 编码步骤3.3 代码实现3.3.1 基于DataSet3.3.2 基于DataStream3.3.3 Lambda版3.3.4 在Yarn上运行1 前置说明1.1 API⚫ API Flink提供了多个层次的API供开发者使用，越往上抽象程度越高，使用起来越方便；越往下越底层，使用起
转载
2023-10-29 14:39:31
131阅读
将一项分析工作划分为若干个可操作的小部分。根据操作顺序进行分解确定工作流程按工作流程将复杂工作划分成简单的部分对各个部分进行程序设计，并一步步执行，并加以注释组装成完整的程序例1 分析一个项目的IRR首先确定IRR计算步骤，计算NPV和期初投入相等时的收益率即为内部收益率IRR先做出货币的时间价值的计算方法，即求现金流的现值将计算NPV的方法打包成函数计算循环无限逼近IRR例2 计算现金流的现值假
转载
2023-08-09 17:02:28
226阅读
概况该公司是中国入世后经中国证监会批准设立的首家中外合资证券公司。股东为中国市场综合实力位居前列的湘财证券有限责任公司及亚太区领先的里昂证券亚太区市场。该公司是一家专门从事投资银行业务的证券经营机构，主要从事股票（包括人民币普通股、外资股）和债券（包括国债和企业债券）的承销，以及以企业并购和各类创新业务为核心的财务顾问业务。 面临问题随着近几年业务的增长，以及市场竞争的加剧，在追求业务创新的同时，
转载
2007-11-05 11:03:42
1235阅读
《四、金融量化项目案例》（密码：tgew）
原创
2022-07-04 08:43:26
218阅读
本章将介绍两个案例，分别是基于纵向联邦的保险个性化定价案例和基于横向联邦的银行间反洗钱模型案例。基于纵向联邦学习的保险个性化定价案例案例描述保险个性化定价，与其他个性化服务一样，需要平衡保险公司和客户之间的关系。一方面，消费者会根据自身的需求选择符合个人的产品；而另一方面，为了提高客户满意度，保险公司也需要具备扎实的数据洞察力基础。但保险业的个性化定价却受到很多因素的制约，导致其模型的构建往往不准
转载
2023-07-28 21:52:24
164阅读
# Python金融实战案例: 股票数据分析与可视化
在现代金融领域，数据分析和可视化变得越来越重要。Python作为一种高效的编程语言，提供了丰富的库来处理和分析金融数据。本文将通过一个实战案例，展示如何使用Python进行股票数据分析，并用可视化工具帮助我们理解数据。我们将分析某支股票的历史数据，并制作饼状图和关系图，以更好地展示我们的分析结果。
## 安装必要的库
在开始之前，我们需要
原创
2024-09-20 15:35:34
191阅读
