3种Flink State Backend | 你该用哪个？本文主要讲述Flink有状态的流处理中所提供的各种状态后端(state backend) 。 本文将介绍Flink当前所提供的3种状态后端的优缺点以及在具体需求案例中如何去做选择。在有状态的流处理(stateful-steam-processing)中，为了发生故障时能够完全恢复故障前的数据, 开发者通常会在使用Flink时设置check
转载
2024-08-25 23:17:44
44阅读
概述 作为流式计算系统，Flink通过快照机制和上游系统(比如kafka)的可回溯性来保证作业状态的一致性。
作业重启从上一次状态恢复，Flink会自动将状态分发到具体的subtask。
如果前后并发改变，Flink会将总的状态通过一定策略分发到每个subtask，即所谓的rescale；
如果前后并发不变，那么每个subtask对应的状态和之前一样。
转载
2024-04-07 08:40:52
333阅读
#include <stdio.h>
#include <stdlib.h>
char token; //全局变量，用于存放需要处理的数字或者符号
int low();
int mid();
int high();
void match(const char expectedtoken) //匹配函数 expectedtoken的意思是计算匹配，如果满足说明
转载
2024-07-04 07:17:23
70阅读
Flink SQL 更新数据含有回撤数据的问题案例问题一问题描述CREATE TABLE kafka_source (
`policy_id` BIGINT ,
`premium` int ,
`gmt_created` TIMESTAMP(3)
) WITH (
'format.type'='json',
'connector.type'='kafka',
'
转载
2024-03-26 04:51:53
541阅读
作者：杨克特（鲁尼）导读：8月22日，Apache Flink 1.9.0 正式发布。早在今年1月，阿里便宣布将内部过去几年打磨的大数据处理引擎Blink进行开源并向 Apache Flink 贡献代码。此次版本在结构上有重大变更，修改代码达150万行，接下来，我们一起梳理 Flink 1.9.0 中非常值得关注的重要功能与特性。Flink 1.9.0是阿里内部版本 Blink 合并入 Flink
——wirte by 橙心橙意橙续缘，前言白话系列 ————————————————————————————也就是我在写作时完全不考虑写作方面的约束，完全把自己学到的东西、以及理由和所思考的东西等等都用大白话诉说出来，这样能够让信息最大化的从自己脑子里输出并且输入到有需要的同学的脑中。PS：较为专业的地方还是会用专业口语诉说，大家放心！白话Flink系列 —————————————————————
转载
2024-07-29 19:48:48
46阅读
根据单个条件去重list.stream().collect( Collectors.collectingAndThen( Collectors.toCollection( () -> new TreeSet<>( Comparator.comparing(Class::getParams))) , ...
转载
2021-08-03 16:06:00
191阅读
2评论
SLF4J和LogbackSLF4J概念简单日志门面，对应的英文为Simple Logging Facade，是存取日志的标准接口。也就是说它仅仅是一个日志输出的接口，并不是一种具体的实现方案，就像 JDBC一样只是统一的接口。想要使用必须搭配其他的日志实现方案，如：log4j，logback ，JDK logging 等等。可以看到 Logback 直接继承自 SLF4J，它比其它所有的日志系统
转载
2024-09-09 07:58:10
77阅读
flink中窗口函数(一)基础函数(1)ReduceFunctionA ReduceFunction specifies how two elements from the input are combined to produce an output element of the same type. Flink uses a ReduceFunction to incrementally ag
转载
2024-03-26 09:59:47
90阅读
Slf4j，LogBack，Log4j之间的关系 slf4j 是The Simple Logging Facade for Java的简称，是一个简单日志门面抽象框架，它本身只提供了日志Facade API和一个简单的日志类实现，一般常配合 Log4j ， LogBack ， java.util.logging 使用。Slf4j作为应用层的Log接入时，程序
流处理系统需要能优雅地处理反压（backpressure）问题。反压通常产生于这样的场景：短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压，例如，垃圾回收停顿可能会导致流入的数据快速堆积，或者遇到大促或秒杀活动导致流量陡增。反压如果不能得到正确的处理，可能会导致资源耗尽甚至系统崩溃。目前主流的流处理系统 Storm/JStorm/Spark Streaming/F
转载
2024-05-23 17:15:00
40阅读
1. 定义Flink中，Kafka Source是非回撤流，Group By是回撤流。所谓回撤流，就是可以更新历史数据的流，更新历史数据并不是将发往下游的历史数据进行更改，要知道，已经发往下游的消息是追不回来的。更新历史数据的含义是，在得知某个Key（接在Key BY / Group By后的字段）对应数据已经存在的情况下，如果该Key对应的数据再次到来，会生成一条delete消息和一条新的ins
转载
2023-12-09 16:22:45
243阅读
在 Java 中，你可以使用流（Stream）来对数据进行去重操作。下面是几种常用的去重方法示例：基于 equals() 方法的去重：List<Integer> numbers = Arrays.asList(1, 2, 2, 3, 4, 4, 5);
List<Integer> distinctNumbers = numbers.stream()
.dis
原创
2023-08-05 00:49:18
384阅读
# Java Stream流去重实现方法
## 1. 概述
在Java开发中，我们经常需要对集合中的数据进行去重操作。Java 8引入的Stream流提供了非常便捷的方式来实现集合中的元素去重。本文将介绍如何在Java中利用Stream流实现去重操作。
## 2. 流程
整个去重过程可以分为以下几个步骤，如下表所示：
| 步骤 | 描述 |
| ---- | ---- |
| 1. 创建
原创
2023-10-03 03:43:27
352阅读
1. git log找到需要回撤的commit_hash 2. 执行git reset --soft commit_hash (这样的话，不会删除最新的代码。如果完全回退到以前版本，可以使用--hard替换--soft) 3. 修改代码，或者删除代码 4.git add -A; git commit
原创
2022-07-15 17:05:36
83阅读
函数进阶楔子假如有一个函数，实现返回两个数中的较大值：def my_max(x,y):
m = x if x>y else y
return m
bigger = my_max(10,20)
print(bigger)之前是不是我告诉你们要把结果return回来你们就照做了？可是你们有没有想过，我们为什么要把结果返回？如果我们不返回m，直接在程序中打印，行不行？来看结果：&g
转载
2024-07-11 07:56:25
115阅读
2011年1月21日微信（WeChat） 是腾讯公司于2011年1月21日推出的一个为智能终端提供即时通讯服务的免费应用程序，由张小龙所带领的腾讯广州研发中心产品团队打造 。在互联网飞速发展的下、民众的需求下，微信已经更新到2.6.2.31版本，全民微信时代。村口的张大妈，家里的老父亲都知道怎么使用微信。 微信撤回消息功能是在微信的5.3.1中新增的。如果需要撤回微信消息，长按刚刚发出去的消
介绍量化交易中有关最大回撤的回测指标
概要这两个概念在刚接触量化分析时，实在时折腾了许久，故在此作下总结。
最大回撤
最大回撤恢复时间
最大回撤持续期
图示
源代码 内容 最大回撤（Max Drawdown）简单来说最大回撤就是从一个高点到一个低点最大的下跌幅度，用来描述一个策略可能
转载
2023-10-13 14:45:20
200阅读
Tomas Demark提到，td回撤与斐波那契回撤最大的不同在与最低点与最高点的选择 eg.当前股价运行的z点，寻找低点方式为：1）向前搜索比当前高点高的高点x，如果当前高点为最高点，需要特殊考虑。2）在x与z之间寻找一个最低点，作为Y，Y与Z即为选择的最高点与最低点。其中，0.382,0.5，0.618，磁力价格为四个基本的价格支撑位，前一个价格位被突破，就会朝着下一个价格为运动。其
转载
2024-07-30 09:17:57
53阅读
最大回撤是指投资组合在选定的周期内，任一时间点往后推，可能出现资产净值下降的最大幅度。回撤的意思是指在某一段时期内净值从最高点开始回落到最低点的幅度。最大回撤常用百分率来表示，是一个重要的风险指标。最大回撤的计算公式为$$最大回撤 = \left( 波峰值 - 波谷值 \right) / 波峰值$$注意这里的$波峰值$与$波谷值$并不一定是最高值与最低值，这里的$波峰值$与$波谷值$要与时间范围内
转载
2023-10-08 08:32:48
655阅读
