SLF4J和LogbackSLF4J概念简单日志门面，对应的英文为Simple Logging Facade，是存取日志的标准接口。也就是说它仅仅是一个日志输出的接口，并不是一种具体的实现方案，就像 JDBC一样只是统一的接口。想要使用必须搭配其他的日志实现方案，如：log4j，logback ，JDK logging 等等。可以看到 Logback 直接继承自 SLF4J，它比其它所有的日志系统
转载
2024-09-09 07:58:10
77阅读
概述 作为流式计算系统，Flink通过快照机制和上游系统(比如kafka)的可回溯性来保证作业状态的一致性。
作业重启从上一次状态恢复，Flink会自动将状态分发到具体的subtask。
如果前后并发改变，Flink会将总的状态通过一定策略分发到每个subtask，即所谓的rescale；
如果前后并发不变，那么每个subtask对应的状态和之前一样。
转载
2024-04-07 08:40:52
333阅读
作者：杨克特（鲁尼）导读：8月22日，Apache Flink 1.9.0 正式发布。早在今年1月，阿里便宣布将内部过去几年打磨的大数据处理引擎Blink进行开源并向 Apache Flink 贡献代码。此次版本在结构上有重大变更，修改代码达150万行，接下来，我们一起梳理 Flink 1.9.0 中非常值得关注的重要功能与特性。Flink 1.9.0是阿里内部版本 Blink 合并入 Flink
Flink SQL 更新数据含有回撤数据的问题案例问题一问题描述CREATE TABLE kafka_source (
`policy_id` BIGINT ,
`premium` int ,
`gmt_created` TIMESTAMP(3)
) WITH (
'format.type'='json',
'connector.type'='kafka',
'
转载
2024-03-26 04:51:53
541阅读
flink中窗口函数(一)基础函数(1)ReduceFunctionA ReduceFunction specifies how two elements from the input are combined to produce an output element of the same type. Flink uses a ReduceFunction to incrementally ag
转载
2024-03-26 09:59:47
90阅读
Slf4j，LogBack，Log4j之间的关系 slf4j 是The Simple Logging Facade for Java的简称，是一个简单日志门面抽象框架，它本身只提供了日志Facade API和一个简单的日志类实现，一般常配合 Log4j ， LogBack ， java.util.logging 使用。Slf4j作为应用层的Log接入时，程序
#include <stdio.h>
#include <stdlib.h>
char token; //全局变量，用于存放需要处理的数字或者符号
int low();
int mid();
int high();
void match(const char expectedtoken) //匹配函数 expectedtoken的意思是计算匹配，如果满足说明
转载
2024-07-04 07:17:23
70阅读
多流转换可分为“分流”和“合流”两大类。目前分流操作一般是通过侧输出流（side output）来实现，而合流的算子比较丰富，根据不同的需求可调用 union()、connect()、join() 等接口进行连接合并操作。8.1 分流所谓“分流”，就是将一条数据流拆分成完全独立的两条、甚至多条流。也就是基于一个 DataStream，得到完全平等的多个子 DataStream，如图 8-1 。一般
转载
2024-03-28 09:32:07
352阅读
——wirte by 橙心橙意橙续缘，前言白话系列 ————————————————————————————也就是我在写作时完全不考虑写作方面的约束，完全把自己学到的东西、以及理由和所思考的东西等等都用大白话诉说出来，这样能够让信息最大化的从自己脑子里输出并且输入到有需要的同学的脑中。PS：较为专业的地方还是会用专业口语诉说，大家放心！白话Flink系列 —————————————————————
转载
2024-07-29 19:48:48
46阅读
3种Flink State Backend | 你该用哪个？本文主要讲述Flink有状态的流处理中所提供的各种状态后端(state backend) 。 本文将介绍Flink当前所提供的3种状态后端的优缺点以及在具体需求案例中如何去做选择。在有状态的流处理(stateful-steam-processing)中，为了发生故障时能够完全恢复故障前的数据, 开发者通常会在使用Flink时设置check
转载
2024-08-25 23:17:44
44阅读
kafka 基础知识梳理 一、kafka 简介 kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。1.1 kafka名词解释produc
Kafka消息分发和消费者push、pull机制1. 消息分发Producer客户端负责消息的分发 kafka集群中的任何一个broker都可以向producer提供metadata信息,这些metadata中包含”集群中存活的servers列表”/”partitions leader列表”等信息；
当producer获取到metadata信息之后, producer将会和To
一、Flink SQL InsightFlink 作为流批一体计算引擎，给大家提供了统一的 API，统一的算子描述，以及统一的调度。但 Flink 算子的底层仍有一些细微的差别。对于一个批算子而言，它的输入是一个有限数据集。批算子会基于完整数据集进行计算，计算过程中如果内存装不下，数据会 Spill 到磁盘。对于流算子而言，它的输入是一个无限数据集。与批算子不同，流算子不能在收集到所有输入数据之后
流处理系统需要能优雅地处理反压（backpressure）问题。反压通常产生于这样的场景：短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压，例如，垃圾回收停顿可能会导致流入的数据快速堆积，或者遇到大促或秒杀活动导致流量陡增。反压如果不能得到正确的处理，可能会导致资源耗尽甚至系统崩溃。目前主流的流处理系统 Storm/JStorm/Spark Streaming/F
转载
2024-05-23 17:15:00
40阅读
????全网最全大数据面试提升手册！2023年持续更新！1. 定义Flink中，Kafka Source是非回撤流，Group By，如果该Key对应的数据...
转载
2024-05-23 23:01:07
1500阅读
1. 定义Flink中，Kafka Source是非回撤流，Group By是回撤流。所谓回撤流，就是可以更新历史数据的流，更新历史数据并不是将发往下游的历史数据进行更改，要知道，已经发往下游的消息是追不回来的。更新历史数据的含义是，在得知某个Key（接在Key BY / Group By后的字段）对应数据已经存在的情况下，如果该Key对应的数据再次到来，会生成一条delete消息和一条新的ins
转载
2023-12-09 16:22:45
243阅读
引子表值函数(table-valued function, TVF)，顾名思义就是指返回值是一张表的函数，在Oracle、SQL Server等数据库中屡见不鲜。而在Flink的上一个稳定版本1.13中，社区通过FLIP-145提出了窗口表值函数(window TVF)的实现，用于替代旧版的窗口分组(grouped window)语法。举个栗子，在1.13之前，我们需要写如下的Flink SQL语
1. git log找到需要回撤的commit_hash 2. 执行git reset --soft commit_hash (这样的话，不会删除最新的代码。如果完全回退到以前版本，可以使用--hard替换--soft) 3. 修改代码，或者删除代码 4.git add -A; git commit
原创
2022-07-15 17:05:36
83阅读
2011年1月21日微信（WeChat） 是腾讯公司于2011年1月21日推出的一个为智能终端提供即时通讯服务的免费应用程序，由张小龙所带领的腾讯广州研发中心产品团队打造 。在互联网飞速发展的下、民众的需求下，微信已经更新到2.6.2.31版本，全民微信时代。村口的张大妈，家里的老父亲都知道怎么使用微信。 微信撤回消息功能是在微信的5.3.1中新增的。如果需要撤回微信消息，长按刚刚发出去的消
介绍量化交易中有关最大回撤的回测指标
概要这两个概念在刚接触量化分析时，实在时折腾了许久，故在此作下总结。
最大回撤
最大回撤恢复时间
最大回撤持续期
图示
源代码 内容 最大回撤（Max Drawdown）简单来说最大回撤就是从一个高点到一个低点最大的下跌幅度，用来描述一个策略可能
转载
2023-10-13 14:45:20
200阅读
