前言在上一节我们使用了陌陌开源框架来处理json中的单值校验，在这一篇文章里我们主要通过flink sql来处理更为复杂的风控场景。业务场景这一部分业务场景主要是校验企业当期需要报税的科目，相比企业往期报税的科目是否有增加或减少，以此来防止税务漏报。我们的企业用户数量在百万级别，每个业务期间漏报率、误报率在千分之5左右，也就是会有几千家会有漏报的情况，而漏报会缴纳2000元的罚款，每个业务期间亏损
转载
2024-02-11 21:51:14
49阅读
什么是复杂事件CEP？一个或多个由简单事件构成的事件流通过一定的规则匹配，然后输出用户想得到的数据，满足规则的复杂事件。特征：目标：从有序的简单事件流中发现一些高阶特征输入：一个或多个由简单事件构成的事件流处理：识别简单事件之间的内在联系，多个符合一定规则的简单事件构成复杂事件输出：满足规则的复杂事件CEP架构CEP-NFACEP-NFA是什么？Flink 的每个模式包含多个状态，模式匹配的过程就
转载
2024-03-26 09:44:30
328阅读
点赞
Flink CEP 入门第一步CEP 介绍场景描述需求分析主要逻辑源码分享测试结果参考地址 CEP 介绍CEP(Complex Event Process) 直译过来就是复杂事件处理，具体到底有多复杂呢？基本上在时序数据场景中要监控某一些有特征的信息，可以理解为复杂事件。Flink 1.0 以后就开始支持复杂事件处理，可以在项目中通过引用 flink-cep.jar 包来做复杂事件处理。场景描述
本章将深入分析 Flink 分布式运行时架构如何实现这些概念。概览Flink 中的 APIFlink 为流式/批式处理应用程序的开发提供了不同级别的抽象。Flink API 最底层的抽象为有状态实时流处理。其抽象实现是 Process Function，并且 Process Function 被 Flink 框架集成到了 DataStream API 中来为我们使用。它允许用户在应用程序中自由地处
转载
2024-04-06 08:59:10
83阅读
零基础入门金融风控之贷款违约目的：1.EDA价值主要在于熟悉了解整个数据集的基本情况（缺失值，异常值），对数据集进行验证是否可以进行接下来的机器学习或者深度学习建模.2.了解变量间的相互关系、变量与预测值之间的存在关系。3.为特征工程做准备数据总体了解：读取数据集并了解数据集大小，原始特征维度；通过info熟悉数据类型；粗略查看数据集中各特征基本统计量；缺失值和唯一值：
查看数据缺失值情况查
转载
2023-10-20 19:50:43
133阅读
目录JavaFlink原理、实战、源码分析（一）JavaFlink原理、实战、源码分析（二）第八章 Flink 状态管理 主要内容Flink 中的状态算子状态（Operator State）算子状态数据结构键控状态（Keyed State）键控状态数据结构键控状态的使用状态后端（State Backends）选择一个状态后端第九章 ProcessFunction API（底层 API）9
一、风险洞察平台介绍以Clickhouse+Flink实时计算+智能算法为核心架构搭建的风险洞察平台, 建立了全面的、多层次的、立体的风险业务监控体系，已支撑欺诈风险、信用风险、企业风险、小微风险、洗钱风险、贷后催收等十余个风控核心场景的实时风险监测与风险预警，异常检测算法及时发现指标异常波动，基于根因策略快速做到风险归因分析并生成风险报告，接入MQ主题500+、数据模型6000+、实时预警400
典型的风控场景包括：注册风控、登陆风控、交易风控、活动风控等，而风控的最佳效果是防患于未然，所以事前事中和事后三种实现方案中，又以事前预警和事中控制最好。系统架构业务系统风控系统，为业务系统提供支持，根据业务系统传来的数据或埋点信息来判断当前用户或事件有无风险；惩罚系统，业务系统根据风控系统的结果来调用，对有风险的用户或事件进行控制或惩罚，比如增加验证码、限制登陆、禁止下单等等；分析系统，该系统用
转载
2024-03-08 23:13:31
33阅读
LarkMidTablegitHub地址: https://github.com/wxgzgl/LarkMidTable 方便推广开源产品，希望觉得不错的可以Star项目，可以加入我们一起研发！！！中文 | EnglishLark中文名称 云雀，云代表大数据，雀代表平凡和自由。LarkMidTable 是一站式开源的数据中台，实现元数据管理，数据仓库开发，数据质量管理，数据的可视化，实现高效赋能数
转载
2024-05-11 20:21:14
137阅读
上一篇我们对Flink CEP做了简单介绍，这一篇我们通过代码来演示一下Flink CEP SQL中的严格近邻效果：
原创
精选
2022-08-13 12:05:19
469阅读
上一篇我们对Flink CEP做了简单介绍，这一篇我们通过代码来演示一下Flink CEP SQL中的严格近邻效果：
原创
2022-08-20 00:32:54
61阅读
# 使用Java进行风控系统开发
## 什么是风控
风控，或风险控制，是企业在业务运作过程中识别、评估和控制潜在风险的重要管理活动。尤其在金融科技、电子商务等行业，风控机制的建立对于保障资金安全和业务顺畅至关重要。本文将探讨如何使用Java构建一个简单的风控系统，并提供相关代码示例。
## 风控系统的基本流程
风控系统通常包括以下几个基本步骤：
1. 数据收集：获取用户信息、交易记录等数
原创
2024-10-24 04:08:51
108阅读
摘要：本文整理自 Airwallex Risk ML Platform Team 董大凡，在 Flink Forward Asia 2022 实时风控专场的分享。本篇内容主要分为五个部分：背景介绍应对方案技术挑战与亮点可用性保证线上表现一、背景介绍Airwallex 是一个以“创建一个让企业跨境运营的环境，以此助推全球的数字经济发展。”为目标的金融科技公司。服务有 GTPN、PA、Scale。目前
文章目录一.什么是CEP二.CEP特点三. Pattern API3.1 个体模式(Individual Patterns)3.2 组合模式(Combining Patterns)3.3 模式组3.3.1 模式的检测3.3.2 匹配事件提取3.3.3 超时事件提取参考: 一.什么是CEP复杂事件处理（Complex Event Processing，CEP）Flink CEP是在Flink中实现
转载
2024-06-24 00:27:30
403阅读
文章目录1、简介2、Flink CEP三种状态迁移边3、Flink CEP模式匹配过程 1、简介Flink CEP是Flink的复杂事件处理库，允许用户快速快速检测无尽数据流中的复杂模式。但是CEP仅仅限于对DataStream API进行处理，Flink每个模式包含很多种状态，模式匹配过程就是状态转换的过程，每个状态可以理解成由Pattern构成，为了当前的状态转换成下一个状态，用户可以在Pa
转载
2023-11-18 20:39:16
64阅读
文章目录FlinkCEP——Flink的复杂事件处理FlinkCEP 简单流程Pattern API个体模式(Individual Patterns)量词条件模式组(Groups of Patterns)近邻引入 FlinkCEP——Flink的复杂事件处理FlinkCEP是在Flink之上实现的复杂事件处理 （CEP）库。它使您可以检查无穷无尽的事件流的事件模型，从而使您有机会掌握数据中的重要
转载
2024-04-06 10:36:07
51阅读
目录1. 什么是Flink CEP2. CEP的使用准备3. Individual Patterns(单个模式)3.1 times、oneOrMore、timesOrMore(不连续匹配)3.2 consecutive(限定连续匹配)3.3 allowCombinations(不确定的不连续匹配)3.3 指定条件的方法3.3.1 where3.3.2 or3.3.3 until3.3.4 sub
转载
2024-03-11 13:20:15
30阅读
文章目录 我们分析过 CEP 检测处理的流程，可以认为检测匹配事件的过程中会有“初始（没有任何匹配）”“检测中（部分匹配成功）”“匹配成功”“匹配失败”等不同的“状态”。随着每个事件的到来，都会改变当前检测的“状态”；而这种改变跟当前事件的特性有关、也跟当前所处的状态有关。这样的系统，其实就是一个 “状态机”（state machine） 。这也正是正则表达式底层引擎的实现原理。所以 Flink
转载
2024-02-14 13:50:29
133阅读
1 Flink CEP 是什么FlinkCEP - Flink的复杂事件处理。它可以让你在无限事件流中检测出特定的事件模型，有机会掌握数据中重要的那部分2 Flink CEP 特点目标：从有序的简单事件流中发现一些高阶特征输入：一个或多个由简单事件构成的事件流处理：识别简单事件之间的内在联系，多个符合一定规则的简单事件构成复杂事件输出：满足规则的复杂事件3 Flink CEP 应用场景风险控制：对
转载
2024-06-19 10:48:53
27阅读
一、简介
今天给大家分享的内容是FlinkCEP，中文意思就是复杂事件处理。
那么何为CEP呢？ 听起来好像很复杂，实际上就是基于事件流进行数据处理，把要分析的数据抽象成事件，然后将数据发送到CEP引擎，引擎就会根据事件的输入和最初注册的处理模型，得到事件处理结果。
直白一点就是：对连续的传入事件进行模式匹配
二、应用场景
CEP应用场景具有几个共同而明显的特点：
• 通常需要处理巨量的事件，
转载
2024-05-27 23:59:42
173阅读
