本⽂由 Flink 社区志愿者邹志业整理，内容来源⾃阿里云实时计算产品经理李佳林在 7 月 5 日 Flink 峰会（云原生系列）的演讲。主要内容包括：基于 Flink 构建风控系统、阿里风控实战、大规模风控技术难点、阿里云 FY23 风控演进计划。目前 Flink 基本服务于阿里集团的所有 BU ，在双十一峰值的计算能力达到 40 亿条每秒，计算任务达到了 3 万多个，总共使用 100 万+ C
转载
2024-05-22 08:55:31
70阅读
点击下载：Flink 从0到1实战实时风控系统提取码：1sqmFlink 是一款基于流处置的散布式计算框架，能够完成高性能、低延迟的实时数据处置和剖析。下面是一个示例代码，用于展现如何运用 Flink 从零开端构建实时风控系统。首先，我们需求在 pom.xml 文件中添加 Flink 的依赖：<dependency>
<groupId>org.apache.flin
原创
2023-10-05 21:14:12
866阅读
1评论
文章目录Flutter必备Dart基础：Dart快速入门学习资料4-1 Flutter之Dart概述4-2 Flutter之Dart常用数据类型(数字、类型转换)4-3 Flutter之Dart常用数据类型(字符串)4-4 Flutter之Dart常用数据类型(布尔, List)4-5 Flutter之Dart常用数据类型(Map)4-6 Flutter之Dart常用数据类型(科普小姿势)4-7
文章目录说明有界与无界有界数据集无界数据集flink接口结构FLink SQLFlink TableDataStreamStateful Stream Processing API程序结构 DataStream API数据类型原生数据类型java Tuplesscala Case classPOJOs类型Flink Value类型特殊数据类型总结 说明本博客每周五更新一次。flink被定义为第三
转载
2024-02-10 00:35:11
241阅读
Flink是一个基于流处置的散布式计算框架，能够处置无限制的实时数据流。在实时风控系统中，Flink能够协助我们完成实时的数据流处置，从而完成实时风险控制。
原创
2023-10-19 18:01:01
1107阅读
小结：事件接入。其中包括黑白灰名单库、画像特征数据、行为埋点数据和中台交易数据。风险感知。策略调研后发布到规则引擎，并对告警结果进行离线回归和多渠道触达。风险应对。对涉及到财务结算的规则提供再审核、豁免机制或人工补偿。风险回溯。策略命中后进行统计和风险分类分级，预警离线回溯并对风控事件闭件。 一、项目背景 目前钱大妈基于云原生大数据组件（DataWorks、MaxCompute
转载
2024-07-07 14:13:15
346阅读
前言上期的文章中，我们主要讨论了使用flink解决数据源对比的问题。从kafka接受企业当期的报文数据，与mysql数据库中的上期数据进行对比，捕捉差异进行预警。这最近的工作中我们准备将要处理的数据量从一个set扩展到12个set，这期间遇到了如下三个问题：每个set中的区域包括多个区域的报文类型。技术提出要求，当上游程序扩展set时候，我们的程序尽量最小化工作量。业务逻辑发生了变化，对比mysq
转载
2024-04-25 18:22:15
211阅读
综述：在Flink中DataStream程序是在数据流上实现了转换的常规程序。1.示范程序 import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datast
典型的风控场景包括：注册风控、登陆风控、交易风控、活动风控等，而风控的最佳效果是防患于未然，所以事前事中和事后三种实现方案中，又以事前预警和事中控制最好。系统架构业务系统风控系统，为业务系统提供支持，根据业务系统传来的数据或埋点信息来判断当前用户或事件有无风险；惩罚系统，业务系统根据风控系统的结果来调用，对有风险的用户或事件进行控制或惩罚，比如增加验证码、限制登陆、禁止下单等等；分析系统，该系统用
转载
2024-03-08 23:13:31
33阅读
随着企业规模的增长，用户数量的提升，我们认识到单纯的人工审核和规则引擎无法满足业务需求，所以引入机器学习对风险等级进行动态评估成为了风控引擎进化的必然趋势。
原创
2023-05-03 03:41:38
414阅读
本文介绍钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎，精确识别羊毛党以防营销预算流失。
转载
2022-11-15 22:57:46
149阅读
本文主要介绍BTC.com 团队在实时 OLAP 方面的技术演进过程及生产优化实践，内容如下： 1.业务背景 2.机遇挑战 3.架构演进 4.架构优化 5.未来展望 一、业务背景 1.1 业务介绍 - ABCD BTC.com...
转载
2021-04-14 10:22:00
448阅读
2评论
整理：赵宇彤、苗文婷摘要：本文主要介绍 BTC.com 团队在实时 OLAP 方面的技术演进过程及生产优化实
转载
2021-07-05 09:35:58
166阅读
一、背景 每天上百亿的日志数据实时查询是个挑战，在架构设计上采用了Kafka + Flink + Clickhouse+Redash，实现海量数据的实时分析。计算层，我们开发了基于Flink计算引擎的实时数据平台，简化开发流程，数据通过配置化实现动态Schema生成，底层数据解析统一，无需重复造轮子
转载
2020-09-08 15:19:00
237阅读
2评论
京东风控数据产品组架构师周文跃，在 FFA 2022 实时风控专场的分享。本篇内容主要分为六个部分。
原创
2023-05-02 23:34:36
505阅读
01背景介绍本文介绍的演练操作源于某真实案例，用户有一个 80 TB 的 HBase 数据库，其中有一张超大表，数据量约为 50 TB，在一次迁移任务中，用户需要将该 HBase 数据库迁移到 Amazon EMR 上。 本文将讨论并演示：将一个 50 TB HBase 单表不停机迁移数据到一个 HBase on S3 集群上。02知识储备介绍详细的迁移操作前，有必要介绍一些与 HBase 相关的
前言 之前文章 《从0到1学习Flink》—— Flink 写入数据到 ElasticSearch 写了如何将 Kafka 中的数据存储到 ElasticSearch 中，里面其实就已经用到了 Flink 自带的 Kafka source connector（FlinkKafkaConsumer）。
转载
2020-09-07 18:02:00
189阅读
2评论
前言 前面 FLink 的文章中我们已经介绍了说 Flink 已经有很多自带的 Connector。 其中包括了 Source 和 Sink 的，后面我也讲了下如何自定义自己的 Source 和 Sink。 那么今天要做的事情是啥呢？就是介绍一下 Flink 自带的 ElasticSearch Co
转载
2020-09-07 18:01:00
323阅读
2评论
1、安装Redis 3.2链接：https://pan.baidu.com/s/1jDBpDocfMuo1rfn1ghocvw 提取码：18x22、Elasticsearch 7.6.x链接：https://pan.baidu.com/s/1udPYWZrs44REH77T78H3uA提取码：rb7a3、安装mongodb 4.x安装好mongodb后，需要连接mongodb服务器，设置超级管理员
原创
2021-03-20 20:57:30
521阅读
