对一个互联网产品来说，典型的风控场景包括：注册风控、登陆风控、交易风控、活动风控等，而风控的最佳效果是防患于未然，所以事前事中和事后三种实现方案中，又以事前预警和事中控制最好。这要求风控系统一定要有实时性。本文就介绍一种实时风控解决方案。1.总体架构风控是业务场景的产物，风控系统直接服务于业务系统，与之相关的还有惩罚系统和分析系统，各系统关系与角色如下： 业务系统，通常是APP+后台
RocksDB作为一个开源的存储引擎支持事务的ACID特性，而要支持ACID中的I(Isolation),并发控制这块是少不了的，本文主要讨论RocksDB的锁机制实现，细节会涉及到源码分析，希望通过本文读者可以深入了解RocksDB并发控制原理。文章主要从以下4方面展开，首先会介绍RocksDB锁的基本结构，然后我会介绍RocksDB行锁数据结构设计下，
转载
2024-06-04 13:54:31
167阅读
# 使用 RocksDB 的 Java 实现指南
## 1. 引言
RocksDB 是一个高性能的键值存储库，它特别适用于需要大量读写的场景，比如缓存、实时数据分析等。Java 的应用程序可以通过 RocksDB 与其良好地交互。本文将详细介绍如何在 Java 中使用 RocksDB，包括具体步骤和示例代码。
## 2. 实现流程概述
以下是使用 RocksDB 在 Java 项目中实现的
目录事件驱动型应用数据分析型应用数据管道型应用Flink 功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。事件驱动型应用事件驱动型应用是一类具有状态的应用，它从一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。事件驱动型应用是在计算存储分离的传统应用基础上进化而来。在传统架构中，应用
转载
2024-02-21 14:15:16
49阅读
使用Socket实现银行查看余额，存款，取款用来理解Socket的使用，和如何在配置文件中存取数据有深刻的理解相关变量//操作存钱取钱查看钱的业务代码
BankService bankService = new BankService();
//获取与客户端连接的相关流
InputStream inputStream = socket.getInputStream();
//DataInputSt
转载
2023-10-01 09:27:03
133阅读
本文我们将深入探讨有状态的流处理，更确切地说是 Apache Flink 中不同的状态后端（state backend）。在以下部分，我们将介绍 Apache Flink 的 3 种状态后端，它们的局限性以及根据具体案例需求选择最合适的状态后端。在有状态的流处理中，当开发人员启用了 Flink 中的 checkpoint 机制，那么状态将会持久化以防止数据的丢失并确保发生故障时能够完全恢复。选择何
转载
2024-04-28 06:49:17
190阅读
实时计算最好的时代在过去的十年里，面向数据时代的实时计算技术接踵而至。从我们最初认识的 Storm，再到 Spark 的异军突起，迅速占领了整个实时计算领域。直到 2019 年 1 月底，阿里巴巴内部版本 Flink 正式开源！一石激起千层浪，Flink 开源的消息立刻刷爆朋友圈，整个大数据计算领域一直以来由 Spark 独领风骚，瞬间成为两强争霸的时代。Apache Flink（以下简称 Fli
转载
2024-02-20 13:05:30
38阅读
作者：董亭亭 整理：蒋晓峰作者介绍：董亭亭，快手大数据架构实时计算引擎团队负责人。目前负责 Flink 引擎在快手内的研发、应用以及周边子系统建设。2013 年毕业于大连理工大学，曾就职于奇虎 360、58 集团。主要研究领域包括：分布式计算、调度系统、分布式存储等系统。本次的分享包括以下三个部分：介绍 Flink 在快手的应用场景以及目前规模；介绍 Flink 在落地过程的技术演进过程；讨论 F
转载
2024-03-22 21:05:29
289阅读
应用场景Apache Flink 是开发和运行许多不同类型的应用程序的绝佳选择，因为它具有广泛的功能集。Flink 的功能包括支持流和批处理、复杂的状态管理、事件时间处理语义以及状态的一次性一致性保证。下面，我们将探讨由 Flink 提供支持的最常见的应用程序类型，并为现实世界的示例提供指导。事件驱动的应用程序数据分析应用数据管道应用事件驱动的应用程序什么是事件驱动的应用程序？事件驱动应用程序是一
转载
2024-02-24 16:42:37
54阅读
1.前言 之前几篇文章都是围绕Rocksdb状态后端引申出来的一系列问题，本文主要介绍一下Rocksdb作为状态后端的一些技术细节，以及Flink的状态抽象是如何设计的，为开发一个新的状态后端做指导。 本文基于Flink 1.8.2，目前Flink版本处于一种快速变化的过程，所以可能不适用于高版本，但仍有借鉴意义。2.结构 Flink的状态定义都在flink-runtime包下，路径是org
转载
2024-07-02 21:17:05
681阅读
flink多流操作1 分流操作2 connect连接操作2.1 connect 连接（DataStream,DataStream→ConnectedStreams)2.2 coMap（ConnectedStreams → DataStream）2.3 coFlatMap（ConnectedStreams → DataStream）3 union操作3.1 union 合并（DataStream
Apache Flink在需要运行各种类型的应用程序方面是个不错的选择，因为其具有丰富的特征集。Flink的特征包含了处理流和批处理，复杂的状态管理，事件时间处理语义和对状态的"正好一次"一致性保证。而且，Flink可以部署在不同的资源管理器之上，如YARN，Apache Mesos，和k8s，但是也可以在裸机上单独的集群上运行。当配置高可用后，Flink就不存在单点故障
转载
2024-03-22 10:28:08
56阅读
Table of Contents监控State and Checkpoints调优Checkpointing网络缓存调优异步CheckpointingRocksDB调优增量备份RocksDB计时器预定义选项将选项工厂传递给RocksDB容量规划压缩本地恢复任务触发捷径主(分布式存储)和次(任务-本地)状态快照的关系task-local 配置恢复关于不同状态后端任务-本地恢复的详细信息配置保存调度
转载
2024-05-11 23:16:50
930阅读
Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink 不仅可以运行在包括 YARN、 Mesos、Kubernetes 在内的多种资源管理框架上，还支持在裸机集群上独立部署。在启用高可用选项的情况下，它不存在单点失效问题。事实证明，Flink 已经可以扩展到数千核心，其状态可以
转载
2024-06-17 16:03:45
23阅读
Flink的定位：大数据处理引擎ApacherFlink是一个框架和分布式处理处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计再所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。Flink的应用场景：1、电商和市场营销：实时数据报表，广告投放，实时推荐2、物联网：传感器实时数据采集和显示，实时报警，交通运输业3、物流配送和服务业：订单状态实时更新，通知信息推送4、银行和
转载
2023-09-27 14:00:42
145阅读
目录0. 相关文章链接1. State Vs Checkpoint2. Checkpoint执行流程2.1. 简单流程2.2. 复杂流程3. State状态后端/State存储介质3.1. MemStateBackend3.2. FsStateBackend3.3. RocksDBStateBackend4. Checkpoint配置方式4.1. 全局配置4.2. 在代码中配置5. 代码
这是我的第87篇原创窗口函数真奇妙，聚合计算快又好，数据分析宝中宝，表哥表妹不能少，不！能！少！在我刚入行的时候，还不懂啥窗口函数，想出一张报表那叫一个费劲啊，各种自关联、行转列、列转行玩的不亦乐乎。后来知道有个叫“窗口函数/聚合函数”的东西，简直把我惊呆了，感觉好几年的功夫都白练了。之前给大家分享过Hive的窗口函数全解，点击查看：【面试必问】窗口函数全解-HIVE。无限数据流的统计问题 今
转载
2024-05-21 23:43:24
25阅读
何时以及如何在 Apache Flink 中使用 RocksDB 状态后端Flink中的状态什么是RocksDB?Flink中的RocksDB什么时候使用RocksDBStateBackend如何使用RocksDBStateBackend集群级别作业级别最佳实践和高级配置状态在RocksDB中的位置RocksDB故障诊断总结 流处理应用程序通常是有状态的，“记住”已处理事件中的信息，并使用它来影
转载
2024-03-13 17:22:29
194阅读
Flink 实时计算 - 维表 Join 解读前言Flink 1.9 版本可以说是一个具有里程碑意义的版本，其内部合入了很多 Blink Table/SQL 方面的功能，同时也开始增强 Flink 在批处理方面的能力，真的是向批流统一的终极方向开始前进。Flink 1.9 版本在 8.22 号也终于发布了。本文主要介绍学习 Flink SQL 维表 Join，维表 Join 对于SQL 任务来说，
转载
2024-09-19 14:14:47
117阅读
作者 | 董亭亭
整理 | 蒋晓峰
编辑 | Natalie AI 前线导读： 作为短视频分享跟直播的平台，快手有诸多业务场景应用了 Flink，包括短视频、直播的质量监控、用户增长分析、实时数据处理、直播 CDN 调度等。本文将从 Flink 在快手的应用场景以及目前规模、Flink 在落地过程的技术演进过程、未来计划这三个方面详细介绍 Flink 在快手的应用与实践。一．Fli
转载
2024-04-23 16:56:23
40阅读
