作者 | 董亭亭
整理 | 蒋晓峰
编辑 | Natalie AI 前线导读： 作为短视频分享跟直播的平台，快手有诸多业务场景应用了 Flink，包括短视频、直播的质量监控、用户增长分析、实时数据处理、直播 CDN 调度等。本文将从 Flink 在快手的应用场景以及目前规模、Flink 在落地过程的技术演进过程、未来计划这三个方面详细介绍 Flink 在快手的应用与实践。一．Fli
转载
2024-04-23 16:56:23
40阅读
你好，欢迎来到第 01 课时，本课时我们主要介绍 Flink 的应用场景和架构模型。实时计算最好的时代在过去的十年里，面向数据时代的实时计算技术接踵而至。从我们最初认识的 Storm，再到 Spark 的异军突起，迅速占领了整个实时计算领域。直到 2019 年 1 月底，阿里巴巴内部版本 Flink 正式开源！一石激起千层浪，Flink 开源的消息立刻刷爆朋友圈，整个大数据计算领域一直以来由 Sp
转载
2024-03-12 14:15:27
48阅读
目录事件驱动型应用数据分析型应用数据管道型应用Flink 功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。事件驱动型应用事件驱动型应用是一类具有状态的应用，它从一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。事件驱动型应用是在计算存储分离的传统应用基础上进化而来。在传统架构中，应用
转载
2024-02-21 14:15:16
49阅读
简介是一个框架和分布式处理引擎 用于对有界和无界数据流进行状态计算 基于流的世界观 一切都是由流组成的 离线数据是有界的流 实时数据是一个没有界限的流 这就是所谓的有界流和无界流安装tar -zxvf flink-1.11.2-bin-scala_2.12.tgz -C /opt/module/ cd /opt/module/flink-1.11.2启动 bin/start-cluster.shF
转载
2024-02-20 12:04:47
137阅读
Flink的定位：大数据处理引擎ApacherFlink是一个框架和分布式处理处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计再所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。Flink的应用场景：1、电商和市场营销：实时数据报表，广告投放，实时推荐2、物联网：传感器实时数据采集和显示，实时报警，交通运输业3、物流配送和服务业：订单状态实时更新，通知信息推送4、银行和
转载
2023-09-27 14:00:42
145阅读
实时计算最好的时代在过去的十年里，面向数据时代的实时计算技术接踵而至。从我们最初认识的 Storm，再到 Spark 的异军突起，迅速占领了整个实时计算领域。直到 2019 年 1 月底，阿里巴巴内部版本 Flink 正式开源！一石激起千层浪，Flink 开源的消息立刻刷爆朋友圈，整个大数据计算领域一直以来由 Spark 独领风骚，瞬间成为两强争霸的时代。Apache Flink（以下简称 Fli
转载
2024-02-20 13:05:30
38阅读
作者：董亭亭 整理：蒋晓峰作者介绍：董亭亭，快手大数据架构实时计算引擎团队负责人。目前负责 Flink 引擎在快手内的研发、应用以及周边子系统建设。2013 年毕业于大连理工大学，曾就职于奇虎 360、58 集团。主要研究领域包括：分布式计算、调度系统、分布式存储等系统。本次的分享包括以下三个部分：介绍 Flink 在快手的应用场景以及目前规模；介绍 Flink 在落地过程的技术演进过程；讨论 F
转载
2024-03-22 21:05:29
289阅读
应用场景Apache Flink 是开发和运行许多不同类型的应用程序的绝佳选择，因为它具有广泛的功能集。Flink 的功能包括支持流和批处理、复杂的状态管理、事件时间处理语义以及状态的一次性一致性保证。下面，我们将探讨由 Flink 提供支持的最常见的应用程序类型，并为现实世界的示例提供指导。事件驱动的应用程序数据分析应用数据管道应用事件驱动的应用程序什么是事件驱动的应用程序？事件驱动应用程序是一
转载
2024-02-24 16:42:37
54阅读
在实际生产的过程中，大量数据在不断地产生，例如金融交易数据、互联网订单数据、 GPS 定位数据、传感器信号、移动终端产生的数据
原创
2022-07-01 17:42:46
531阅读
摘要：本文由阿里巴巴技术专家贺小令（晓令）分享，主要介绍 Apache Flink 新场景 OLAP 引擎，内容分为以下四部分：背景介绍Flink OLAP 引擎案例介绍未来计划Tips：点击「阅读原文」可下载作者分享 PPT～一、背景介绍 1.OLAP 及其分类OLAP 是一种让用户可以用从不同视角方便快捷的分析数据的计算方法。主流的 OLAP 可以分为3类：多维 OLAP ( Multi-
转载
2024-06-06 10:09:09
77阅读
Flink运行环境Flink运行环境_Local1. 启动Local环境进入解压缩后的路径，执行如下命令bin/start-cluster.sh启动成功后，可以输入网址进行Web UI监控页面访问http://虚拟机地址:80812. 命令行提交应用bin/flink run \
-m hadoop01:8081 \
-d \
-c com.yankee.day01.Flink03_WordCou
转载
2024-04-23 12:10:48
54阅读
log4j.propertieslog4j.rootLogger=warn, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.Conv
转载
2024-10-24 16:28:55
32阅读
实时ETL灵活SQL API，支持对数据进行实时清洗、归并、结构化处理实时监控实时分析系统和用户行为，及时发现风系统风险在线电商实时分析各类交易数据，及时调整系统策略、内容投放、APP推送等。实时报表实时采集、加工流式数据，监控各类指标数据...
原创
2022-03-09 10:43:54
137阅读
实时ETL灵活SQL API，支持对数据进行实时清洗、归并、结构化处理实时监控实时分析系统和用户行为，及时发现风系统风险在线电商实时分析各类交易数据，及时调整系统策略、内容投放、APP推送等。实时报表实时采集、加工流式数据，监控各类指标数据...
原创
2021-09-11 10:40:18
359阅读
https://developer.aliyun.com/article/772855?utm_content=g_1000186872 各类场景 https://developer.aliyun.com/article/691499
转载
2021-04-10 17:43:00
130阅读
2评论
一、什么是CEP? 复杂事件处理（Complex Event Processing，CEP） Flink CEP是在 Flink 中实现的复杂事件处理（CEP）库 CEP 允许在无休止的事件流中检测事件模式，让我们有机会掌握数据中重要的部分 一个或多个由简单事件构成的事件流通过一定的规则匹配，然后输出用户想得到的数据 —— 满足规则的复杂事件二、CEP的特点 目标：从有序的简单事件流中
转载
2024-02-20 21:59:46
79阅读
目录： 1 三大应用场景1.1 事件驱动型事务驱动型：计算和存储是在同一个位置。事件驱动型：计算和存储是独立分开的。具有状态的应用，从一个或多个事件流中读取事件，并做出反应（触发计算，状态更新等）事务驱动模型事件驱动是，会从远程的事务数据库中读写数据。事件驱动型应用是基于传统的应用进化而来的。典型的事件驱动应用场景：事件驱动应用的优势：访问本地数据更快 事件驱动型应用，因为是读
转载
2024-03-03 13:45:24
46阅读
相对于传统的离线计算会存在数据反馈不及时的问题，很难满足急需实时数据做决策的场景Flink是对有界数据和无界数据进行有状态计算的分布式引擎，它是纯流式处理模式。纯流式模式保证了Flink的低延迟，使其在诸多的实时计算引擎竞争中具有优势。Apache Flink 是一个开源的、分布式、高性能、高可用的大数据处理引擎，支持实时流stream处理和批batch处
原创
2022-10-09 17:47:17
648阅读
Flink PMC 李劲松（之信）9 月 24 日在 Apache Flink Meetup 的分享。
原创
2023-05-02 23:16:33
296阅读
Process:我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的。而这 在一些应用场景下，极为重要。例如 MapFunction 这样的 map 转换算子就无法访问 时间戳或者当前事件的事件时间。 基于此，DataStream API 提供了一系列的 Low-Level 转换算子。可以访问时间 戳、watermark 以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。 Pr
转载
2024-04-25 20:44:48
34阅读
