目录1.入门概念1.1 核心特点1.1.1 批流数据1.1.2 容错能力1.1.3 高吞吐低延迟1.1.4 大规模复杂计算1.1.5 多平台部署 2.API 介绍2.1 API层次2.2 DataStream体系2.3 数据读取（Source）2.3.1 内存读取2.3.2 文件读取2.3.3 S
转载
2024-04-12 04:26:24
50阅读
什么是flinkFlink 是一个软件框架和分布式处理引擎，用于对无边界和有边界数据流进行状态化计算。它是由Apache软件基金会开发并维护的开源项目。Flink 被设计用来执行异步的、分布式的计算任务，并且可以在所有常见的集群环境中运行，同时它也可以与Hadoop YARN、Kubernetes和其他资源管理器集成。Flink的核心特性包括：高吞吐量和低延迟：Flink可以处理大量的数据流，并提
11 Flink的并行度了解吗？Flink的并行度设置是怎样的？ Flink中的任务被分为多个并行任务来执行，其中每个并行的实例处理一部分数据。这些并行实例的数量被称为并行度。我们在实际生产环境中可以从四个不同层面设置并行度： 操作算子层面(Operator Level) 执行环境层面(Execut ...
转载
2021-09-06 16:14:00
116阅读
2评论
什么是flink Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。 为什么选择Flink 1.流数据更改真实的反应了我们的生活方式 2.传统的数据架构是基于有限的数据集的 3.我们的目标 》低延迟 》高吞吐 》结果的准确性和良好容错性 那些行业需要处理流数据 电商和市场营销 ...
转载
2021-10-22 11:48:00
145阅读
2评论
1 初识 Flink Flink 项目的理念是：“Apache Flink 是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架”。 Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执
转载
2020-08-03 17:24:00
432阅读
2评论
Apache Flink是一个开源的流式处理和批处理框架，旨在处理高吞吐量和低延迟的大规模数据流。它提供了强大的分布式数据流处理能力，可以处理实时数据流和批处理任务，并具备高度可扩展性、容错性和精确一次语义保证。Flink的设计目标是提供一个统一的处理引擎，能够处理各种类型的数据和不同的计算模式。Flink的应用场景非常广泛，包括实时数
原创
2023-09-03 12:31:13
390阅读
一、Flink CDC 是什么？ 2020年 Flink cdc 首次在 Flink forward 大会上官宣，由Jark Wu
原创
2022-11-03 17:29:06
566阅读
1评论
# Flink Python 基础
Apache Flink 是一个开源的、分布式的流处理和批处理框架，它提供了强大的数据处理能力和丰富的API。Flink可以处理实时的数据流和批量的数据集，可以应对各种复杂的数据处理场景。除了支持Java和Scala语言外，Flink还提供了Python的API，使得Python开发者也能够方便地使用Flink进行数据处理。
## Flink Python
原创
2024-01-08 06:18:21
75阅读
• 同时支持高吞吐、低延迟、高性能
• 支持事件时间（Event Time）概念
• 支持有状态计算
• 支持高度灵活的窗口（Window）操作
• 基于轻量级分布式快照（Snapshot）实现的容错
• 基于 JVM 实现的独立的内存管理
原创
2024-05-24 19:51:03
63阅读
1.什么是 CEP 概念： 一个或多个由简单事件构成的事件流通过一定的规则匹配，然后输出用户想得到的数据，满足规则的复杂事件。 特征： 目标：从有序的简单事件流中发现一些高阶特征 输入：一个或多个由简单事件构成的事件流 处理：识别简单事件之间的内在联系，多个符合一定规则的简单事件构成复杂
转载
2020-08-11 11:22:00
644阅读
2评论
什么是复杂事件CEP？ 一个或多个由简单事件构成的事件流通过一定的规则匹配，然后输出用户想得到的数据，满足规则的复杂事件。 特征： 目标：从有序的简单事件流中发现一些高阶特征 输入：一个或多个由简单事件构成的事件流 处理：识别简单事件之间的内在联系，多个符合一定规则的简单事件构成复杂事件 输出：满足
转载
2020-08-04 14:23:00
457阅读
2评论
前言 不同 Flink 的 API 拥有不同或者相同的 Data source，那么在此针对于 Flink -1.8.0 版本，总结
原创
2022-11-03 14:04:53
110阅读
都言：“光说不练假把式”，但个人觉得打牢基础是非常必要的！适当通过 ”理论 + 实践 “ 的结合，
原创
2022-11-03 14:48:48
98阅读
1 系统架构 Flink是一个用于有状态的并行数据流处理的分布式系统。它由多个进程构成，这些进程一般会分布运行在不同的机器上。对于分布式系统来说，面对的常见问题有：集群中资源的分配和管理、进程协调调度、持久化和高可用的数据存储，以及故障恢复。 对于这些分布式系统的经典问题，业内已有比较成熟的解决方案
转载
2020-08-03 18:54:00
618阅读
2评论
当学习了之前的课程后，我们便有了Flink 的基础，接下来将进行实战，举例各个部分的实现代码。1 Flink 基础 API 概念1.1 Sca
原创
2022-11-03 15:11:10
108阅读
本章介绍了Flink DataStream API的基本知识。我们展示了典型的Flink流处理程序的结构和组成部分，还讨论了Flink的类型系统以及支持的数据类型，还展示了数据和分区转换操作。窗口操作符，基于时间语义的转换操作，有状态的操作符，以及和外部系统的连接器将在接下来的章节进行介绍。阅读完这
转载
2020-08-03 20:49:00
194阅读
2评论
1 设置并行度 Flink应用程序在一个像集群这样的分布式环境中并行执行。当一个数据流程序提交到作业管理器执行时，系统将会创建一个数据流图，然后准备执行需要的操作符。每一个操作符将会并行化到一个或者多个任务中去。每个算子的并行任务都会处理这个算子的输入流中的一份子集。一个算子并行任务的个数叫做算子的
转载
2020-08-03 21:34:00
469阅读
2评论
摘要：今天主要分享的内容是 Flink 在有赞的实践和应用。内容包括:Flink 的容器化改造和实践Flink SQL 的实践和应用未来规划一、Flink 的容器化改造和实践1. 有赞的集群演进历史2014 年 7 月，第一个 Storm 任务正式上线；2016 年，引入 Spark Streaming， 运行在 Hadoop Yarn；2018 年，引入了 Flink，作业模式为 Flink o
转载
2024-05-28 08:42:13
100阅读
1 数据流编程简介 在我们深入研究流处理的基础知识之前，让我们来看看在数据流程编程的背景和使用的术语。 1.1 数据流图 顾名思义，数据流程序描述了数据如何在算子之间流动。数据流程序通常表示为有向图，其中节点称为算子，用来表示计算，边表示数据之间的依赖性。算子是数据流程序的基本功能单元。他们从输入消
转载
2020-08-03 17:39:00
293阅读
2评论
