1 Task和subtask1.1 概念Task(任务):Task 是一个阶段多个功能相同 subTask 的集合，类似于 Spark 中的 TaskSet。subTask(子任务)：subTask 是 Flink 中任务最小执行单元，是一个 Java 类的实例，这个 Java 类中有属性和方法，完成具体的计算逻辑。Operator Chains(算子链)：没有 shuffle 的多个算子合并在一
转载
2023-11-24 10:38:24
116阅读
# Flink 机器学习实现指南
## 1. 简介
本文将介绍如何使用 Apache Flink 实现机器学习任务。Flink 是一个开源的流处理框架，可以处理大规模实时和批量数据，并提供了丰富的机器学习库和工具来支持复杂的机器学习算法。本文将按照以下流程来指导你进行 Flink 机器学习实现：
| 步骤 | 描述 |
|:---:|---|
| 1 | 数据准备 |
| 2 | 特征工程
原创
2023-09-05 06:30:38
245阅读
Flink基础学习Flink基础学习1.Flink简介1.1flink的引入1.2什么是Flink?1.3Flink流处理计算的特性1.4Flink的四大基石1.5批处理与流处理2.Flink的架构体系2.1Flink中的角色2.2无界数据流与有界数据流2.3Flink数据流编程模型2.4Flink支持的库3.Flink集群搭建3.1Standalone集群搭建3.2Standalone-HA集
转载
2023-12-25 13:20:06
50阅读
文章目录前言一、创建项目1.1 使用Git创建仓库1.2 创建maven工程二、批处理2.1 统计单词频次2.2 代码实现2.3 打印输出三、流处理3.1 读取文件3.2 读取文本流总结 前言通过第一篇Flink简介我们对Flink有了基本的了解，接下来我们进行实操上手写代码。Flink底层是Java编写的，并为开发者提供了完整的Java和Scala API。本文编写Flink项目环境及工具：J
转载
2023-09-05 15:11:54
119阅读
Apache Flink 是一个支持有状态的计算的框架，它可以用来处理有边界的数据流和无边界的数据流。Flink 提供了多种不同抽象级别的API，并且提供对于常见的用例提供专用的函数库。 一、为流式应用构建好的模块可以构建的并且被流式处理框架执行的应用类型是由框架是怎么来控制流、状态和事件来决定的。下面，我们将描述这些流式处理应用的构建块（building blocks），并且解释fli
转载
2023-09-05 23:09:55
78阅读
反压机制Flink在1.5版本之前是基于TCP的流量控制和反压的。 缺点：一个TaskManager执行的一个Task触发反压，该TaskManager和上游TaskManager的Socket就不能传输数据，从而影响到其他Task，也会影响到Barrier的流动，导致作业雪崩。在1.5版本之后，Flink是基于信用值的流量控制和反压的，接收端会给发送端授予一定信用值，发送端一但接受到信用通知，就
转载
2023-07-18 13:15:36
76阅读
# Flink Python机器学习
是机器学习的一种模型训练方法，可以根据线上数据的变化，实时调整模型，是模型能够反映线上的变化，从而提高线上预测的准确率。为了更好的理解在线学习(Online Learning)的概念，我们先介绍与之相对应的概念：批量训练(Batch Learning)，先确定一个样本训练集，针对训练集的全体数据进行训练，一般需要使用迭代过程，重复使用数据集，不断调整参数。
转载
2023-10-31 18:53:28
106阅读
Apache Flink 学习笔记： 1.从apache flink官网开始学习flink,一个新的分布式实时流、批处理计算框架。像spark一样同时支持大数据批处理与近实时流处理。而storm仅支持近实时流处理，且吞吐量不如sparkstreaming.flink要比storm在实时流处理上有更好的性能，具有更低的延迟，更高的吞吐量，有状态的操作等。所以阿里巴巴选择的是flink,并在
转载
2023-09-23 13:11:16
67阅读
1.概述Apache Flink是一个流式处理引擎，被广泛应用于大数据分析和实时数据处理。Flink的高性能和灵活性使其成为了许多企业的首选解决方案。Flink的代码量非常庞大，涉及到许多复杂的算法和数据结构。因此Flink源代码的阅读和理解需要开发人员具备一定的编程能力和技术水平。2.Flink源代码分析重要性从本节概述我们了解到，对于开发人员来说Flink源代码的阅读和理解并不是一件容易的事情
转载
2023-11-22 08:05:13
49阅读
文章目录1. 什么是Flink？2. Flink的组件栈3. Flink集群运行时的角色及其作用4. Flink分区策略5. Flink容错机制6. Flink计算资源的调度是如何实现的？ 1. 什么是Flink？Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。Flink 提供了诸多高抽象层的 API
转载
2023-12-19 21:38:45
55阅读
# Flink实时机器学习
## 引言
随着大数据的快速发展，实时机器学习在许多领域中变得越来越重要。Flink作为一个强大的开源流处理引擎，提供了实时机器学习的解决方案。本文将介绍Flink实时机器学习的基本概念，并通过示例代码展示如何在Flink中实现实时机器学习。
## Flink简介
Flink是一个基于事件时间的分布式流处理引擎，它提供了低延迟和高吞吐量的数据流处理能力。Flink通
原创
2023-07-19 11:47:03
203阅读
