文章目录容错机制6.4.4 状态一致性6.4.4.1一致性级别6.4.4.2 端到端的状态一致性——如何保证精准一次新消费6.4.4.2.1 幂等写入6.4.4.2.2 事务写入①预写日志（WAL）②两阶段提交（2PC）6.4.5 检查点 —— checkpoint①flink检查点算法——Chandy-Lamport 算法的分布式快照②barrier对齐③barrier不对齐④Flink+Ka
转载
2024-03-18 16:36:39
35阅读
Flink K-means算法的实现 关于K-means聚类算法的介绍：代码的github地址：https://github.com/zhangvalue/LearnFlink/tree/master/src/main/java/flink/kmeans/**
* @ Author zhangsf
* @CreateTime 2019/12/27 - 11:10 AM
*/
pac
决策树决策树是一种基本的分类与回归方法，通常包括三个步骤：特征选择、决策树的生成和决策树的修剪。树由节点和有向边组成，节点分内部节点（特征或属性）和叶节点（表示一个类）用决策树分类，从根节点开始，对实例的某一特征进行测试，根据测试结果，将实例分配到其子节点。重复上述过程，直到达到叶节点。首先，构建根节点，将所有训练数据都放在根节点。选择一个最优特征，按照这一特征将训练数据集分割成子集，使各个子集有
转载
2023-07-15 21:23:47
89阅读
对于大多数 Flink 应用开发者而言，无论使用高级的 Table API 或者是底层的 DataStream/DataSet API，Source 都是首先接触到且使用最多的 Operator 之一。然而其实从 2018 年 10 月开始，Flink 社区就开始计划重构这个稳定了多年的 Source 接口[1]，以满足更大规模数据以及对接更丰富的 connector 的要求，另外还有更重要的一个
转载
2024-05-08 13:36:58
26阅读
互联网女皇”玛丽·米克（Mary Meeker）在最近公布的2017年《互联网趋势》（Internet Trends）报告中提到，云基础设施迅速增长，份额正逐步接近传统数据中心。2016年，全球公有云与私有云基础设施建设支出达360亿美元，占IT基础设施建设总支出的37%，比2014年增长37%。 云计算在企业中早已不是一个陌生的话题，越来越多的企业基于业务需求自然的开始了混合云的部署，企业大多
选自Machine Learning Mastery作者：Jason Brownlee机器之心编译参与：沈泽江、吴攀决策树算法是一个强大的预测方法，它非常流行。因为它们的模型能够让新手轻而易举地理解得和专家一样好，所以它们比较流行。同时，最终生成的决策树能够解释做出特定预测的确切原因，这使它们在实际运用中倍受亲睐。同时，决策树算法也为更高级的集成模型（如 bagging、随机森林及 gradien
《老饼讲解机器学习》http://ml.bbbdata.com/teach#96目录一. sklearn决策树完整入参设置 二. 参数解释(一) 训练参数 (二) 模型训练(三) 模型训练后方法与属性 三.代码 一. sklearn决策树完整入参设置clf = tree.DecisionTreeClassifier(
转载
2023-07-25 21:04:35
115阅读
# Flink 数仓架构实现指南
随着大数据技术的快速发展，实时流处理已成为数据应用的重要组成部分。Apache Flink是一种强大的流处理框架，能够实时处理大规模数据，而建设数据仓库（数仓）则是确保数据有效存储和访问的核心。因此，了解如何结合Flink构建数仓架构至关重要。本文将为你提供一个系统的步骤指南来实现Flink数仓架构，希望能帮助你在这个领域打下良好的基础。
## 流程步骤
在
针对前面程序的transformation操作转化分析过程，能够得到StreamGraph、JobGraph的划分、具体生成过程以及链路形式，这两个执行图的转化生成都是在client本地客户端。而最终flink Job运行时调度层核心的执行图-ExecutionGraph是在服务端(JobManager)中生成的。Client向J
Flink1.13也一样生产就绪检查清单提供一个配置文件的概览,在投放到生产前应该应该细心考虑.虽然Flink社区尝试提供一些明智的配置,那也是非常重要的来确认每个选项是否满足你的需求.设置一个显示的最大并发数最大并发数设置在每个job和每个操作上,决定最大的并行,状态的并行是可以被扩容的. 在任务开始时目前没有办法改变操作的并行,不丢失操作状态. 存在最大并行数的原因, 对比允许操作状态被无限扩
转载
2024-03-17 10:03:22
75阅读
前期入门讲解了需多常用算子、方法、和连接器的使用与代码示例，本文讲解如何安装 Apache Flink Dashboard 平台与界面基本操作。
Apache Flink Dashboard 是 Flink 的客户端管理控制平台，也是 JOB 运行时任务跟踪与管理的显示平台。撑握基本的应用是学习 Flink 必备的，通过管理控制台界面的操作，我们能够知晓：Task JOB 的运行健康状
转载
2024-04-25 21:51:00
102阅读
执行模式（流/批） DataStream API 支持不同的运行时执行模式，你可以根据你的用例需要和作业特点进行选择。DataStream API 有一种”经典“的执行行为，我们称之为流（STREAMING）执行模式。这种模式适用于需要连续增量处理，而且预计无限期保持在线的无边界作业。此外，还有一种批式执行模式，我们称之为批（BATCH）执行模式。这种执行作业的方式更容易让人联想到批处理
首先要安装JDK及zookeeper，参考 及 另外需要各服务器之间SSH免密码登录，这个自行百度，要注意的是自己SSH自己也要免密码除此之外还需要准备一个共享的存储目录，可以是hdfs、ceph、S3、nfs 环境说明：三台百度云服务器，内网IP分别为: 192.168.32.36、192.168.32.37、192.168.32.38, 不开
转载
2024-06-19 22:15:23
60阅读
资源调优1 熟悉内存管理布局，合理分配内存计算，可以适当调整各个内存比重
2 合理设置CPU资源
（slot隔离内存，但共享CPU，一个slot可能会同时运行多个task）
例子：
启动参数设置有4个容器，每个TM 2个slot，每个container 2个cpu core，并行度5。则5/2->需要启动3个TM+1个JobManger，
一个TM启动2个cpu，则2*3+1个JobMang
转载
2023-12-06 20:52:20
1026阅读
文章目录概述:一.Flink体系结构介绍1.1 处理无界和有界数据1.2 部署应用程序在任何地方1.3 在任何规模上运行应用程序1.4 利用内存性能二.应用程序2.1 流应用程序的构建块2.2 分层的api2.3 库三. 操作3.1 7*24 不间断运行应用程序3.2 更新、迁移、挂起和恢复应用程序3.3 监控您的应用程序参考: 概述:Apache Flink是一个框架和分布式处理引擎，用于在无
转载
2023-07-18 13:16:58
7阅读
//todo 1）创建flink流处理的运行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);
//设置 Flink 程序中流数据时间语义为 EventTime。
// 在处理数据时 Flin
转载
2024-08-14 15:44:29
40阅读
文章目录flink架构处理无界流和有界流随处部署应用程序以任何规模运行应用程序利用内存性能 flink架构flink是一个框架和分布式处理引擎，它被用于对无界和有界数据流进行有状态计算。flink被设计成可以运行在所有常见的集群环境中，并以内存速度和任何规模执行计算。处理无界流和有界流任何种类的数据都是作为事件流产生的。数据可以作为无界流和有界流进行出来。无界流：无界流是一个又开始但是没有定义结
转载
2023-10-23 10:24:26
29阅读
文章目录导言：Flink调优概览第1章 资源配置调优1.1 内存设置1.1.1 TaskManager 内存模型1.1.2 生产资源配置示例1.2 合理利用 cpu 资源1.2.1 使用 DefaultResourceCalculator 策略1.2.2 使用 DominantResourceCalculator 策略1.2.3 使用DominantResourceCalculator策略并指定
转载
2024-08-23 15:31:02
195阅读
文章目录
8. 实时数仓同步数据
9. 离线数仓同步数据
9.1 用户行为数据同步
9.1.1 数据通道
9.1.1.1 用户行为数据通道
9.1.2 日志消费Flume配置概述
9.1.2.1 日志消费Flume关键配置
9.1.3 日志消费Flume配置实操
9.1.3.1 创建Flume配置文件
9.1.3.2 配置文件内容
转载
2024-04-02 00:00:14
297阅读
C4.5决策树构建分析我们说 C4.5 算法是对 ID3 算法的改进，C4.5就是基于 ID3 上的一个改进算法。C4.5是基于增益率来选择划于平均水平的...
原创
2024-04-01 14:15:54
79阅读
