时间语义谈及watermark就要先从Flink支持的时间语义说起，Flink支持三种时间语义：process time:指的系统处理对应数据时的系统时间。他是最简单的一种实现，由于不需要额外的协调，因性能最好event time:是指数据中携带的时间，而不是数据到达的时间。因此时间的进度完全取决于数据，而不是系统时间。使用event time必须指定生成eventTime和watermark的方
转载
2024-06-05 23:44:57
30阅读
之前学习了spark,现在正在学习flink，感觉很类似，记录下flink的学习过程，请大家参考。
原创
2021-08-31 10:00:54
1472阅读
一、传统离线数仓痛点1. 痛点之前 B 站数仓的入仓流程大致如下所示：在这种架构下产生了以下几个核心痛点：大规模的数据落地 HDFS 后，只能在凌晨分区归档后才能查询并做下一步处理；数据量较大的 RDS 数据同步，需要在凌晨分区归档后才能处理，并且需要做排序、去重以及 join 前一天分区的数据，才能产生出当天的数据；仅能通过分区粒度读取数据，在分流等场景下会出现大量的冗余 IO。总结一下就是:调
Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，提供支持流处理和批处理两种类型应用的功能。文章会对Flink中基本API如：DataSet、DataStream、Table、Sql和常用特性如：Time&Window、窗口函数、Watermark、触发器、分布式缓存、异步IO、侧输出、广播和高级应用如：ProcessFunction、状态管理等知识点进行整理
转载
2024-05-07 13:14:52
26阅读
前言概述这年头IT发展很快，稍不留神，Flink已经1.14.4了，Fine BI居然能做实时BI了。。。遂拿经典的Sougoulogs小项目练练手，体验下一步一个坑的快感。得益于Flink1.14实现了API层面真正的流批一体，批处理也可以用流的方式实现，Kappa架构运维起来还是要比流批分离的Lambda架构容易很多。当然也有软件厂将原有的Spark与Streaming任务切换为离线跑Hive
转载
2024-05-21 20:44:00
100阅读
1. 什么是 AlluxioAlluxio 是世界上第一个面向基于云的数据分析和人工智能的开源的数据编排技术。它为数据驱动型应用和存储系统构建了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置从而能够更容易被访问。这还使得应用程序能够通过一个公共接口连接到许多存储系统。Alluxio内存至上的层次化架构使得数据的访问速度能比现有方案快几个数量级。在大数据生态系统中，Alluxio 位于数据
转载
2024-07-02 19:31:14
25阅读
最近我们通过实时数仓+clickhouse的方式把我们的实时大屏进行了重构，在重构的过程中我们参考了网上很多的例子，基本上大体的思路就是flink做宽表，实时使用clickhouse进行数据存储，同时批处理写入到hive。使用 基本的设计架构就是这样，通过flink把消息报进行分层，主要分为两到三层，dw层主要做维表的join和冗余。业务线dw做kafka业务的打散，分业务管理以及一些指标的微聚合
转载
2024-03-15 12:31:35
37阅读
Flink 基本原理与生产实践分享【入门必读，概念清晰】 Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行。Flink提供高吞吐量、低延迟的流数据引擎以及
Flink下载地址：https://flink.apache.org/downloads.html因目前Flink尚未集成hadoop2.9版本，因此选择2.7稳定版进行安装（兼容）以下操作请在集群的所有节点进行解压重命名$ tar -zxvf flink-1.7.1-bin-hadoop27-scala_2.11.tgz /opt/core
$ mv flink-1.7.1 flink添加环
转载
2024-02-19 18:16:57
79阅读
Flink的八股文里一定离不开一个知识点：flink的四大基石是什么？答：检查点、状态、时间、窗口今天我们从状态(state)开始，捋一捋它是怎么工作的RuntimeContext先来看看Flink源码中自带的一个state使用案例，这是一个如何在keyedStream中使用RichMapFunction的例子（在RuntimeContext.class里DataStream<MyType&
转载
2024-03-04 15:56:49
190阅读
我们先来以滚动时间窗口为例，来看一下窗口的几个时间参数与Flink流处理系统时间特性的关系。获取窗口开始时间Flink源代码获取窗口的开始时间为以下代码：org.apache.flink.streaming.api.windowing.windows.TimeWindow/**
* Method to get the window start for a timestamp.
*
* @pa
转载
2024-05-17 22:59:19
83阅读
我们学习完Flink相关概念之后发现对Flink编程和程序还是一无所知。这时候我们就需要官方的代码example进行学习和研究，本文就官网github的AsyncIOExample的例子进行详细的代码注释。（ps：其实大家应该都能看懂哈）Flink Example版本：1.8AsyncIOExample的例子比较简单：在Flink代码中的嵌入式Flink迷你集群上模拟运行作业。过程：将数据源发送的
转载
2024-04-25 19:42:37
103阅读
文章目录 跟标量函数一样，表函数的输入参数也可以是 0 个、1 个或多个标量值；不同的是，它可以返回任意多行数据。“多行数据”事实上就构成了一个表，所以“表函数”可以认为就是返回一个表的函数，这是一个“一对多”的转换关系。之前我们介绍过的窗口 TVF，本质上就是表函数。类似地，要实现自定义的表函数，需要自定义类来继承抽象类 TableFunction，内部必须要实现的也是一个名为 eval 的求
转载
2024-03-06 10:56:29
65阅读
背景介绍一句话来介绍 Flink 就是 “Stateful Computations Over Streams”。四个基石：Checkpoint、State、Time、Window。Checkpoint 机制，Flink 基于 Chandy-Lamport 算法实现了分布式一致性的快照，从而提供了 exactly-once 的语义。（Flink 基于两阶段提交协议，实现了端到端的 exactly-
转载
2023-08-18 16:36:38
29阅读
文章目录Nginx介绍Nginx的安装Nginx文件Nginx反向代理负载均衡nginx动静分离URLRewrite防盗链nginx高可用配置安全性Nginx限流Nginx缓存集成Lua脚本OpenRestrynginx工作原理 Nginx介绍Nginx是一个高性能的HTTP和反向代理服务器，特点是占用内存少，并发能力强，Nginx专为性能优化而开发，能经受高负载的考验，有报告表明能支持高达50
目录1.基本流程2.基本结构3.代码流程图4.执行样例4.1.calcite的parse解析4.2.validate校验4.3.RelRoot获取4.4.封装Operator4.5.translateToRel4.6.optimize优化4.7.转换物理计划4.8.translateToPlan 1.基本流程 Flink SQL的解析流程基于Calcite，通用流程包含以下几个步骤：1、Par
转载
2023-09-03 20:45:42
505阅读
1、服务器部署主机名配置（集群服务器，执行相同操作）登录root用户执行vi /etc/hosts将集群服务器中所有的IP地址进行配置，例如：192.168.0.1 appserver1192.168.0.2 appserver2备注：部署集群时一定注意集群服务器的IP顺序一定是：192.168.0.1 appserver1 在前192.168.0.2 appserver2 在后不然配置完成后，只
转载
2023-08-30 11:18:33
62阅读
1、广播状态 (Broadcast State)广播状态是一种特殊的算子状态，支持将一个流中的元素需要广播到所有下游任务的使用情形，广播状态用于保持所有子任务状态相同。2、广播状态和其他算子状态的区别：它具有 map 格式，它仅在一些特殊的算子中可用，这些算子的输入为一个广播数据流和非广播数据流，这类算子可以拥有不同命名的多个广播状态 。3、广播状态 API案例：存在一个序列，序列中的元素是具有不
转载
2024-08-02 18:00:38
64阅读
Flink为了完成不同的任务，在DataStream中流动的不止是我们的业务数据StreamRecord，还有其余三种标记，分别是Watermark，StreamStatus，LatencyMarker。这四个类继承自StreamElement。(注：有些人可能有疑惑，checkpoint barrier不是插入了数据流中吗？是的，checkpoint barrier也是随着数据流动，但是它不属于
转载
2024-06-25 08:42:44
32阅读
Flink开发-实现有状态的计算1. Checkpoint原理及配置方法1.1 开启Checkpoint1.2 State Backend1.2.1 MemoryStateBackend1.2.2 FsStateBackend1.2.3 RocksDBStateBackend2. 故障重启恢复流程2.1 重启恢复基本流程2.2 重启策略2.2.1 Fixed Delay（固定延时重启）2.2.2
转载
2024-03-18 18:58:51
86阅读
