Table Api基础概念讲解概念1.Table API 和 DataStream Api关系1.1 问题1：既然DataStream Api已经很完善了，那么为什么还要Table Api呢？1.2 什么时候用DataStream Api,什么时候用Table Api?2.DataStream Api和Table Api流的转化2.Table 环境的两种创建方式2.1 第一种:直接创建2.2 第
转载
2024-04-02 20:33:45
41阅读
flink有四种部署模式，jvm和local模式比较简单，这里就不说了，主要说standalone模式和yarn模式1.standaolne模式上图是官网上摘录得一张图片，其中master就是jobmananger，worker就是taskmanager，修改flink-conf.yaml中的jobmananger.rpc.address 指定ip作为jobmananger， slvaves中添加
转载
2024-05-22 18:17:15
51阅读
API的基本概念Flink 程序是一种能够对分布式集合进行转换（transformation）的常规程序，比如：过滤、映射、更新状态、联合、分组、定义窗口、聚合等。集合（Collections ）最初是通过源（sources ）来创建（例如：从文件中读取、KAFKA 主题、或者来源于本地，以及从内存中收集）。处理结果是通过槽（sinks）返回的，它可以写入文件（包括分布式文件系统，如HBase），
转载
2024-04-07 21:50:03
40阅读
Flink map:做一些清洗转换；flatMap:输入一个元素，返回一个或者多个元素；filter:符合条件的数据留下；keyBy:key相同的数据进入同一个分区；reduce:当前元素与上一次reduce返回值进行聚合操作；Union:合并多个流，但是所有的流类型必须一致；Connect:合并两个流，两个流的类型可以不同；CoMap、CoFlatMap:对于Connect
转载
2024-05-23 15:52:29
35阅读
此系列是个人学习是记录笔记flink 是什么Apache Flink is a framework and distributed processing engine for statuful co mputations over unbounded and bounded data streams.Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算flink优
转载
2024-09-03 16:31:27
36阅读
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、Flink 四大基石窗口和时间1.四大基石2.Flink Window3、Window API4、Time 时间语义4、乱序和延迟数据处理5、综合案例二、Flink 四大基石状态和检查点1.Flink State2、state 类型3、State TTL 状态生命周期4、Flink Checkpoint5、State
转载
2024-04-25 23:02:55
114阅读
前言 说实话，其实敲到最后，才大概了解代码到底应该怎么敲，7层的作用到底是什么，继承、封装、抽象也都不是口头上说说，大致上理解理解，更多的还是需要去实践啊！7层UI层：接受用户的数据，呈现用户所需要的数据，并且进行一些简单的业务处理，例如判断数据输入的有效性、显示各种异常。调用facade层和entity层。每个判断最好都加一个try-catch。facade层
转载
2024-03-18 08:24:19
13阅读
1 你将学到◆ DataSet API开发概述◆ 计数器◆ DataSource◆ 分布式缓存◆ Transformation◆ Sink2 Data Set API 简介Flink中的DataSet程序是实现数据集转换（例如，过滤，映射，连接，分组）的常规程序.最初从某些Source源创建数据集（例如，通过
原创
2022-03-15 17:05:32
5307阅读
1 你将学到◆ DataSet API开发概述◆ 计数器◆ DataSource◆ 分布式缓存◆ Transformation◆ Sink2 Data Set API 简介Flink中的DataSet程序是实现数据集转换（例如，过滤，映射，连接，分组）的常规程序.最初从某些Source源创建数据集（例如，通过读取文件或从本地集合创建）结果通过sink返回，接收器可以例如将数据写...
原创
2021-07-07 15:55:29
303阅读
1 常规窗口 时间语义，要配合窗口操作才能发挥作用。最主要的用途，当然就是开窗口、根据时间段做计算了。下面我们就来看看Table API和SQL中，怎么利用时间字段做窗口操作。 在Table API和SQL中，主要有两种窗口：Group Windows和Over Windows 1.1 分组窗口 分
转载
2020-10-03 17:53:00
298阅读
2评论
在 Flink 中有如下 5 种键控状态（Keyed State），这些状态仅能在键控数据流（Keyed Stream）的算子（operator）上使用。键控流使用键（key）
day04_Flink高级API今日目标Flink的四大基石Flink窗口Window操作Flink时间 - TimeFlink水印 - Watermark机制Flink的state状态管理-keyed state 和 operator stateFlink的四大基石Checkpoint - 检查点， 分布式一致性，解决数据丢失，故障恢复数据， 存储的是全局的状态， 持久化HDFS分布式文件系统中State - 状态，分为Managed state（托管状态） 和 Rawed st
原创
2022-04-21 14:54:37
98阅读
TCP/IP协议族可按层次划分为四层，从上层到底层为：应用层，传输层，网络层， 数据链路层。知道了TCP/IP协议是进行分层设计的，很多好奇心强的同学肯定会又疑惑，为什么要分层进行设计，为什么又是按照这四个层级进行划分。假设整个协议都是一个整体，没有进行层次化的设计，那么如果协议需要进行调整的时候，那就需要对整个协议进行修改。但是，进行分层解耦之后，每一层的内容相对独立，互不影响。需要进行变更的时
转载
2024-01-13 19:58:42
108阅读
Flink四大基石Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。 Checkpoint这是Flink最重要的一个特性。Flink基于Chandy-Lamport算法实现了一个分布式的一致性的快照，从而提供了一致性的语义。Chandy-Lamport算法实际上在1985年的时候已经被提出来，但并没有被很广泛的应用，而Flin
转载
2024-05-22 10:24:04
356阅读
由于工作需要最近学习flink 现记录下Flink介绍和实际使用过程 这是flink系列的第二篇文章 Flink DataStream API 介绍及使用Flink 中的 APIDataStream 介绍DataStream API 程序剖析获取一个执行环境加载/创建初始数据指定数据相关的转换指定计算结果的存储位置触发程序执行 Flink 中的 API 这里介绍我们常用的DataStream AP
转载
2024-03-21 11:53:56
56阅读
第1章 需求分析和实现思路
1.1 实时数仓分层
在之前介绍实时数仓概念时讨论过，建设实时数仓的目的，主要是增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。我们这里从kafka的ods层读取用户行为日志以及业务数据，并进行简单处理，写回到kafka作为dwd层。1.2 每层职能
分层数据描述生成计算工具存储媒介ODS
转载
2024-05-29 06:13:58
105阅读
TCP/IP四层结构 从协议分层模型方面来讲，TCP/IP由四个层次组成：网络接口层、网络层、传输层、应用层。 TCP/IP协议并不完全符合OSI的七层参考模型。传统的开放式系统互连参考模型，是一种通信协议的7层抽象的参考模型，其中每一层执行某一特定任务。该模型的目的是使各种硬件在相同的层次上相互通信。这7层是：物理层、数据链路层、网络层、传输层、会话
转载
2024-04-20 21:46:46
72阅读
在 Flink 中有如下 5 种键控状态（Keyed State），这些状态仅能在键控数据流（Keyed Stream）的算子（operator）上使用。键控流
1.Environment1.1 getExecutionEnvironment 创建一个执行环境，表示当前执行程序的上下文。 如果程序是独立调用的，则此方法返回本地执行环境；如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境，也就是说，getExecutionEnvironment会根据查询运行的方式决定返回什么样的运行环境，是最常
转载
2024-08-16 13:49:38
38阅读
Flink程序是实现分布式集合转换的常规程序。集合最初是从源创建的。通过接收器(slink)返回结果，接收器可以将数据写到某个文件或stdout。Flink可以在各种环境(context)中运行，本地JVM或集群。1.数据集和数据流Flink用特殊的类DataSet and DataStream来表示程序中的数据。可以认为他们是可以包含重复数据的不可变数据集合。在DataSet
转载
2024-03-19 20:58:55
123阅读
