Flink1.12新特性SQL Connectors 中的 Metadata 处理Flink 1.12 中，元数据列是 SQL 标准的扩展，参数中connector和format配置提供的metadata字段。元数据列由METADATA关键字指示。例如，元数据列可用于在 Kafka 记录中读取和写入时间戳，以进行基于时间的操作。连接器和格式文档列出了每个组件的可用元数据字段。但是，在表的架构中声明
转载
2023-09-15 13:56:06
93阅读
1.Flink简介
Apache Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行状态计算
应用行业：市场营销报表，电商，业务流程
物联网，电信业，金融业
Flink的主要特点：事件驱动(Event-driven)
Flink的世界观中一切都是流组成的，离线数据是有界的流，实时数据是没有界限的流
分层API
High-level Analytics API :
转载
2024-05-08 15:46:48
53阅读
day08_Flink高级特性和新特性今日目标BroadcastState状态管理Flink DataStream 双流 JoinStreaming File sink 落地File Sink 落地FlinkSQL 整合 HiveBroadcastState 状态管理broadcast state 广播变量状态应用场景关联更新的规则，获取指定的数据（给ip得到经度纬度）=> 地图 API 获取到 省市区街道位置需求实时Flink DataStream 过滤出配
原创
2022-04-21 14:54:36
118阅读
本文首先详细介绍了Flink运行时架构，包括TaskManager、JobManager，通过画图给出相关实例。最后介绍了Flink的部署模式。
原创
2023-01-30 23:11:33
320阅读
定义Apache Flink 是一个分布式流式计算引擎，用于在数据流上进行有状态的计算（Flink系列：无界和有界数据流定义与区别）。特性低延迟有状态的 Flink 程序针对本地状态访问进行了优化。任务的状态始终保留在内存中，如果状态大小超过可用内存，则会保存在能高效访问的磁盘数据结构中。任务通过访问本地（通常在内存中）状态来进行所有的计算，从而产生非常低的处理延迟。故障恢复定期异步地对本地状态进行持久化存储来保证故障场景下精确一次的状态一致性...
原创
2022-03-09 11:08:53
114阅读
定义Apache Flink 是一个分布式流式计算引擎，用于在数据流上进行有状态的计算（Flink系列：无界和有界数据流定义与区别）。特性低延迟有状态的 Flink 程序针对本地状态访问进行了优化。任务的状态始终保留在内存中，如果状态大小超过可用内存，则会保存在能高效访问的磁盘数据结构中。任务通过访问本地（通常在内存中）状态来进行所有的计算，从而产生非常低的处理延迟。故障恢复定期异步地对本地状态进行持久化存储来保证故障场景下精确一次的状态一致性...
原创
2021-09-12 10:15:39
520阅读
windowwindow是针对DataStream，一种可以把无界的数据切割为有界数据块的手段，可以是时间驱动的【time window】或者数据驱动的【count window】,元素个数。类型：分为 tumbling window:滚动窗口【没有重叠】、sliding window：滑动窗口【有重叠】time window通过socket接收数据，统计窗口内的单词数量。不使用keyBy时，使用
原创
2023-09-02 10:04:41
68阅读
上次说了redis的命令，这次说说redis的集群相关的知识。（一）复制通常为被复制方（master）主动将数据发送到复制方（slave），复制方接收到数据存储在当前实例，最终目的是为了保证双方的数据一致,同时也是降低了master的压力。复制方式主（master）-从（slave）模式从（slave）-从（slave）主从复制的流程图slave向master发送sync命令。master开启子进程执行bgsave写入rdb文件，同时将子进程接收到的写命令.
原创
2023-01-06 11:12:43
66阅读
上次已经说到了redis其实就是nosql，这次具体redis是个什么样的东西。（一）Redis安装通过虚拟机的方式在centos7下面安装下，这次我不通过docker的方式了，按照正常的方式，让老铁们熟悉redis的结构。mkdir softcd soft#虽然这个不是最新版本，但是这个版本已经够了解了。#我一直说不要使用最新版本的，#如果新版本没有太多建设性的改变，#因为新版本资料少，出问题不好解决。wget http://download.redis.io/releases.
原创
2023-01-06 11:12:43
32阅读
上次已经说到了redis其实就是nosql，这次具体redis是个什么样的东西。
（一）Redis安装
通过虚拟机的方式在centos7下面安装下，这次我不通过docker的方式了，按照正常的方式，让老铁们熟悉redis的结构。
mkdir soft
cd soft
#虽然这个不是最新版本，但是这个版本已经够了解了。
#我一直说不要使用最新版本的，
#如果新版本没有太多
原创
2021-07-26 10:43:33
371阅读
这次讲讲如何搭建redis集群，官方的介绍版本是三主三从的形式，这次就这样演示，并看看集群的一些特性。!(https://s4.51cto.com/images/blog/202108/09/2200946fa2fdf33cc0e079fc2032b967.png?xossprocess=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFF
原创
2021-08-09 09:36:56
178阅读
tomcat生产环境得应用配置，这次的对各位老铁还是非常有用的。其实就是咱们生产环境实际要做的一些事情，有老铁联系我说，从之前说的docke
原创
2023-01-06 11:12:29
50阅读
watermark 水位线 处理乱序数据流从数据产生到DataSource，再到具体的算子，中间是有一个过程和时间，有可能会导致数据乱序问题，通过watermark + EventTime来处理。作用：由于网络延迟等原因，一条数据会迟到计算，比如使用event time来划分窗口，我们知道窗口中的数据是计算一段时间的数据，如果一个数据来晚了，它的时间范围已经不属于这个窗口了，则会被丢弃，但他的ev
原创
2023-09-04 09:31:23
97阅读
上次说了redis的命令，这次说说redis的集群相关的知识。
（一）复制
通常为被复制方（master）主动将数据发送到复制方（slave），复制方接收到数据存储在当前实例，最终目的是为了保证双方的数据一致,同时也是降低了master的压力。
复制方式
主（master）-从（slave）模式
从（slave）-从（slave）
原创
2021-08-02 10:35:38
257阅读
Ansible 介绍和架构公司计划在年底做一次大型市场促销活动，全面冲刺下交易额，为明年的上市做准备。公司要求各业务组对年底大促
原创
2022-01-19 09:53:14
147阅读
Ansible 介绍和架构公司计划在年底做一次大型市场促销活动，全面冲刺下交易额，为明年的上市做准备。公司要求各业务组对年底大促做准备，运维部要求所有业务容量进行三倍的扩容，并搭建出多套环境可以共开发和测试人员做测试，运维老大为了在年底有所表现，
原创
2021-08-10 11:30:34
189阅读
文章目录一. 分区缓存概述1.1 需求场景1.2 解决方案1.3 SQLCache1.4 PartitionCache1.4.1 设计原理1.5 一些限制二. 使用方式2.1 开启SQLCache2.2 开启PartitionCache参考: 一. 分区缓存概述1.1 需求场景大部分数据分析场景是写少读多，数据写入一次，多次频繁读取，比如一张报表涉及的维度和指标，数据在凌晨一次性计算好，但每天有
1. Apache Flink 介绍Apache Flink 是近年来越来越流行的一款开源大数据计算引擎，它同时支持了批处理和流处理，也能用来做一些基于事件的应用。使用官网的一句话来介绍 Flink 就是 “Stateful Computations Over Streams”。首先 Flink 是一个纯流式的计算引擎，它的基本数据模型是数据流。流可以是无边界的无限流，即一般意义上的流处理。也可以
转载
2024-04-26 09:29:12
39阅读
文章目录01 引言02 BroadcastState介绍03 BroadcastState API介绍04 BroadcastState 案例4.1 需求4.2 编码步骤4.3 编码实现05 文末01 引言在前面的博客，我们总结了Flink的一些API了，有兴趣的同学可以参阅下：《Flink教程（01）- Flink知识图谱》《Flink教程（02）- Flink入门》《Flink教程（03）- Flink环境搭建》《Flink教程（04）- Flink入门案例》《Flink教程（05）-
原创
2022-04-20 15:05:57
354阅读
# Flink架构和计算原理
Apache Flink是一种用于分布式数据处理的开源框架，专注于流处理和批处理。Flink具有灵活的架构和强大的计算能力，使其在大数据处理领域中备受欢迎。在这篇文章中，我们将探讨Flink的架构和计算原理，并提供一个简单的代码示例来帮助理解。
## Flink架构概述
Flink的架构主要由以下几个组件组成：
1. **Job Manager**：负责协调和
