目录3.1 hive3.1.1 flink sql 3.1.2 数据源准备 3.1.3 sql-client3.1.4 代码3.1.5 采坑3.1.6 配置 (点击参考)3.1.7 hive的demo(点击参考) ******这里解释几个对于hive 数据访问比较关键的点.***HiveCatalog 的作用***hive的兼容表和非兼容表 is
转载
2024-03-10 23:23:30
126阅读
Flink On Yarn的两种模式： Session模式 Cluster模式 版本准备： CentOS 7.8 （ 本人是三台，主节点名为：pmaster，备用节点名为：pnode1 ，子节点：pnode2 ） Zookeeper 3.6.3 Hadoop 2.10.1 Flink 1.12 直接 ...
转载
2021-08-09 17:49:00
726阅读
2评论
上次发的是1.10的flink，当时版本的flink不支持hive数据更新后依然以最新数据和kafka关联。本次以1.12.2版本，java代码形式实现“动态”关联。下方是这个tiny demo的依赖和代码。依赖： <dependencies>
<dependency>
<groupId>org.apache.flink&
转载
2023-11-07 15:37:38
70阅读
Flink1.12新特性SQL Connectors 中的 Metadata 处理Flink 1.12 中，元数据列是 SQL 标准的扩展，参数中connector和format配置提供的metadata字段。元数据列由METADATA关键字指示。例如，元数据列可用于在 Kafka 记录中读取和写入时间戳，以进行基于时间的操作。连接器和格式文档列出了每个组件的可用元数据字段。但是，在表的架构中声明
转载
2023-09-15 13:56:06
93阅读
flink1.12.0学习笔记第 1 篇-部署与入门 1-1-Flink概述Flink诞生 Flink 诞生于欧洲的一个大数据研究项目 StratoSphere。该项目是柏林工业大学的一个研究性项目。早期， Flink 是做 Batch 计算的，但在 2014 年， StratoSphere 里面的核心成员孵化出 Flink，同年将 Flink 捐赠 Apache，并在后来成为 Apache 的顶
转载
2024-05-14 21:50:51
78阅读
——/flink1.12入门到精通/├──资料-flink1.12入门到精通| ├──课件| | ├──01-第一部分-Flink-安装部署与快速入门.docx 9.34M| | ├──01-第一部分-Flink-安装部署与快速入门.pptx 5.03M| | ├──02-第二部分-Flink-流批一体API.docx 2.59M| | ├──02-第二部分-Flink-流批一体API.ppt
原创
2021-08-14 11:08:11
651阅读
一. 在新版本中 flink 默认处理的是事件时间而不是 以前默认的处理时间 在学习的时候安装新版本 步骤容易报错 大概的意思就是设置mark 或者将 事件类型 换成 Processing Time@deprecated In Flink 1.12 the default stream time characteristic has been changed to
*
转载
2024-04-01 06:04:02
45阅读
8.Flink高级特性和新特性课程目标 掌握使用Flink-BroadcastState实现配置动态更新 了解端对端一次性语义 了解异步IO 了解Streaming file sink的使用 掌握FileSink的使用 掌握FlinkSQL整合Hive1. BroadcastState（状态广播）1.1 BroadcastState介绍 在开发过程中，如果遇到需要下发/广播配置、规则等
转载
2024-05-23 21:55:26
97阅读
序 补充上一篇没有讲到的内容。 k8s节点之间的通信 k8s有一个名为kube-apiserver的进程，该进程运行在Master上。这个进程提供了一个rest服务，所有的操作例如pod、service的增删改查watch的操作都是基于此接口执行的。agent机器上的kubectl其实也是基于该re ...
转载
2021-08-20 09:10:00
246阅读
3评论
flink1.12.0学习笔记第 3 篇-高级API flink1.12.0学习笔记第1篇-部署与入门flink1.12.0学习笔记第2篇-流批一体APIflink1.12.0学习笔记第3篇-高级APIflink1.12.0学习笔记第4篇-Table与SQLflink1.12.0学习笔记第5篇-业务案例实践flink1.12.0学习笔记第6篇-高级特性与新特性flink1.12.0学习笔记第7篇-
转载
2024-05-22 11:19:05
83阅读
在了解 Flink 整体发展趋势后，我们来看下最近发布的 Flink 1.11 版本在 connectivity 和 simplicity 方面都带来了哪些令人耳目一新的功能。#### FLIP-122：简化 connector 参数整个 Flink SQL 1.11 在围绕易用性方面做了很多优化，比如 FLIP-122，优化了 connector 的 property 参数名称冗长的问
转载
2024-05-01 23:52:36
38阅读
Flink 简介 文章目录Flink 简介一、Flink简介二、Flink 的历史三、Flink 的核心特性四、Flink 与 Spark Streaming 的区别五、WordCount 下一章： Flink 1.13 部署 一、Flink简介 Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。Fl
转载
2024-04-26 19:54:51
8阅读
本文的 Release 文档描述了在 Flink 1.11 和 Flink 1.12 之间更改的重要方面，例如配置，行为或依赖项。如果您打算将 Flink 版本升级到 1.12，请仔细阅读这些说明。API 移除掉 ExecutionConfig 中过期的方法移除掉了 ExecutionConfig#isLatencyTrackingEnabled 方法, 你可以使用 ExecutionConfig
转载
2024-05-09 11:21:51
49阅读
基于 Flink 1.9 讲解的专栏，涉及入门、概念、原理、实战、性能调优、系统案例的讲解。专栏介绍扫码下面图片二维码可以查看&订阅该专栏 本文地址：http://www.54tianzhisheng.cn/2019/11/15/flink-in-action/专栏地址：https://gitbook.cn/gitchat/column/5dad4a20669f843a1a37cb4f专
转载
2024-07-24 13:09:16
13阅读
有状态的流处理
什么是状态？虽然数据流中的许多操作一次只看一个单独的事件（例如事件解析器），但有些操作会记住多个事件的信息（例如窗口操作符）。这些操作被称为有状态操作。一些有状态操作的例子。 - 当一个应用程序搜索某些事件模式时，状态将存储到目前为止遇到的事件序列。 - 当按分钟/小时/天聚合事件时，状态会保存待聚合的事件。 - 当在数据点流上训练机器学习模型时，状态会保存
转载
2024-04-30 23:01:17
50阅读
更新几期Flink系的文章，有时间就写写，没时间就放放。之前做flink开发时候的一些认知还有心得，没有研究多深，大家多提意见，有问题的地方麻烦更正，本系列基于flink1.12。Flink介绍发展历史官方介绍组件栈应用场景所有的流式计算Flink安装部署local本地模式-了解原理操作1.下载安装包https://archive.apache.org/dist/flink/2.上传flink-1
转载
2024-03-07 23:11:52
55阅读
flink1.12.0学习笔记第 6 篇-高级特性与新特性 6-1.BroadcastState1.BroadcastState介绍在开发过程中，如果遇到需要下发/广播配置、规则等低吞吐事件流到下游所有 task 时，就可以使用 Broadcast State。Broadcast State 是 Flink 1.5 引入的新特性。下游的 task 接收这些配置、规则并保存为 BroadcastSt
转载
2024-03-11 17:06:27
71阅读
用Hive构建数据仓库已经成为了比较普遍的一种解决方案。目前，一些比较常见的大数据处理引擎，都无一例外兼容Hive。Flink从1.9开始支持集成Hive，不过1.9版本为beta版，不推荐在生产环境中使用。在Flink1.10版本中，标志着对 Blink的整合宣告完成，对 Hive 的集成也达到了生产级别的要求。值得注意的是，不同版本的Flink对于Hive的集成有所差异，本文将以最新的Flink1.12版本为例，阐述Flink集成Hive的简单步骤，以下是全文，希望对你有所帮助。Flink集成Hiv
转载
2021-06-10 20:26:42
411阅读
用Hive构建数据仓库已经成为了比较普遍的一种解决方案。目前，一些比较常见的大数据处理引擎，都无一例外兼容Hive。Flink从1.9开始支持集成Hive，不过1.9版本为beta版，不推荐在生产环境中使用。在Flink1.10版本中，标志着对 Blink的整合宣告完成，对 Hive 的集成也达到了生产级别的要求。值得注意的是，不同版本的Flink对于Hive的集成有所差异，本文将以最新的Flink1.12版本为例，阐述Flink集成Hive的简单步骤，以下是全文，希望对你有所帮助。Flink集成Hiv
转载
2021-06-10 20:26:43
292阅读
在某些场景中，比如GROUP BY聚合之后的结果，需要去更新之前的结果值。这个时候，需要将 Kafka 消息记录的 key 当成主键处理，用来确定一条数据是应该作为插入、删除还是更新记录来处理。
转载
2021-06-11 18:04:57
630阅读
