目录3.1 hive3.1.1 flink sql 3.1.2 数据源准备 3.1.3 sql-client3.1.4 代码3.1.5 采坑3.1.6 配置 (点击参考)3.1.7 hive的demo(点击参考) ******这里解释几个对于hive 数据访问比较关键的点.***HiveCatalog 的作用***hive的兼容表和非兼容表 is
转载
2024-03-10 23:23:30
126阅读
Flink On Yarn的两种模式： Session模式 Cluster模式 版本准备： CentOS 7.8 （ 本人是三台，主节点名为：pmaster，备用节点名为：pnode1 ，子节点：pnode2 ） Zookeeper 3.6.3 Hadoop 2.10.1 Flink 1.12 直接 ...
转载
2021-08-09 17:49:00
726阅读
2评论
上次发的是1.10的flink，当时版本的flink不支持hive数据更新后依然以最新数据和kafka关联。本次以1.12.2版本，java代码形式实现“动态”关联。下方是这个tiny demo的依赖和代码。依赖： <dependencies>
<dependency>
<groupId>org.apache.flink&
转载
2023-11-07 15:37:38
70阅读
flink1.12.0学习笔记第 1 篇-部署与入门 1-1-Flink概述Flink诞生 Flink 诞生于欧洲的一个大数据研究项目 StratoSphere。该项目是柏林工业大学的一个研究性项目。早期， Flink 是做 Batch 计算的，但在 2014 年， StratoSphere 里面的核心成员孵化出 Flink，同年将 Flink 捐赠 Apache，并在后来成为 Apache 的顶
转载
2024-05-14 21:50:51
78阅读
Flink1.12新特性SQL Connectors 中的 Metadata 处理Flink 1.12 中，元数据列是 SQL 标准的扩展，参数中connector和format配置提供的metadata字段。元数据列由METADATA关键字指示。例如，元数据列可用于在 Kafka 记录中读取和写入时间戳，以进行基于时间的操作。连接器和格式文档列出了每个组件的可用元数据字段。但是，在表的架构中声明
转载
2023-09-15 13:56:06
93阅读
——/flink1.12入门到精通/├──资料-flink1.12入门到精通| ├──课件| | ├──01-第一部分-Flink-安装部署与快速入门.docx 9.34M| | ├──01-第一部分-Flink-安装部署与快速入门.pptx 5.03M| | ├──02-第二部分-Flink-流批一体API.docx 2.59M| | ├──02-第二部分-Flink-流批一体API.ppt
原创
2021-08-14 11:08:11
651阅读
一. 在新版本中 flink 默认处理的是事件时间而不是 以前默认的处理时间 在学习的时候安装新版本 步骤容易报错 大概的意思就是设置mark 或者将 事件类型 换成 Processing Time@deprecated In Flink 1.12 the default stream time characteristic has been changed to
*
转载
2024-04-01 06:04:02
45阅读
序 补充上一篇没有讲到的内容。 k8s节点之间的通信 k8s有一个名为kube-apiserver的进程，该进程运行在Master上。这个进程提供了一个rest服务，所有的操作例如pod、service的增删改查watch的操作都是基于此接口执行的。agent机器上的kubectl其实也是基于该re ...
转载
2021-08-20 09:10:00
246阅读
3评论
flink1.12.0学习笔记第 3 篇-高级API flink1.12.0学习笔记第1篇-部署与入门flink1.12.0学习笔记第2篇-流批一体APIflink1.12.0学习笔记第3篇-高级APIflink1.12.0学习笔记第4篇-Table与SQLflink1.12.0学习笔记第5篇-业务案例实践flink1.12.0学习笔记第6篇-高级特性与新特性flink1.12.0学习笔记第7篇-
转载
2024-05-22 11:19:05
83阅读
8.Flink高级特性和新特性课程目标 掌握使用Flink-BroadcastState实现配置动态更新 了解端对端一次性语义 了解异步IO 了解Streaming file sink的使用 掌握FileSink的使用 掌握FlinkSQL整合Hive1. BroadcastState（状态广播）1.1 BroadcastState介绍 在开发过程中，如果遇到需要下发/广播配置、规则等
转载
2024-05-23 21:55:26
97阅读
Flink常见的面试题1. Flink-On-Yarn的两种架构问题：Flink-On-Yarn常见的提交模式有哪些，分别有什么优缺点？解答：flink在yarn模式下运行，有两种任务提交模式，资源消耗各不相同。1. yarn-sessionyarn-session这种方式需要先启动集群，然后在提交作业，接着会向yarn申请一块空间后，资源永远保持不变。如果资源满了，下一个就任务就无法提交，只能等
转载
2024-02-29 09:09:11
131阅读
1.Flink基础1. 简单介绍一下 FlinkFlink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。Flink提供了诸多高抽象层的API以便用户编写分布式任务：DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处
转载
2024-06-26 09:43:08
196阅读
问题： 为什么使用 Flink 替代 Spark？解答：主要考虑的是 flink 的低延迟、高吞吐量和对流式数据应用场景更好的支持； 另外， flink 可以很好地处理乱序数据， 而且可以保证 exactly-once 的状态一致性。详见文档第一章， 有 Flink 和 Spark 的详细对比。问题： Flink 的 checkpoint 存在哪里？解答： 可以是内存， 文件系统， 或者 Rock
转载
2024-03-10 10:57:15
128阅读
1. Flink是如何支持批流一体的？本道面试题考察的其实就是一句话：Flink的开发者认为批处理是流处理的一种特殊情况。批处理是有限的流处理。Flink 使用一个引擎支持了DataSet API 和 DataStream API。2. Flink是如何做到高效的数据交换的？在一个Flink Job中，数据需要在不同的task中进行交换，整个数据交换是有 TaskManager 负责的，TaskM
转载
2024-06-07 07:43:56
60阅读
16. Flink中有哪些窗口？ Flink 支持两种划分窗口的方式，按照time和count。如果根据时间划分窗口，那么它就是一个time-window 如果根据数据划分窗口，那么它就是一个count-window。flink支持窗口的两个重要属性（size和interval）如果size=int ...
转载
2021-09-08 17:29:00
262阅读
2评论
在了解 Flink 整体发展趋势后，我们来看下最近发布的 Flink 1.11 版本在 connectivity 和 simplicity 方面都带来了哪些令人耳目一新的功能。#### FLIP-122：简化 connector 参数整个 Flink SQL 1.11 在围绕易用性方面做了很多优化，比如 FLIP-122，优化了 connector 的 property 参数名称冗长的问
转载
2024-05-01 23:52:36
38阅读
基于 Flink 1.9 讲解的专栏，涉及入门、概念、原理、实战、性能调优、系统案例的讲解。专栏介绍扫码下面图片二维码可以查看&订阅该专栏 本文地址：http://www.54tianzhisheng.cn/2019/11/15/flink-in-action/专栏地址：https://gitbook.cn/gitchat/column/5dad4a20669f843a1a37cb4f专
转载
2024-07-24 13:09:16
13阅读
本文的 Release 文档描述了在 Flink 1.11 和 Flink 1.12 之间更改的重要方面，例如配置，行为或依赖项。如果您打算将 Flink 版本升级到 1.12，请仔细阅读这些说明。API 移除掉 ExecutionConfig 中过期的方法移除掉了 ExecutionConfig#isLatencyTrackingEnabled 方法, 你可以使用 ExecutionConfig
转载
2024-05-09 11:21:51
49阅读
Flink 简介 文章目录Flink 简介一、Flink简介二、Flink 的历史三、Flink 的核心特性四、Flink 与 Spark Streaming 的区别五、WordCount 下一章： Flink 1.13 部署 一、Flink简介 Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。Fl
转载
2024-04-26 19:54:51
8阅读
1.什么是Apache Flink（为什么使用 Flink 替代 Spark？） Apache Flink 是一个开源的基于流的有状态计算框架。它是分布式地执行的，具备低延迟、高吞吐的优秀性能，并且非常擅长处理有状态的复杂计算逻辑场景。2.Flink 的核心概念 &n
转载
2024-02-28 10:08:06
98阅读
