Flink一、基本特性1、Flink简介Flink 是分布式实时和离线计算引擎，用于在无界数据流和有界数据流上进行有状态的计算， 能在常见集群环境中运行，并能以内存速度和任意规模进行计算。应用场景包括：实时数据计算、实时数据仓库和 ETL、事件驱动型场景，如告警、监控；此外，随着 Flink 对机器学习的支持越来越完善，还可以被用作机器学习和人工智能2、Flink特性1.批流一体：Flink从另一
转载
2023-08-18 16:37:26
118阅读
导读：Flink从1.9.0开始提供与Hive集成的功能，随着几个版本的迭代，在最新的Flink 1.11中，与Hive集成的功能进一步深化，并且开始尝试将流计算场景与Hive进行整合。本文主要分享在Flink 1.11中对接Hive的新特性，以及如何利用Flink对Hive数仓进行实时化改造，从而实现批流一体的目标。主要内容包括：Flink与Hive集成的背景介绍Flink 1.11中的新特性打
转载
2024-08-14 20:45:56
71阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》Flink 1.12 版本1. Hive 建表//1、创建 Hive 数据库create database zhisheng;//2、查看创建的数据库show databases;//3、使用创建的数据库use zhisheng;//4、在该库下创建 Hive 表CREATE TABLE IF NOT EXISTS flink ( appid int,
原创
2021-06-10 21:39:22
939阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》Flink 1.12 版本1. Hive 建表//1、创建 Hive 数据库create database zhisheng;//2、查看创建的数据库show databases;//3、使用创建的数据库use zhisheng;//4、在该库下创建 Hive 表CREATE TABLE IF NOT EXISTS flink ( appid int,
原创
2021-06-10 21:39:23
1713阅读
点赞
来源：https://www.yuque.com/docs/share/14a7a0e8-37d1-4142-8962-48dcf3761f7e?# Flink 1.12 版本 1. Hive 建表 //1、创建 Hive 数据库 create database zhisheng; //2、查看创建
转载
2020-12-23 20:04:00
515阅读
2评论
Flink写入hive 的问题记录背景：Flink读取Kafka数据写入hive需要添加的依赖配置文件常见报错写入parquet依赖冲突 背景：Flink读取Kafka数据写入hive两种方式 1、flink 0.9版本以上支持 table api直接写入hive 方式，需要使用hivecatalog，可以参考官方文档示例 2、flink写入 hdfs文件，需要小文件合并以及手动添加分区元数据
转载
2023-08-18 16:34:24
172阅读
修改hive配置案例讲解引入相关的pom构造hive catalog创建hive表将流数据插入hive，遇到的坑问题详解修改方案修改hive配置上一篇介绍了使用sql将流式数据写入文件系统，这次我们来介绍下使用sql将文件写入hive,对于如果想写入已经存在的hive表，则至少需要添加以下两个属性. 写入hive底层还是和写入文件系统一样的，所以对于其他具体的配置参考上一篇.alter
转载
2023-08-24 08:40:05
121阅读
数仓架构离线数仓传统的离线数仓是由 Hive 加上 HDFS 的方案，Hive 数仓有着成熟和稳定的大数据分析能力，结合调度和上下游工具，构建一个完整的数据处理分析平台，流程如下：Flume 把数据导入 Hive 数仓调度工具，调度 ETL 作业进行数据处理在 Hive 数仓的表上，可以进行灵活的 Ad-hoc 查询调度工具，调度聚合作业输出到BI层的数据库中这个流程下的问题是：导入过程不够灵活，
转载
2023-08-02 17:20:13
162阅读
文章目录前言数据流处理hive基本信息获取流、批判断写入格式判断构造分区提交算子详解StreamingFileWriter简述StreamingFileSink分区信息提交提交分区算子分区提交触发器分区提交策略总结 前言前段时间我们讲解了flink1.11中如何将流式数据写入文件系统和hive [flink 1.11 使用sql将流式数据写入hive]，今天我们来从源码的角度深入分析一下。以便朋
转载
2023-08-21 10:44:44
196阅读
标题: ‘说说Flink的连接器connector有哪些,怎么用?’ 日期: 2021-07-31 10:26:51 标签: [flink,connector] 分类: 数据仓库flink作为一个计算引擎，是缺少存储介质的，那么数据从哪儿来，到哪儿去，就需要连接器了，链接各种类型数据库，各种类型组件进行数据的抽取、计算、存储等，下面来看看flink都有哪些connector，怎么使用的？介绍看看目
转载
2023-08-21 11:18:45
131阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》0 Hive StreamingA typical hive job is scheduled periodically to execute, so there will be a large delay.Flink supports to write, read and join the hive table in the form of streaming.1 Stream
原创
2021-06-10 19:59:19
308阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》Flink 1.11 正式发布已经三周了，其中最吸引我的特性就是 Hive Streaming。正巧 Zeppelin-0.9-preview2 也在前不久发布了，所以就写了一篇 Zeppelin 上的 Flink Hive Streaming 的实战解析。本文主要从以下几部分跟大家分享：Hive Streaming 的意义 Checkpoint & Dependency 写
原创
2021-06-10 21:39:20
680阅读
0 Hive Streaming A typical hive job is scheduled periodically to execute, so there will be a large delay. Flink supports to write, read and join the h
转载
2020-11-28 21:31:00
1760阅读
2评论
1 Hive Dialect Starting from 1.11.0, Flink allows users to write SQL statements in Hive syntax when Hive dialect is used. By providing compatibility w
转载
2020-11-28 21:12:00
346阅读
2评论
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》1 Hive DialectStarting from 1.11.0, Flink allows users to write SQL statements in Hive syntax when Hive dialect is used. By providing compatibility with Hive syntax, we aim to improve the interop
原创
2021-06-10 19:59:24
641阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》1 通过 HiveModule 使用 Hive 内置函数在 Flink SQL 和 Table API 中，可以通过系统内置的HiveModule来使用 Hive 内置函数，详细信息，请参考HiveModule。val name = "myhive"val version = "2.3.4"tableEnv.loadModue(...
原创
2021-06-10 19:59:17
194阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》0 Hive StreamingA typical hive job is scheduled periodically to execute, so there will be a large delay.Flink supports to write, read and join the hive table in the form of streaming.1 Stream
原创
2021-06-10 19:59:20
601阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》1 Hive DialectStarting from 1.11.0, Flink allows users to write SQL statements in Hive syntax when Hive dialect is used. By providing compatibility with Hive syntax, we aim to improve the interop
原创
2021-06-10 19:59:23
1025阅读
Flink 1.11 正式发布已经三周了，其中最吸引我的特性就是 Hive Streaming。正巧 Zeppelin-0.9-preview2 也在前不久发布了，所以就写了一篇 Zeppelin 上的 Flink Hive Streaming 的实战解析。本文主要从以下几部分跟大家分享： Hive
转载
2020-12-23 21:56:00
215阅读
2评论
1 通过 HiveModule 使用 Hive 内置函数 在 Flink SQL 和 Table API 中，可以通过系统内置的 HiveModule 来使用 Hive 内置函数， 详细信息，请参考 HiveModule。 val name = "myhive" val version = "2.3
转载
2020-11-28 21:46:00
281阅读
2评论
