Flink 支持 HiveCatalog 作为表元数据持久化的介质，在生产环境我们一般采用 HiveCatalog 来管理元数据, 这样的好处是不需要重复使用 DDL 创建表,只需要关心业务逻辑的 SQL,简化了开发的流程,可以节省很多时间,下面就来介绍一下怎么配置和使用 HiveCatalog.
sql-client-defaults.yaml 配置
catalogs:
- name: m
原创
2021-08-16 15:00:40
338阅读
1. 版本说明本文档介绍的各种flink sql的语法基于flink-1.13.x，flink版本低于1.13.x的用户，在sql运行出错误时，需要自行去flink官网查看对应版本的语法支持。另外，flink新版本支持的语法，文档中会进行特殊标注，说明对应语法在 flink 哪个版本开始支持，但凡是没有特殊标注的，均支持flink-1.13.x及以上版本。2. hive catalogsqlCRE
转载
2023-08-25 16:23:47
296阅读
这个花了4天时间才解决了win本地flink连接hivecatalog的目标1.添加jar依赖包2.flinksql验证catalog的注册3.flink_home/lib下的flink-table-planner-loader_2.12-1.16.0.jar与flink_home/opt下的flink-table-planner_2.12-1.16.0.jar互换4.flink1.16中已经去掉
原创
2023-03-30 15:44:25
437阅读
点赞
2评论
Flink 1.10 与 1.9 相比又是个创新版本，在我们感兴趣的很多方面都有改进，特别是 Flink SQL。本文用根据埋点日志计算 PV、UV 的简单示例来体验 Flink 1.10 的两个重要新特性： 二是 Hive Metastore 作为 Flink 的元数据存储（…
原创
2022-12-12 09:22:01
160阅读
在介绍如何使用Iceberg之前，先简单地介绍一下Iceberg catalog的概念。catalog是Iceberg对表进行管理（create、drop、rename等）的一个组件。目前Iceberg主要支持HiveCatalog和HadoopCatalog两种Catalog。其中HiveCatalog将当前表metadata文件路径存储在Metastore，这个表metadata文
0 简介 Using the HiveCatalog and Flink’s connector to Hive, Flink can read and write from Hive data as an alternative to Hive’s batch engine. Be sure to
转载
2020-11-28 21:28:00
299阅读
2评论
Apache Flink 可通过 HiveCatalog对 Apache Hive 表的统一 BATCH 和 STREAM 处理。这意味着 Flink 可以用作 Hive 批
Flink 支持使用 HiveCatalog 来管理 Flink 的元数据信息, HiveCatalog 通过授权用户仅创建一次表和其他元数据对象，这样就避免了重复创建 kafka 流表,节省了大量的时间, 对于不同的用户来说,可以直接使用表而不需要再去创建.
就拿消费 kafka 来说,经常会有下面的需求:
•用户需要指定特性的消费时间戳，即修改 scan.startup.timestamp-m
原创
2021-08-16 14:56:22
2519阅读
一、研究背景最近公司想通过JDBC的方式使用flink sql gateway，Flink官方提供了HiveServer2的flink-sql-gateway使用方式，但是Flink官方这里使用的是HiveCatalog，是在代码里写死的不可配置的，由于业务上没有使用Hive的需求，考虑到想以最轻量化的方式使用该sql-gateway，于是选择将源码中的HiveCatalog修改为公司自研的Cat
本文翻译自官网：Reading&WritingHiveTableshttps://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/hive/read_write_hive.html使用HiveCatalog和Flink的Hive连接器，Flink可以读取和写入Hive数据，以替代Hive的批处理引擎。确保遵循说明在
原创
2021-02-08 11:27:41
747阅读
本文翻译自官网：Reading&WritingHiveTableshttps://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/hive/read_write_hive.html使用HiveCatalog和Flink的Hive连接器，Flink可以读取和写入Hive数据，以替代Hive的批处理引擎。确保遵循说明在
原创
2021-02-08 11:26:19
284阅读
目录3.1 hive3.1.1 flink sql 3.1.2 数据源准备 3.1.3 sql-client3.1.4 代码3.1.5 采坑3.1.6 配置 (点击参考)3.1.7 hive的demo(点击参考) ******这里解释几个对于hive 数据访问比较关键的点.***HiveCatalog 的作用***hive的兼容表和非兼容表 is
文章目录一、Catalogs 类型1.1、GenericInMemoryCatalog1.2、JdbcCatalog1.3、HiveCatalog1.4、用户自定义 Catalog三、Hive Catalog(重要)3.1、配置 hive catalog3.2、使用 Hive Catalog参考： Catalog 提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和
文章目录引入依赖连接到 Hive设置 SQL 方言读写 Hive 表 Hive的主要缺点在于查询的延迟很高，几乎成了离线分析的代言人。而 Flink 的特点就是实时性强，所以 Flink SQL 与 Hive 的结合势在必行。Flink 与 Hive 的集成比较特别。Flink 提供了“Hive 目录”（HiveCatalog）功能，允许使用Hive 的“元存储”（Metastore）来管理 F
转载
2023-08-18 16:40:30
191阅读
版本说明：flink-1.12.1hive-2.3.4 目录（1）Flink SQL Client介绍（2）解决Hive的坑（3）配置Hive与Flink的集成（4）配置HiveCatalog（5）启动测试 （1）Flink SQL Client介绍SQL 客户端 的目的是提供一种简单的方式来编写、调试和提交表程序到 Flink 集群上，而无需写一行 Java 或 Scala 代码。SQL 客户端
Flink 1.10 与 1.9 相比又是个创新版本，在我们感兴趣的很多方面都有改进，特别是 Flink SQL。本文用根据埋点日志计算 PV、UV 的简单示例来体验 Flink 1.10 的两个重要新特性：一是 SQL DDL 对事件时间的支持；二是 Hive Metastore 作为 Flink 的元数据存储（即 HiveCatalog）。这两点将会为我们构建实时数仓提供很大的便利。 添加依
数据湖Hudi-11-Hudi集成HiveHudi集成Hive1.集成步骤2.Hive同步1 Flink 同步Hive2 Spark 同步Hive3.Flink使用HiveCataLog1.直接使用Hive Catalog2 Hudi Catalog使用hms4.创建Hive外表并查询5.Hive Sync Tool6.湖仓一体能力 Hudi集成HiveHudi 源表对应一份 HDFS 数据，通
转载
2023-08-31 20:35:24
162阅读
Flink写入hive 的问题记录背景：Flink读取Kafka数据写入hive需要添加的依赖配置文件常见报错写入parquet依赖冲突 背景：Flink读取Kafka数据写入hive两种方式 1、flink 0.9版本以上支持 table api直接写入hive 方式，需要使用hivecatalog，可以参考官方文档示例 2、flink写入 hdfs文件，需要小文件合并以及手动添加分区元数据
转载
2023-08-18 16:34:24
142阅读
flink导入hive 如何指定分区
## 问题描述
在使用Apache Flink进行数据分析和处理时，有时需要将处理结果导入到Hive表中进行后续的数据查询和分析。如果需要将数据按照特定的分区规则存储到Hive中，就需要指定分区信息。本文将介绍如何在flink导入hive时指定分区。
## 解决方案
在使用Flink将数据导入Hive中时，可以通过使用HiveCatalog来指定分区信
已经成为了数据仓库生态系统中的核心。 它不仅仅是一个用于大数据分析和ETL场景的SQL引擎，同样它也是一个数据管理平台，可用于发现，定义，和演化数据。Flink 与 Hive 的集成包含两个层面。一是利用了 Hive 的 MetaStore 作为持久化的 Catalog，用户可通过HiveCatalog将不同会话中的 Flink 元数据存储到 Hive Metastore 中。 例如，
