前言等疫情过去了，我们一起看春暖花开。 Apache Spark 什么时候开始支持集成 Hive 功能？笔者相信只要使用过 Spark 的读者，应该都会说这是很久以前的事情了。那 Apache Flink 什么时候支持与 Hive 的集成呢？读者可能有些疑惑，还没有支持吧，没用过？或者说最近版本才支持，但是功能还比较弱。其实比较也没啥意义，不同社区发展的目标总是会有差异，而且 Flink 在真正
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》Flink 1.12 版本1. Hive 建表//1、创建 Hive 数据库create database zhisheng;//2、查看创建的数据库show databases;//3、使用创建的数据库use zhisheng;//4、在该库下创建 Hive 表CREATE TABLE IF NOT EXISTS flink ( appid int,
原创
2021-06-10 21:39:23
1626阅读
点赞
作者：李锐介绍：阿里巴巴技术专家，Apache Hive PMC，加入阿里巴巴之前曾就职于 Intel、IBM 等公司，主要参与 Hive、HDFS、Spark 等开源项目。Apache Flink 从 1.9.0 版本开始增加了与 Hive 集成的功能，用户可以通过 Flink 来访问 Hive 的元数据，以及读写 Hive 中的表。本文将主要从项目的设计架构、最新进展、使用说明等方面来介绍这一
转载
2023-08-05 13:21:26
389阅读
数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序，hive和spark的区别就是mapreduce和spark的区别。HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库，是一种面向列族存储的非关系型数据库。Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Flink是一个框架和分布式处理引擎，用于
转载
2023-07-06 16:01:13
209阅读
动态表是Flink的Table＆SQL API的核心概念，用于以统一方式处理有界和无界数据。因为动态表只是一个逻辑概念，所以Flink并不拥有数据本身。 相反，动态表的内容存储在外部系统（例如数据库，键值存储，消息队列）或文件中。动态源(Dynamic sources)和动态接收器(Dynamic sinks)可用于从外部系统读取和写入数据。 在文档中，源（sources）和接收器(sinks)通
转载
2023-08-04 13:09:41
329阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》Flink 1.12 版本1. Hive 建表//1、创建 Hive 数据库create database zhisheng;//2、查看创建的数据库show databases;//3、使用创建的数据库use zhisheng;//4、在该库下创建 Hive 表CREATE TABLE IF NOT EXISTS flink ( appid int,
原创
2021-06-10 21:39:22
902阅读
来源：https://www.yuque.com/docs/share/14a7a0e8-37d1-4142-8962-48dcf3761f7e?# Flink 1.12 版本 1. Hive 建表 //1、创建 Hive 数据库 create database zhisheng; //2、查看创建
转载
2020-12-23 20:04:00
510阅读
2评论
前言 本文针对数据库CDC(change data capture)场景设计，探讨基于Flink1.12最新版本提供的实时写入Hive的技术可行性，下面为本地IDEA程序案例可供参考。一、整体思路数据库CDC(change data capture)是实时捕获数据库中的变化数据，经过处理之后（也可能无需处理），将其更新到目标端的一种技术。为实现实时捕获，本文引入Debezium作为数据库
转载
2023-07-11 17:26:16
488阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》1 通过 HiveModule 使用 Hive 内置函数在 Flink SQL 和 Table API 中，可以通过系统内置的HiveModule来使用 Hive 内置函数，详细信息，请参考HiveModule。val name = "myhive"val version = "2.3.4"tableEnv.loadModue(...
原创
2021-06-10 19:59:17
191阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》0 Hive StreamingA typical hive job is scheduled periodically to execute, so there will be a large delay.Flink supports to write, read and join the hive table in the form of streaming.1 Stream
原创
2021-06-10 19:59:20
545阅读
文章目录1. 程序集成 Hive1.1 添加依赖1.2 构建程序2. Flink SQL Client集成Hive2.1 sql-client-defaults.yaml 配置2.2 启动 Flink SQL Cli3. 小结 Hive 是大数据领域最早出现的 SQL 引擎，发展至今有着丰富的功能和广泛的用户基础。之后出现的 SQL 引擎，如 Spark SQL、Impala 等，都在一定程度
转载
2023-07-10 14:00:22
159阅读
随着Flink 1.10版本的发布，Table API&SQL得以完善，现在可以基于Flink SQL实现离线分析了。在离线分析的场景中，最经常的使用场景是读取Hive做分析处理，这时就不得不研究下Flink读取Hive的原理了。在阅读本文之前，可以思考两个问题：1 Flink是如何读取Hive数据？2 Flink如何控制读取的并行度？1 Flink如何识别Hive表Flin
转载
2023-10-02 19:37:45
453阅读
目前事件归并分为两种，一种为实时的归并，即基于Kafka内的数据进行归并和事件生成；一种是周期性的归并，即基于Hive中的数据进行数据的归并和事件生成。基于SQL归并时Spark Streaming支持的输入/输出数据如下：数据类型Flink支持情况Kafka需要定义schemaHDFS(parquet/csv/textfile)读取parquet需要使用AvroParquetInputForma
## 实现Flink SQL Hive引擎的流程
下面是实现Flink SQL Hive引擎的步骤和代码示例：
```mermaid
flowchart TD
A(配置Flink环境) --> B(下载Hive)
B --> C(配置Hive元数据源)
C --> D(启动Flink SQL Hive服务)
```
### 配置Flink环境
在开始之前，你需要先安
原创
2023-10-01 10:18:20
40阅读
# 使用Maven构建Flink项目并连接Hive
---
作为一名经验丰富的开发者，你需要帮助一位刚入行的小白实现“maven flink sql hive”。下面将详细介绍整个流程，并指导每一步需要做什么以及使用的代码。
## 流程概述
首先，我们需要使用Maven构建一个Flink项目，并在该项目中连接Hive进行SQL操作。下面是整个过程的流程表格：
| 步骤 | 操作 |
|-
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》0 Hive StreamingA typical hive job is scheduled periodically to execute, so there will be a large delay.Flink supports to write, read and join the hive table in the form of streaming.1 Stream
原创
2021-06-10 19:59:19
294阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》Flink 1.11 正式发布已经三周了，其中最吸引我的特性就是 Hive Streaming。正巧 Zeppelin-0.9-preview2 也在前不久发布了，所以就写了一篇 Zeppelin 上的 Flink Hive Streaming 的实战解析。本文主要从以下几部分跟大家分享：Hive Streaming 的意义 Checkpoint & Dependency 写
原创
2021-06-10 21:39:20
631阅读
0 Hive Streaming A typical hive job is scheduled periodically to execute, so there will be a large delay. Flink supports to write, read and join the h
转载
2020-11-28 21:31:00
1692阅读
2评论
1 Hive Dialect Starting from 1.11.0, Flink allows users to write SQL statements in Hive syntax when Hive dialect is used. By providing compatibility w
转载
2020-11-28 21:12:00
316阅读
2评论
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》1 Hive DialectStarting from 1.11.0, Flink allows users to write SQL statements in Hive syntax when Hive dialect is used. By providing compatibility with Hive syntax, we aim to improve the interop
原创
2021-06-10 19:59:24
612阅读
