hive的库、表等数据实际是hdfs系统中的目录和文件，让开发者可以通过sql语句， 像操作关系数据库一样操作文件内容， 比如执行查询，统计，插入等操作。一直很好奇hive是如何做到这些的。通过参考网上几篇不错的文档， 有点小心得分享出来。主要的参考链接 http://tech.meituan.com/hive-sql-to-mapreduce.html http://www.
转载
2023-07-21 16:21:41
32阅读
```mermaid
flowchart TD
A(准备数据) --> B(创建表)
B --> C(执行join操作)
C --> D(输出结果)
```
作为一名经验丰富的开发者，我将会详细地指导你如何实现“Hive中的Join操作”。首先，让我们来看看整个流程。
### 流程
1. 准备数据
2. 创建表
3. 执行join操作
4. 输出结果
接下来，让我们
原创
2024-07-11 04:26:13
43阅读
Hive Split Explode: 了解Hive中的拆分和展开函数
## 简介
Hive是一个基于Hadoop的数据仓库基础设施，它提供了用于处理大规模数据集的SQL样式的查询语言。在Hive中，我们经常需要对数据进行拆分和展开操作。这篇文章将介绍Hive中的拆分函数`split`和展开函数`explode`，并给出一些示例代码。
## Hive中的`split`函数
`split`函
原创
2023-12-16 12:07:42
55阅读
# Hive列转行 laterview 实现教程
## 概述
在 Hive 中，我们可以使用一些技巧将列转换为行，这在某些情况下非常有用。本教程将向您展示如何在 Hive 中实现列转行的操作。
## 整体流程
下面是实现 Hive 列转行的整体流程：
| 步骤 | 描述 |
| ---- | ---- |
| 步骤1：创建源表 | 创建包含待转换列的源表 |
| 步骤2：创建目标表 |
原创
2023-12-27 08:01:20
87阅读
大纲： 1、概述 2、explode 使用例子 3、引入lateral view的原因 4、explode与lateral view使用示例1 5、explode与lateral v
转载
2024-08-16 19:14:39
76阅读
对于从事大数据开发的同学，经常会应用到explode(炸裂函数)和lateral view(侧输出流)。 Explode(炸裂函数)参数必须是array或者map格式(通常跟split函数使用)；主要是将数组中每个元素单独取出来，可以单独使用。注意:单独使用时，仅选择目标字段展示，不可与主表中其他字段一起展示。 Lateral view(侧输出流)Lat
转载
2023-10-27 10:14:17
359阅读
文章目录一、行转列0.前置syntax{1}explode，posexplode{2}lateral view、Multiple Lateral Views、LATERAL VIEW OUTER1.case：{1}基本{2}配合正则处理无法简单使用split的列二、列转行1.使用concat_ws和collect嵌套{0}前置collect_list和collect_setconcat_ws、g
转载
2023-07-12 21:08:18
4418阅读
文章目录说在前面第一题难点数据准备实战之路需求一：统计出每个用户的每月访问次数及累计访问次数1：修改月份格式2：根据第一步的结果集求出每个用户的每月访问次数3：根据2求出每个用户的累计访问次数第二题难点数据准备实战之路需求一：每个店铺的UV（访问数）需求二：每个店铺访问次数top3的访客信息。输出店铺名称、访客id、访问次数1 首先获取每个店铺的访客信息2 获取rank3 获取top3第三题难点
转载
2023-07-12 16:56:43
72阅读
【hive中的file_format】SEQUENCEFILE：生产中绝对不会用，k-v格式，比源文本格式占用磁盘更多TEXTFILE：生产中用的多，行式存储RCFILE：生产中用的少，行列混合存储，OCR是他得升级版ORC：生产中最常用，列式存储PARQUET：生产中最常用，列式存储AVRO：生产中几乎不用，不用考虑JSONFILE：生产中几乎不用，不用考虑INPUTFORMAT：生产中几乎不用
转载
2023-08-31 20:14:40
25阅读
# MySQL面试指南
[0] as cate1 from
(select distinct dt, uid, category0
from t_dw_user_app_list
转载
2023-11-07 17:30:00
130阅读
Hive 是什么? 1.Hive 是基于 Hadoop处理结构化数据的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类 SQL 查询功能。 2.Hive 利用 HDFS 存储数据，利用MapReduce 查询分析数据。本质是将 SQL 转换为 MapReduce 程序,比直接用 MapReduce 开发效率更高。 Hive通常是存储在关系数据库如
转载
2024-04-09 10:47:13
104阅读
1、理论基础1、什么是Hive?
Hive是一个构建在Hadoop之上的数据仓库,提供类似sql的查询语句HiveQL对数据进行分析处理。
Hive将HiveQL语句转换一系列成MapReduce作业并执行。
目前，Hive除了支持MapReduce计算引擎，还支持Spark和Tez这两种分布式计算引擎。
Hive3.0中MR已标记为过时。
常用于离线批处理
转载
2023-11-29 09:13:03
102阅读
文件存储格式 Hive 支持的存储数据的格式主要有：TEXTFILE 行式存储、SEQUENCEFILE行式存储、ORC列式存储、PARQUET列式存储。 TextFile
格式 默认格式，数据不做压缩，磁盘开销大，数据解析开销大。 Orc 格式
(Optimized Row Columnar) 每个 Orc 文件由 1 个或多个 stripe 组成,每个 stripe 一般
转载
2023-07-13 16:26:30
59阅读
ORC文件格式是从Hive-0.11版本开始的。关于ORC文件格式的官方文档，以及基于官方文档的翻译内容这里就不赘述了，有兴趣的可以仔细研究了解一下。本文接下来根据论文《Major Technical Advancements in Apache Hive》中的内容进行深入的研究。一、ORC文件格式 ORC的全称是(Optimized Record Columnar)，使用ORC文件格式可以提
转载
2023-09-08 10:36:55
66阅读
作者：大数据学习与分享Apache Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供一种HQL语言进行查询，具有扩展性好、延展性好、高容错等特点，多应用于离线数仓建设。1. Hive架构<span><span ><img src="https://pic2.zhimg.com/v2-c0179a43f1f627f4
转载
2023-07-20 19:16:29
36阅读
## Hive底层框架
Hive是一个基于Hadoop的数据仓库工具，它提供了一种类似于SQL的查询语言，使得开发人员可以使用类似于SQL的查询方式在Hadoop集群上进行大规模数据分析。Hive将SQL查询转换为一系列的MapReduce任务，并将结果存储在Hadoop分布式文件系统（HDFS）中。
Hive底层框架包括了以下几个组件：Metastore、解析器、编译器、优化器、执行引擎和存
原创
2023-09-08 12:22:32
114阅读
# 深入理解 Hive 的底层架构
Apache Hive 是一个构建于 Hadoop 之上的数据仓库工具，旨在提供对大量数据的查询和分析能力。Hive 提供了一种类似 SQL 的查询语言（HiveQL），使用户可以方便地执行复杂的数据分析任务。尽管 Hive 隐藏了许多底层复杂性，但了解其底层架构对于更加高效地使用 Hive 尤其重要。
## Hive 的底层架构概述
Hive 的底层架构
一、Hive的原理 1）Hive简介 hive是基于Hadoop的一个数据仓库工具，底层封装得的是HDFS和MapReduce可以将结构化的数据文件映射为一张数据库表，并提供sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现
转载
2023-09-08 15:08:56
204阅读
