建议配合官方文档学习。官方文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual作者大纲是<<hive编程指南>>，这本书有点老，很多最新的更新都没有[笑哭]，不过这些都经过测试，写出来的都能用。注：易于操作的命令：可以在$HIVE_HOME/conf目录下创建.hiverc文件，把需要的配置写进
转载
2023-07-26 08:21:01
155阅读
文章目录Hive中的 explode / posexplode 和 lateral view1. explode()1.1 用于 array 的语法如下1.2 用于 map 的语法如下1.3 explode() 函数存在的局限性2. posexplode()用于 array 的语法如下3. lateral view3.1 用于 explode(array)3.2 用于 explode(map)3
关于hive中explode函数可能出现的问题之并发修改异常今天运行hive的sql时，运行一段时间后报错， 如下 Hive Runtime Error while processing row (tag=0) {“key”:{“reducesinkkey0”:13199833},“value”:{"_col0":"-_CSo1gOd48","_col1":[“People”,“Blogs”]}}
转载
2023-08-30 11:58:43
162阅读
# 实现Hive EXPLODE的步骤
## 概述
在Hive中，EXPLODE函数用于将数组或者map类型的列拆分成多行数据。对于刚入行的开发者来说，了解如何在Hive中实现EXPLODE函数非常重要。本文将介绍实现Hive EXPLODE的步骤，并提供相应的代码示例。
## 整体流程
下表展示了实现Hive EXPLODE的步骤及相应的操作。
```mermaid
journey
原创
2023-10-18 18:23:47
150阅读
# Spark中的explode用法详解
在Apache Spark中，`explode`函数是一个非常有用的函数，它可以帮助我们将那些包含数组或Map的列展开成多个行。对于刚入行的小白来说，理解并实现`explode`函数可能会有点困难，本文将详细介绍如何使用`explode`函数，并提供各个步骤的代码示例和解释。
## 整体流程
下面是使用Spark `explode`函数的逻辑流程：
在处理数据时，Hive的`explode`函数是一个常用的工具，用于将数组或映射类型的数据展平成多行。然而，在大型数据集上使用`explode`可能会发生性能问题。接下来，我将记录我在解决“hive explode 性能”问题的过程中所做的工作，包括环境预检、部署架构、安装过程、依赖管理、服务验证和最佳实践。
## 环境预检
首先，为了确保我们的环境适合进行`hive explode 性能`优
Hive Split Explode: 了解Hive中的拆分和展开函数
## 简介
Hive是一个基于Hadoop的数据仓库基础设施，它提供了用于处理大规模数据集的SQL样式的查询语言。在Hive中，我们经常需要对数据进行拆分和展开操作。这篇文章将介绍Hive中的拆分函数`split`和展开函数`explode`，并给出一些示例代码。
## Hive中的`split`函数
`split`函
原创
2023-12-16 12:07:42
55阅读
# Hive Lateral View Explode
## Introduction
Hive is a powerful data warehouse infrastructure built on top of Hadoop. It provides an SQL-like query language called HiveQL, which allows users to perfo
原创
2023-12-01 14:06:31
73阅读
1、克隆表，不带数据create table if not exists t5 like t4;
CREATE TABLE `t5`(
`uid` int,
`uname` string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS INPUTFORMAT
'org.apache.hadoop.mapre
转载
2024-10-14 10:17:09
43阅读
一、查看HQL执行计划explain1、explainhive在执行的时候会把所对应的SQL语句都会转换成mapreduce代码执行，但是具体的MR执行信息我们怎样才能看出来呢？
这里就用到了explain的关键字，他可详细的表示出在执行所对应的语句所对应的MR代码。
语法格式如下。extended关键字可以更加详细的列举出代码的执行过程。
Hive提供了一个EXPLAIN显示查询执行计划的命令
转载
2024-02-04 11:51:07
65阅读
Hive基础(三十)：HiveSQL 高阶函数合集实战(四)条件判断、数值相关、时间相关条件判断 if：使用频率 ★★★★★ if(boolean testCondition, T valueTrue, T valueFalseOrNull):判断函数，很简单 如果testCondition 为true就返回valueTrue,否则返回valueFalseOrNull 1 --判断是否为user1
转载
2024-04-02 17:12:16
32阅读
explode（官网链接）explode是一个UDTF（表生成函数），将单个输入行转换为多个输出行。一般和lateralview结合使用，主要有两种用法：输入类型使用方法描述Texplode(ARRAYa)将数组分解为多行，返回单列多行，每一行代表数组的一个元素Tkey,Tvalueexplode(MAPkey,Tvalue>m)将MAP分解为多行，返回的行具有两列（键-值），每一行代表输入中的一
原创
2019-12-04 11:44:17
3732阅读
## Hive SQL中的posexplode和explode使用详解
### 引言
在Hive SQL中，posexplode和explode是两个非常有用的函数，用于将复杂的列数据进行拆分和扁平化处理。本文将详细介绍posexplode和explode函数的用法，并通过示例代码演示其实际应用场景。
### posexplode函数
#### posexplode函数的概述
posex
原创
2023-08-14 11:33:56
994阅读
## Hive Explode JSON to Key-Value
In the world of big data, it is common to work with large datasets that are stored in various formats, such as JSON. Hive is a data warehousing infrastructure built
原创
2023-11-12 07:30:12
92阅读
上下文管理作用:他能帮助我们,在打开一个资源的同时帮我们把资源清除掉我们来敲一个小demo来看一下效果import time
class A:
def __enter__(self):
print("enter")
def __exit__(self, exc_type, exc_val, exc_tb):
print("exit")
with
查看当前hive支持的json函数show functions like "*json*";
OK
get_json_object
json_tuple
Time taken: 0.006 seconds, Fetched: 2 row(s)describe function get_json_object;
OK
get_json_object(json_txt, path) - Extra
转载
2024-02-05 10:12:26
136阅读
hive的常用内置函数1.日期函数返回值函数案例/备注stringdate_add(开始日期,需要累加的天数select date_add(‘2020-01-08 12:13:15’,5) ==> 累加5天，返回2020-01-13stringdate_sub(开始日期，需要减去天数）select date_sub(2020-01-08 12:13:14’,5)==>减去5天，返回20
转载
2023-08-15 11:10:22
86阅读
场景：通过parseHtml UDF解析一串HTML，返回一以 @@ 分割的字符串，使用split分割字符串进数组中，然后将数组的元素转列。 开始的写法 --问题FAILED: SemanticException [Error 10081]: UDTF's are not supported out
原创
2022-06-10 19:27:27
670阅读
大纲： 1、概述 2、explode 使用例子 3、引入lateral view的原因 4、explode与lateral view使用示例1 5、explode与lateral v
转载
2024-08-16 19:14:39
76阅读
# Hive LATERAL VIEW OUTER EXPLODE explained with code examples
Hive is a powerful data processing tool that allows users to perform analytics on large datasets stored in distributed file systems. One
原创
2024-01-06 03:32:18
79阅读
