文章目录
- 【大数据Hive3.x数仓开发】HiveSQL行转列应用
- 1 列转行:多列转多行--union 函数
- 2 列转行:单列转多行--UDTF函数explode
- UDTF函数语法限制--为什么要lateral view?
- hive lateral view原理
【大数据Hive3.x数仓开发】HiveSQL行转列应用
1 列转行:多列转多行–union 函数
【大数据Hive3.x数仓开发】HiveSQL行转列应用 中1 多行转多列的相反过程
union:将读个select结果合并,结果去重且排序
union all:结果不去重不排序
2 列转行:单列转多行–UDTF函数explode
explode:用于将集合或数组中每个元素展开,将每个元素拆开变成一行。
注意需要的数据类型:explode(Map|Array)
所以要使用爆炸函数时,要不再建表时设置成array类型,要不之后使用split转换成array:select explode(split(col3,',')) from a;
执行效果满足输入一行输出多行,所以叫UDTF函数–表生成函数
功能介绍:
- 可以直接单独使用
- 可以结合lateral view侧视图配合使用!
- explode(array)array每个元素生成一行。
- explode(Map)map每对元素作为一行,key一列,value一列。
select
col1
,col2
,lv.col3 as col3
from a
lateral view
explode(split(col3,',')) lv as col3;
UDTF函数语法限制–为什么要lateral view?
关于配合侧视图,要讲到UDTF函数的语法限制,explode返回的结果可以理解为一张虚拟表,数据来源于源表;
因此不能再只查询源表的情况下,同时返回源表和虚拟表字段!
结局方法是,对两张表进行join关联查询,Hive中专门语法lateral view侧视图用来解决这个需求。
再提供一个例子,应该对语法有更清晰的理解了:
hive lateral view原理
将UDTF的结果构建成一个类似干视图的表,然后将原表中的每一行和UDTF函数输出的每一行进行行连接,生成一张新的虚拟表。这样就避免了UDTF的使用限制问题。
使用lateral view时也可以对UDTF产生的记录设置字段名称,产生的字段可以用于group byorder by、limit等语句中,不需要再单独嵌套一层子查询。