Hive之explode

select explode(array_col) as new_col from table_name

1.2. 用于map类型数据时的语法如下
  • 由于map是kay-value结构的，所以它在转换的时候会转换成两列，一列是kay转换而成的，一列是value转换而成的。
  • table_name 表名
  • map_col 为map类型的字段
  • may_key_col, may_value_col 分别对应map_col被拆分之后的map映射里的key 和 value

select explode(map_col) as (may_key_col, may_value_col) from table_name

二. explode函数的局限性
  • 不能关联原有的表中的其他字段。
  • 不能与group by、cluster by、distribute by、sort by联用。
  • 不能进行UDTF嵌套。
  • 不允许选择其他表达式。
三. lateral view

lateral view 用于和UDTF相结合使用。他会将UDTF生成的结果放在一张虚拟表zhong(即lateral view里)。虚拟表相当于再和主表关联, 从而达到添加“UDTF生成的字段“以外的字段, 即主表里的字段或者主表运算后的字段。

3.1 第一种形式
select o.*, table_view.new_col
from table_origin o
lateral view UDTF(expression) table_view as `new_col_1`, `new_col_2`
  • lateral view 表示将UDTF分裂的字段放在虚拟表中, 然后和主表table_origin进行关联。(个人理解，关联条件应该是UDTF里的expression所产生的关联条件)
  • UDTF(expression)：复合逻辑规则的UDTF函数，最常用的explode
  • table_view : 对应的虚拟表的表名
  • new_col: 虚拟表里存放的有效字段
  • from子句后面也可以跟多个lateral view语句，使用空格间隔就可以了。 需要找示例验证一下使用方法