hive join
原创
©著作权归作者所有:来自51CTO博客作者菜菜光的原创作品,请联系作者获取转载授权,否则将追究法律责任
hive0.11之前,默认的join方式是reduce端join,即shuffle join(hive.auto.convert.join默认为false),其原理是map的输出数据通过hash进行partition,然后shuffle至对应的reduce端,执行join.如果join key分布不均匀,则会造成一定的数据倾斜,比较明显的现象就是某一个reduce会一直运行在99%,在join运行完毕后,可以通过job的counter看到,reduce处理的数据量相差很大。
join中还有一个方式是map join,即在map 端进行join,其原理是broadcast join,即把小表作为一个完整的驱动表来进行join操作。这种方式比较适合表中有一个小表的情况(比如过比较大,可能会出现oom的情况),hive是rbo的方法来执行操作的,所以需要把小表放在前面,不过也可以手动指定hint,比如/*+ mapjoin(a)*/。
hive 0.11之后,在表的大小符合设置时(hive.auto.convert.join.noconditionaltask=true ,hive.auto.convert.join.noconditionaltask.size=10000,hive.mapjoin.smalltable.filesize=25000000),默认会把join转换为map join(认 hive.ignore.mapjoin.hint为true,hive.auto.convert.join为true),不过hive0.11的map join bug比较多,可以通过在默认关闭map join convert,在需要时再设置hint:
hive.auto.convert.join=false
hive.ignore.mapjoin.hint=false.
还有另外的一些join方式,以后再说。。。