hive中decode hive中decode报错类型_数据倾斜

  1. 问题描述
    使用hive跑数时，出现return code 3的错误，但没有报出代码中具体位置的错误。
  2. 问题原因
    具体原因不是非常清楚，但是网上提到的原因最有可能的是数据倾斜导致的，具体的表现就是任务执行的时间非常长，并且执行了非常长的时间之后还失败了，出现code 3错误。

这类错误一般不是代码有逻辑或语法问题，而是数据层面的问题，向code 2也是这样，之前碰到的code 2，就是有一个大表和一个超大表做join，导致数据量超大，集群承受不住而爆出。

  1. 解决方案
    我目前采取的方案可以解决问题，主要是修改设置项：
set hive.auto.convert.join = false;
set hive.ignore.mapjoin.hint = false;
set hive.exec.parallel = true;

而且把distinct的使用给去除，解决return 3 的问题，不过有些作业会报return 2的错误

hive 1.0+版本是默认开启mapjoin的，可能大表小标关联时，小表并不小，所以使用mapjoin时反而出现了异常。

所以此时不使用mapjoin，直接使用common join，但使用common join在存在数据倾斜的情况下，会导致最终结果出来得非常慢（本来mapjoin是用来解决小表很小时的这个问题的）。因此，开启并行，让sql出现多个可并行的任务时，并行执行，从而提升common join的效率，以空间换取时间。

  1. 总结
    这个方法可以解决问题，让代码不报错且速度较快地跑出结果，但肯定还不是最优的结果，因为我们还可以从sql角度解决数据倾斜问题，或者看是否有表的结构设计不合理，导致两个表中有不同类型但同名字段导致数据倾斜问题，或者是考虑更高效地使用本身就是设计得比较高效的mapjoin方法。

参考资料：


Hive中common join和mapjoin的区别：http://itindex.net/detail/55106-hive-join-%E5%8E%9F%E7%90%86