问题描述
在使用hive insert overwrite更新分区表的时候出现这个报错。意思是没用可用的DataNode了。
解决方案
网上看到的类似的解决方案有以下两种:
但我这里都不是。
我这里的原因是hdfs空间被占满了,而hive在执行的时候会往/tmp下读写大量的临时数据,由于没有空间而报错。
默认情况下,hive脚本执行完之后会自动清理掉这些临时文件。
这里之所以出现/tmp下大量文件没被清理,是因为之前自己有多次没等hive脚本执行完就Ctrl +c掉了,所以有大量临时文件未清理。
因此,最终的解决方案是删除掉这些没用的临时文件,腾出空间就好了。(最好在所有hive脚本都运行结束后再清理,否则可能会导致正在运行的脚本出现异常)