问题描述

在使用hive insert overwrite更新分区表的时候出现这个报错。意思是没用可用的DataNode了。

解决方案

网上看到的类似的解决方案有以下两种:

could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node_解决方案

但我这里都不是。

我这里的原因是hdfs空间被占满了,而hive在执行的时候会往/tmp下读写大量的临时数据,由于没有空间而报错。

默认情况下,hive脚本执行完之后会自动清理掉这些临时文件。

这里之所以出现/tmp下大量文件没被清理,是因为之前自己有多次没等hive脚本执行完就Ctrl +c掉了,所以有大量临时文件未清理。

因此,最终的解决方案是删除掉这些没用的临时文件,腾出空间就好了。(最好在所有hive脚本都运行结束后再清理,否则可能会导致正在运行的脚本出现异常)